Firecrawl + Claude Code : comment scraper n'importe quel site en markdown propre

Pourquoi scraper, c'est encore un enfer en 2026

En 2023, pour récupérer les prix d'une cinquantaine de concurrents sur un projet e-commerce, j'ai passé deux jours à debugger du Beautiful Soup. Deux jours. Pour finir avec un script qui tenait trois semaines avant qu'un changement de thème côté concurrent casse tous les sélecteurs CSS et que je recommence à zéro.

C'est le problème structurel du scraping maison : tu codes, ça marche, puis ça casse. Selenium, Puppeteer, Beautiful Soup, chacun a ses avantages, aucun n'est stable dans le temps. Un site qui change de classe CSS ou qui passe sous Cloudflare, et tu repars d'une feuille blanche. Non rentable, non scalable, chronophage.

Firecrawl règle ça. Pas magiquement, mais de façon pratique : c'est une API qui gère le scraping à ta place, te renvoie du markdown propre, et s'occupe elle-même des anti-bots, de la rotation de proxy et du rendu JavaScript. Tu passes de 200 lignes de code fragile à un simple prompt.

Qu'est-ce que Firecrawl

Firecrawl est une API de scraping qui transforme n'importe quelle URL en données structurées lisibles par une IA. Tu envoies une URL, tu reçois du markdown propre. C'est à peu près tout ce qu'il faut retenir pour commencer.

Côté crédibilité : plus de 101 000 étoiles sur GitHub, 350 000 utilisateurs actifs, 14,5 millions de dollars levés. Leurs clients incluent Zapier, Shopify et Replit. Ce n'est pas un side project de week-end.

Techniquement, voilà ce qui se passe sous le capot quand tu envoies une URL :

1. Un robot visite la page comme un navigateur humain via un système de headless browsers
2. Un bypass anti-bot gère les protections, Cloudflare inclus
3. Le HTML brut est nettoyé : menus, footers, scripts inutiles supprimés
4. Le contenu pertinent est converti en markdown exploitable directement par une IA

La rotation de proxy est gérée côté Firecrawl. Tu n'y touches pas. Ce point est sous-estimé : c'est ce qui te permet de scraper Amazon, LinkedIn, ou n'importe quel site avec des protections agressives sans te retrouver banni après 50 requêtes.

Les quatre fonctionnalités à connaître

Firecrawl ne se limite pas à scraper une page isolée. Il y a quatre modes distincts.

Scrape : tu donnes une URL, il te rend le contenu en markdown. La fonctionnalité de base, la plus utilisée au quotidien.

Crawl : tu donnes l'URL d'accueil d'un site, il suit tous les liens internes et scrape l'ensemble des pages. Utile pour récupérer la totalité du catalogue d'un concurrent en une seule opération.

Map : il cartographie toutes les URLs d'un site sans scraper le contenu. Pratique pour analyser une structure de site, identifier les silos existants ou construire un plan d'attaque SEO avant de décider quelles pages méritent un scraping complet.

Extract structuré : tu définis un schéma de données (JSON), il extrait exactement ce que tu veux : prix, titres, descriptions, avis clients, depuis n'importe quelle page.

Pour un projet SEO, la combinaison Map + Crawl + Scrape permet de reproduire l'architecture d'un concurrent, d'analyser son cocon sémantique et d'identifier ses lacunes de contenu. C'est le genre de travail qui prenait une semaine avec des outils disparates et qui prend maintenant une après-midi avec un bon prompt dans Claude Code.

Installer Firecrawl dans Claude Code en 2 minutes

L'installation se fait via le système de plugins natif. Pas de configuration manuelle, pas de dépendances npm à gérer séparément.

Dans ton terminal Claude Code :

1. Tape /plugin puis Entrée
2. Presse la flèche du haut pour accéder à la recherche
3. Tape firecrawl (attention à ne pas confondre avec firebase)
4. Sélectionne le plugin officiel Anthropic, appuie sur Entrée
5. Lance /run reload plugin pour recharger les plugins

Le plugin s'installe en moins de cinq secondes. Tu peux vérifier qu'il est actif via /plugin : le statut doit afficher Enabled.

Première utilisation : Firecrawl va demander une authentification. Il suffit de lancer la commande qu'il te propose dans un second terminal, de créer un compte sur firecrawl.dev, et d'autoriser la CLI. Moins d'une minute, plan gratuit inclus (500 crédits).

Une fois installé, mentionner "scraper", "récupérer les données" ou simplement "firecrawl" dans un prompt suffit pour que Claude Code l'invoque automatiquement. C'est ce qu'on appelle l'influence sémantique : tu décris l'objectif, Claude Code choisit la fonctionnalité adaptée. Ce pattern est exactement celui qu'on retrouve dans le pattern multi-agent pour les pipelines d'audit SEO avancés.

Cas d'usage concrets et rentables

Les possibilités sont larges. Voilà les cas qui reviennent le plus dans la pratique réelle.

Veille concurrentielle e-commerce : scraper les prix, fiches produits et catégories d'un concurrent en une requête. Avec le mode Crawl, tu récupères l'intégralité d'un catalogue. Avec Extract, tu structures les données directement en JSON pour les importer dans ta propre base ou les analyser avec Claude Code.

Affiliation multi-pays : identifier les produits qui cartonnent dans un pays, analyser leur positionnement, les repositionner ailleurs. L'Europe a des marchés sous-développés, des pays où la concurrence SEO est faible et les acheteurs solvables. Un site en Espagne ou en Bulgarie sur une micro-niche peut générer des revenus corrects avec peu de concurrence directe, si tu as les bons outils pour analyser rapidement le marché local.

Analyse SEO concurrentielle : combiner Map pour cartographier la structure, Crawl pour récupérer le contenu, puis passer le tout à Claude Code pour générer un rapport de cocon sémantique et identifier les angles d'attaque. Ce type d'analyse se combine directement avec un audit de concurrence SEO pour cibler exactement où intervenir en priorité.

Scraping de leads B2B : LinkedIn profils publics, pages Indeed, annuaires professionnels. Firecrawl bypass les protections sans gestion manuelle des proxies.

Veille réglementaire et juridique : scraper des sources officielles, jurisprudences, lois, décrets, et les structurer en base de connaissance interrogeable par une IA. Des avocats utilisent ce workflow pour suivre les évolutions dans leur domaine sans passer des heures à lire des bulletins officiels.

Scraping académique : récupérer les dernières publications depuis arXiv, PubMed ou des conférences spécialisées pour alimenter une veille automatisée. Combiné à une stratégie GEO, ça permet aussi de créer du contenu d'autorité basé sur des sources primaires réelles.

Exemple concret : top produits tendances Espagne

Voilà ce que ça donne en pratique. Dans un repo vierge, Firecrawl installé, mode plan activé :

Prompt : "Récupère les top 20 produits tendances en e-commerce uniquement en Espagne. Utilise Firecrawl et combine avec de la recherche web en multi-agents pour trouver les meilleurs produits à lancer pour l'été 2026. Livrable : un fichier CSV dans ce dossier."

Claude Code lance trois agents en parallèle, scrape Amazon ES Bestsellers, plusieurs sites de tendances espagnols, croise 65 sources et produit un CSV avec : nom du produit, catégorie, marge estimée, raison de la tendance, pic saisonnier, cible et projections été. En moins de quinze minutes.

Ce qui est notable dans le résultat, c'est la diversité des signaux. Pas juste "ce produit marche en été". On retrouve des entrées comme "pic de recherche en hausse de 340 % depuis janvier" côté à "réglementation européenne REACH 2026 ouvre un nouveau segment acheteurs". Ce n'est pas du scraping brut, c'est de l'analyse croisée.

On peut aller plus loin : demander une interface HTML de scoring avec classement visuel, design japonais, projections temporelles. Claude Code génère l'HTML depuis le CSV, affiche les produits avec leurs scores, leurs prix et leurs recommandations de lancement par rang (S, A, B). La différence entre avoir un fichier de données et avoir un outil de prise de décision.

Note importante sur le prompting : le mot "tendances" dans le prompt a influencé Claude Code à aller sur Amazon ES Bestsellers plutôt que sur Amazon ES générique. Le choix des mots en amont compte plus que la technique en aval. C'est le principe central du travail avec des agents : la réflexion préalable vaut plus que l'exécution.

Tarifs, plan gratuit et limites à connaître

Le plan gratuit donne accès à 500 crédits, suffisant pour tester sur tes propres cibles et valider que le scraping fonctionne comme attendu sur les sites qui t'intéressent.

Le plan payant le plus utilisé : 16 $/mois pour 3 000 crédits. Chaque page scrapée = 1 crédit. Pour un projet avec 3 concurrents à analyser en profondeur, c'est largement suffisant.

Quelques limites à avoir en tête avant de se lancer :

• Certains sites ont des anti-bots particulièrement agressifs qui peuvent résister même à Firecrawl, rare, mais ça arrive. Teste d'abord avec le plan gratuit
• Pas de mode offline : tout passe par leur API, donc dépendance au service
• La fonctionnalité Extract a une tarification moins transparente que les autres, consulte la doc avant de l'utiliser à grande échelle
• Si tu envisages un scraping massif (plusieurs milliers de pages en une session), calcule tes crédits avant de lancer

Le projet est open source sur GitHub, mais pour 16 $ par mois, la stabilité et la maintenance gérée côté Firecrawl valent largement l'abonnement plutôt que d'héberger sa propre instance.