Scraper n’importe quel site avec Firecrawl et Claude Code

Firecrawl, installé en plugin natif dans Claude Code, transforme n’importe quel site en markdown propre exploitable par une IA. Fini les scripts Beautiful Soup qui cassent tous les mois: une API gère le scraping, les anti-bots et la rotation de proxy à ta place.

À retenir

• Firecrawl est une API de scraping qui convertit n’importe quel site en markdown structuré pour l’IA
• Installation en 2 minutes via le système de plugins natif de Claude Code
• 4 modes: Scrape (1 page), Crawl (site entier), Map (cartographie), Extract (données structurées JSON)
• Plan gratuit: 500 crédits. Plan Pro: 16 $/mois pour 3 000 crédits
• Cas d’usage rentables: veille concurrentielle, affiliation multi-pays, analyse SEO, scraping B2B

Pourquoi scraper, c’est encore un enfer en 2026

En 2023, pour récupérer les prix d’une cinquantaine de concurrents sur un projet e-commerce, j’ai passé deux jours à debugger du Beautiful Soup. Deux jours. Pour finir avec un script qui tenait trois semaines avant qu’un changement de thème côté concurrent casse tous les sélecteurs CSS et que je recommence à zéro.

C’est le problème structurel du scraping maison: tu codes, ça marche, puis ça casse. Selenium, Puppeteer, Beautiful Soup, chacun a ses avantages, aucun n’est stable dans le temps. Un site qui change de classe CSS ou qui passe sous Cloudflare, et tu repars d’une feuille blanche. Non rentable, non scalable, chronophage.

Firecrawl règle ça. Pas magiquement, mais de façon pratique: c’est une API qui gère le scraping à ta place, te renvoie du markdown propre, et s’occupe elle-même des anti-bots, de la rotation de proxy et du rendu JavaScript. Tu passes de 200 lignes de code fragile à un simple prompt.

Qu’est-ce que Firecrawl

Firecrawl est une API de scraping qui transforme n’importe quelle URL en données structurées lisibles par une IA. Tu envoies une URL, tu reçois du markdown propre. C’est à peu près tout ce qu’il faut retenir pour commencer.

Côté crédibilité: plus de 101 000 étoiles sur GitHub, 350 000 utilisateurs actifs, 14,5 millions de dollars levés. Leurs clients incluent Zapier, Shopify et Replit. Ce n’est pas un side project de week-end.

Techniquement, voilà ce qui se passe sous le capot quand tu envoies une URL:

1. Un robot visite la page comme un navigateur humain via un système de headless browsers
2. Un bypass anti-bot gère les protections, Cloudflare inclus
3. Le HTML brut est nettoyé: menus, footers, scripts inutiles supprimés
4. Le contenu pertinent est converti en markdown exploitable directement par une IA

La rotation de proxy est gérée côté Firecrawl. Tu n’y touches pas. Ce point est sous-estimé: c’est ce qui te permet de scraper Amazon, LinkedIn, ou n’importe quel site avec des protections agressives sans te retrouver banni après 50 requêtes.

Les quatre fonctionnalités à connaître

Firecrawl ne se limite pas à scraper une page isolée. Il y a quatre modes distincts.

Scrape: tu donnes une URL, il te rend le contenu en markdown. La fonctionnalité de base, la plus utilisée au quotidien.

Crawl: tu donnes l’URL d’accueil d’un site, il suit tous les liens internes et scrape l’ensemble des pages. Utile pour récupérer la totalité du catalogue d’un concurrent en une seule opération.

Map: il cartographie toutes les URLs d’un site sans scraper le contenu. Pratique pour analyser une structure de site, identifier les silos existants ou construire un plan d’attaque SEO avant de décider quelles pages méritent un scraping complet.

Extract structuré: tu définis un schéma de données (JSON), il extrait exactement ce que tu veux: prix, titres, descriptions, avis clients, depuis n’importe quelle page.

Pour un projet SEO, la combinaison Map + Crawl + Scrape permet de reproduire l’architecture d’un concurrent, d’analyser son cocon sémantique et d’identifier ses lacunes de contenu. C’est le genre de travail qui prenait une semaine avec des outils disparates et qui prend maintenant une après-midi avec un bon prompt dans Claude Code.

Installer Firecrawl dans Claude Code en 2 minutes

L’installation se fait via le système de plugins natif. Pas de configuration manuelle, pas de dépendances npm à gérer séparément.

Dans ton terminal Claude Code:

1. Tape /plugin puis Entrée
2. Presse la flèche du haut pour accéder à la recherche
3. Tape firecrawl (attention à ne pas confondre avec firebase)
4. Sélectionne le plugin officiel Anthropic, appuie sur Entrée
5. Lance /run reload plugin pour recharger les plugins

Le plugin s’installe en moins de cinq secondes. Tu peux vérifier qu’il est actif via /plugin: le statut doit afficher Enabled.

Première utilisation: Firecrawl va demander une authentification. Il suffit de lancer la commande qu’il te propose dans un second terminal, de créer un compte sur firecrawl.dev, et d’autoriser la CLI. Moins d’une minute, plan gratuit inclus (500 crédits).

Une fois installé, mentionner "scraper", "récupérer les données" ou simplement "firecrawl" dans un prompt suffit pour que Claude Code l’invoque automatiquement. C’est ce qu’on appelle l’influence sémantique: tu décris l’objectif, Claude Code choisit la fonctionnalité adaptée. Ce pattern est exactement celui qu’on retrouve dans le pattern multi-agent pour les pipelines d’audit SEO avancés.

Cas d’usage Firecrawl les plus rentables

Les possibilités sont larges. Voilà les cas qui reviennent le plus dans la pratique réelle.

Veille concurrentielle e-commerce

Scraper les prix, fiches produits et catégories d’un concurrent en une requête. Avec le mode Crawl, tu récupères l’intégralité d’un catalogue. Avec Extract, tu structures les données directement en JSON pour les importer dans ta propre base ou les analyser avec Claude Code. Pour aller plus loin sur ce sujet, on a détaillé les méthodes de veille concurrentielle SEO dans un article dédié.

Affiliation multi-pays

Identifier les produits qui cartonnent dans un pays, analyser leur positionnement, les repositionner ailleurs. L’Europe a des marchés sous-développés, des pays où la concurrence SEO est faible et les acheteurs solvables. Un site en Espagne ou en Bulgarie sur une micro-niche peut générer des revenus corrects avec peu de concurrence directe, si tu as les bons outils pour analyser rapidement le marché local.

Analyse SEO concurrentielle

Combiner Map pour cartographier la structure, Crawl pour récupérer le contenu, puis passer le tout à Claude Code pour générer un rapport de cocon sémantique et identifier les angles d’attaque. Ce type d’analyse se combine directement avec un audit de concurrence SEO pour cibler exactement où intervenir en priorité.

Scraping de leads B2B

LinkedIn profils publics, pages Indeed, annuaires professionnels. Firecrawl bypass les protections sans gestion manuelle des proxies.

Veille réglementaire et juridique

Scraper des sources officielles, jurisprudences, lois, décrets, et les structurer en base de connaissance interrogeable par une IA. Des avocats utilisent ce workflow pour suivre les évolutions dans leur domaine sans passer des heures à lire des bulletins officiels.

Scraping académique

Récupérer les dernières publications depuis arXiv, PubMed ou des conférences spécialisées pour alimenter une veille automatisée. Combiné à une stratégie GEO, ça permet aussi de créer du contenu d’autorité basé sur des sources primaires réelles.

Exemple concret: top produits tendances Espagne

Voilà ce que ça donne en pratique. Dans un repo vierge, Firecrawl installé, mode plan activé:

Prompt: "Récupère les top 20 produits tendances en e-commerce uniquement en Espagne. Utilise Firecrawl et combine avec de la recherche web en multi-agents pour trouver les meilleurs produits à lancer pour l’été 2026. Livrable: un fichier CSV dans ce dossier."

Claude Code lance trois agents en parallèle, scrape Amazon ES Bestsellers, plusieurs sites de tendances espagnols, croise 65 sources et produit un CSV avec: nom du produit, catégorie, marge estimée, raison de la tendance, pic saisonnier, cible et projections été. En moins de quinze minutes.

Ce qui est notable dans le résultat, c’est la diversité des signaux. Pas juste "ce produit marche en été". On retrouve des entrées comme "pic de recherche en hausse de 340 % depuis janvier" côté à "réglementation européenne REACH 2026 ouvre un nouveau segment acheteurs". Ce n’est pas du scraping brut, c’est de l’analyse croisée.

On peut aller plus loin: demander une interface HTML de scoring avec classement visuel, design japonais, projections temporelles. Claude Code génère l’HTML depuis le CSV, affiche les produits avec leurs scores, leurs prix et leurs recommandations de lancement par rang (S, A, B). La différence entre avoir un fichier de données et avoir un outil de prise de décision.

Note importante sur le prompting: le mot "tendances" dans le prompt a influencé Claude Code à aller sur Amazon ES Bestsellers plutôt que sur Amazon ES générique. Le choix des mots en amont compte plus que la technique en aval. C’est le principe central du travail avec des agents: la réflexion préalable vaut plus que l’exécution.

Tarifs, plan gratuit et limites à connaître

Le plan gratuit donne accès à 500 crédits, suffisant pour tester sur tes propres cibles et valider que le scraping fonctionne comme attendu sur les sites qui t’intéressent.

Le plan payant le plus utilisé: 16 $/mois pour 3 000 crédits. Chaque page scrapée = 1 crédit. Pour un projet avec 3 concurrents à analyser en profondeur, c’est largement suffisant.

Quelques limites à avoir en tête avant de se lancer:

• Certains sites ont des anti-bots particulièrement agressifs qui peuvent résister même à Firecrawl, rare, mais ça arrive. Teste d’abord avec le plan gratuit
• Pas de mode offline: tout passe par leur API, donc dépendance au service
• La fonctionnalité Extract a une tarification moins transparente que les autres, consulte la doc avant de l’utiliser à grande échelle
• Si tu envisages un scraping massif (plusieurs milliers de pages en une session), calcule tes crédits avant de lancer

Le projet est open source sur GitHub, mais pour 16 $ par mois, la stabilité et la maintenance gérée côté Firecrawl valent largement l’abonnement plutôt que d’héberger sa propre instance.

Questions fréquentes sur Firecrawl et Claude Code

Firecrawl est-il gratuit?

Oui, le plan gratuit inclut 500 crédits (1 crédit = 1 page scrapée). C’est suffisant pour tester le scraping sur tes propres cibles et valider que l’outil fonctionne sur les sites qui t’intéressent. Le plan payant le plus courant est à 16 $/mois pour 3 000 crédits.

Peut-on utiliser Firecrawl sans Claude Code?

Oui. Firecrawl dispose d’une API REST classique, de SDKs Python et Node.js, et d’une CLI indépendante. L’intégration dans Claude Code simplifie l’usage en permettant de scraper directement depuis un prompt, mais ce n’est pas la seule façon de l’utiliser.

Firecrawl fonctionne-t-il sur des sites protégés par Cloudflare?

Dans la plupart des cas, oui. Firecrawl gère les protections anti-bot courantes, Cloudflare inclus, grâce à son système de headless browsers et de rotation de proxy. Certains sites avec des protections particulièrement agressives peuvent résister. Le plan gratuit permet de tester avant de s’engager.

Quelle différence entre Firecrawl et Beautiful Soup?

Beautiful Soup est une librairie Python qui parse du HTML brut. Tu gères toi-même le téléchargement des pages, les proxies, le rendu JavaScript et les anti-bots. Firecrawl est une API clé en main qui fait tout ça pour toi et te renvoie du markdown structuré directement exploitable par une IA. L’un est un outil bas niveau, l’autre une solution complète.

Pour résumer

Firecrawl combiné à Claude Code remplace des jours de développement de scrapers fragiles par quelques prompts. L’installation prend deux minutes, le plan gratuit suffit pour valider l’outil sur tes propres cibles, et les quatre modes (Scrape, Crawl, Map, Extract) couvrent la quasi-totalité des besoins en scraping web.

Si tu travailles en SEO, e-commerce ou veille concurrentielle, c’est un outil qui devient difficile à ignorer en 2026. Commence par le plan gratuit, teste sur les sites qui t’intéressent, et décide ensuite si les 16 $/mois valent le gain de temps par rapport à maintenir tes propres scripts.