Définition du
crawl en SEO
La technique est l'un des trois piliers du référencement naturel à travailler pour voir son site performer dans les résultats Google. Pour optimiser techniquement son site, il faut avant tout être capable de déceler les points d'amélioration potentiels : c'est là que le crawl intervient. Zoom sur cette notion incontournable du SEO.
Qu'est-ce que le crawl en SEO ?
Le crawl (qui signifie ramper en anglais) est le processus d’exploration d’un site web par un robot, ou plutôt une colonie de robots : les crawlers. Ces robots explorateurs, appelés régulièrement bots, peuvent être de différentes natures et sources : Il peut s’agir :
-
du robot d’un moteur de recherche (comme Googlebot ou Bingbot),
-
d’un robot simulé, qui imite le comportement de ceux cités précédemment, via un outil de crawl SEO comme Screaming Frog, SeRanking (celui que j'utilise actuellement) ou Oncrawl.
Dans les deux cas, le principe est le même : le robot arrive sur une page du site (après avoir lu plusieurs fichiers techniques), explore le code HTML, suit un lien, arrive sur une autre page, lit le code de la page, etc., et enregistre ce qu’il trouve.
Côté moteurs, l’objectif est clair : découvrir de nouvelles pages, analyser leur contenu et décider s’il faut les indexer dans les résultats de recherche.
Côté outils SEO, le but est un peu différent : voir ton site comme un robot le voit, identifier les freins techniques, les erreurs et différents codes HTTP rencontrés (404, 410, 200, 301, 302,... ), les balises manquantes, les pages orphelines, etc. Bref, tout ce qui crée une impasse pour les bots, perturbe la navigation, leur envoie un mauvais signal et donc nuit à ton positionnement et ton potentiel d'indexation.
En résumé : pas de crawl, pas d’indexation. Pas d’indexation, pas de positionnement. Pas de positionnement, pas de visibilité. Pas de visibilité, pas de visites organiques et un site ne remplit pas ces objectifs. CQFD.
Crawl et indexation : quelle différence ?
L'indexation, c'est le moment où un moteur de recherche décide d'intégrer une page à son annuaire de résultat, et à la rendre accessible aux utilisateurs quand ils effectuent leur recherche.
Il faut bien comprendre que crawl et indexation sont deux phases différentes. Un robot peut crawler une page… sans jamais l’indexer, si elle ne répond pas à ces exigences par exemple. Par contre, s’il ne l’explore pas, elle n’a aucune chance d’être référencée dans l'index.
Ton enjeu est double :
-
Faciliter la découverte de tes pages importantes (en interne et pour Google),
-
Auditer régulièrement avec tes propres outils pour garder le contrôle sur la santé technique de ton site.
Tout ça dans le but que Google passe du bon temps sur ton site, ait envie d'y revenir, plus souvent encore. Cela revient à optimiser ce qu'on appelle le "budget de crawl". Encore une notion essentielle côté SEO. La vraie boîte de Pandore.
La notion de budget de crawl
Les moteurs de recherche, comme Google, n'ont pas des ressources illimitées. Ils doivent décider comment répartir leur temps et leur énergie pour explorer des milliards de pages web. Le budget de crawl d'un site désigne la quantité de ressources et de temps que les moteurs de recherche allouent à l'exploration de celui-ci.
Le budget de crawl est une notion qui peut paraître complexe, mais une fois imagée, on se rend compte que c'est tout simple.
Dis-toi que Google a de l'argent de poche et qu'il doit débourser une pièce à chaque fois qu'il explore une page. Il découvre ton site pour la première fois et vu qu'il ne te connaît pas, il va emporter une seule pièce histoire de ne pas miser trop gros et se faire un premier avis. Pour explorer la première page, il dépense l'unique pièce qu'il a dans sa poche. Cette page lui convient et il découvre, en lisant cette page, qu'il y a d'autres pages potentiellement intéressantes sur ton site. Du coup, il décide de revenir bientôt, avec plus de pièces. Si ce que tu lui proposes lui convient, il va explorer régulièrement ta plateforme et indexer la majeure partie de tes pages.
Par contre, s'il est confronté à des obstacles pour lui ou pour les utilisateurs lors de ces explorations, il va avoir tendance à moins revenir et à bouder un peu ton site. L'indexation de tes nouvelles pages sera plus lente et leur positionnement altéré.
Un des objectifs en SEO est donc de maximiser le nombre de pièces déboursées à chaque exploration et la fréquence des explorations. Autrement dit, maximiser le budget de crawl de ton site. Cela passe par la création de contenu de qualité, la mise à jour régulière de ton site et l'optimisation continue de ton site, grâce à des outils bien spécifiques.
Les outils crawlers : gardiens de la santé technique de ton site
C'est quoi un outil crawler ?
Pour t'aider dans ta quête de technique parfaite, tu peux compter sur des outils bien spécifiques : les crawlers. Leur job ? Imiter le passage des robots de Google, en suivant les règles que tu leur donnes, et te faire un rapport détaillé de tout ce qu'ils ont rencontré :
-
Pages en noindex ou bloquées par le robots.txt (ça y est on rentre dans le jargon technique, mouahahah)
-
Codes HTTP de toutes tes pages
-
Titles (lien bleu dans les pages Google) et meta description (2 lignes en sous le lien bleu) manquants, trop courts, ou trop longs
-
Liens brisés
-
Chaînes de redirection
-
Images sans attribut ALT
-
Temps de chargement des pages trop long
-
Ou toute autre information pertinente techniquement, sur une trèèèèèèèès longue liste de critères.
Grosso modo, un outil crawler c'est le médecin qui réalise un bilan sanguin de ton site : il vérifie que tout va bien et quand il constate un problème, il te dit où intervenir précisément et comment faire.
Quelques outils crawlers
Il existe une panoplie d'outils qui remplissent ce rôle, à des budgets différents et avec des fonctionnalités ciblées ou très larges. Celui que j'utilise, SE Ranking, est à la fois mon crawler, mon outil d'analyse sémantique, mon checkeur de backlinks et mon outil suivi de projet, et plein d'autres fonctionnalités que je n'utilise pas pour le moment. Il est assez similaire leader sur le marché, SEMRush.
Si on a les moyens (car la on tape dans un sacré budget), on peut aussi faire le choix de se tourner vers des outils dédiés au crawl technique et à l'analyse des fichiers logs comme Lumar, OnCrawl, Botify ou encore ScreamingFrog qui est disponible en version freemium.
Si chacun de ces outils réalise un audit technique assez complet du site, de manière automatisée, il faut tout de même avoir les connaissances et les compétences pour interpréter les résultats remontés et mettre en place les actions correctives adaptées, dans le bon ordre. Et oui, le SEO c'est un vrai métier, on est entouré d'outil, mais notre cerveau est bien mis à contribution aussi.
Comment utiliser le crawl dans ta stratégie SEO ?
Maintenant que tu sais que le crawl est à la fois une porte d’entrée pour Google et un outil d’analyse pour toi, it's time to voir comment l’exploiter intelligemment dans ta stratégie de référencement.
-
Lance un crawl régulièrement, en modérant sa vitesse d'exploration et en lui donnant l'adresse de ton sitemap XML (plan de site pour Google), des limites si besoin (explorer que la partie blog par exemple). Je te conseille d'en faire un à chaque grosse modification de ton site, ou sinon un par trimestre, pour checker que tout roule.
-
Observe toutes les infos remontées par l'audit SEO, trie-les et ajoute-les dans un plan d'action (ou utilise les outils de plannings déjà présents dans les outils crawlers).
-
Priorise tes actions, les grosses erreurs 404 en premier et l'optimisation des images après par exemple.
-
Travaille avec Google Search Console (l'outil INDISPENSABLE et le PLUS GENIAL en SEO) pour croiser tes données et soumettre tes pages corrigées dans le but d'accélérer la prise en compte des changements.
-
Garde une trace des optimisations mises en place pour corréler les actions avec tes analyses ad hoc. Tu pourras davantage comprendre quel ajustement a donné quel résultat.
-
Et ensuite, sirote ton jus préféré au soleil en attendant que les bots fassent le taf.
Le crawl, ce n’est pas juste un robot qui farfouille dans ton site pendant que tu dors. C’est aussi un levier que tu peux activer pour reprendre la main sur ta structure, ton SEO technique et ta visibilité. En comprenant comment les robots naviguent chez toi, et en les accompagnant sur les bons chemins, tu t’assures que ton site est vu, compris et indexé comme il le mérite. Alors, sors ta loupe, lance ton crawl, et amorce ta stratégie pour briller dans les pages de Google.
Cœur.
