Combien de temps Baidu met à indexer, et ce qui accélère vraiment les choses

Vous avez soumis votre domaine à Baidu. Une semaine plus tard, rien. Deux semaines plus tard, toujours rien, et vous commencez à vous demander si la soumission a seulement été enregistrée.

C'est la question qui revient le plus souvent, et la réponse est presque toujours la même : rien n'a encore échoué. Baidu est lent avec un site étranger récemment soumis, nettement plus lent que Google. La bonne question n'est pas de savoir combien de temps cela prend en moyenne, mais lesquels des éléments qui dépendent de vous ajoutent des semaines d'attente.

Trois choses que l'on confond

Avant de parler de délais, il faut les distinguer :

La découverte : Baidu sait que l'URL existe. C'est ce que fait la soumission, et c'est instantané.
L'exploration : Baiduspider télécharge réellement la page. Cette étape peut échouer en silence pendant des mois.
L'inclusion (收录) : la page est dans l'index et peut apparaître dans les résultats. C'est ce que montre une requête site:.
Le classement : la page se bat sur une requête. Autre problème, essentiellement un problème de contenu.

Une page peut être découverte le premier jour, explorée le neuvième et n'être jamais incluse. Soumettre davantage d'URL n'y change rien. La plupart des gens qui demandent combien de temps met Baidu sont en réalité bloqués entre l'exploration et l'inclusion.

Le calendrier réaliste

Pour un site européen classique : hébergé en Europe, sans enregistrement ICP, avec du contenu en anglais ou dans une langue européenne, sans liens depuis des sites chinois.

Première visite de Baiduspider : d'un jour à trois semaines après la soumission. En général la page d'accueil seule, et souvent rien d'autre pendant un moment.
Première page visible dans une requête site: : de une à six semaines.
Couverture utile d'un petit site : de un à trois mois.
Couverture qui tient et ne se réduit pas à la réévaluation suivante : de trois à six mois, et honnêtement seulement s'il existe des pages en chinois simplifié.

À comparer avec un site hébergé en Chine continentale, avec enregistrement ICP et contenu en chinois : la page d'accueil entre dans l'index en quelques jours, le reste en deux semaines. C'est l'écart entre ces deux listes qui occupe le reste de cet article.

Baidu ne publie aucun engagement de délai et il n'existe aucun support auquel escalader le dossier. Ce dont vous disposez, ce sont des canaux au débit différent et un budget d'exploration qui augmente ou diminue selon le comportement de votre serveur.

D'abord : vérifiez si vous êtes indexé

À faire avant de toucher quoi que ce soit.

Allez sur baidu.com et cherchez site:votredomaine.com. Le nombre de résultats est une estimation qui bouge beaucoup : lisez-le comme un oui ou un non, pas comme une mesure. S'il y a des résultats, vous êtes indexé et la question devient celle de la couverture. Si vous obtenez zéro au bout de six semaines, quelque chose est cassé et attendre davantage n'y changera rien.

Deux vérifications supplémentaires valent le détour :

Cherchez le titre exact de votre page d'accueil entre guillemets. Si le site est indexé mais que l'opérateur site: se comporte étrangement, cela le révèle souvent.
Dans Baidu Webmaster Tools (百度搜索资源平台), regardez 索引量 (volume d'indexation) et 抓取频次 (fréquence d'exploration). Ce sont les chiffres honnêtes. 抓取异常 (erreurs d'exploration) vous dit si le robot se heurte à des délais dépassés, à des 403 ou à des échecs DNS, et c'est là que la plupart des sites étrangers découvrent leur vrai problème.

Si la fréquence d'exploration est proche de zéro et que les erreurs d'exploration ne le sont pas, vous avez une panne technique, pas un problème de patience.

Les canaux de soumission, et ce que chacun vaut réellement

Baidu propose plusieurs façons de lui transmettre une URL, et elles ne se valent pas.

Le sitemap

Découverte uniquement, et la file d'attente la plus lente de toutes. Baidu traite un sitemap comme une liste de suggestions à parcourir quand il en aura le temps. Soumettez-le, tenez-le à jour, n'en attendez rien cette semaine. Il compte surtout pour les gros sites, quand il faut que Baidu trouve les pages profondes.

La soumission manuelle d'URL (普通收录)

Vous collez les URL dans l'interface. Plafonnée par jour et par site. C'est une indication, pas une instruction. Utile pour quelques pages auxquelles vous tenez vraiment, inutile comme stratégie.

L'envoi actif par API (主动推送)

Le meilleur des canaux ordinaires. Votre serveur envoie les URL nouvelles ou modifiées au point d'entrée de Baidu dès qu'elles changent, ce qui supprime le délai de découverte et, d'après ce que nous constatons, raccourcit nettement l'attente avant la première exploration. Le quota quotidien évolue avec ce qui est déjà indexé chez vous, ce qui ressemble au début au problème de l'œuf et de la poule, mais cesse vite d'en être un. Si vous publiez régulièrement, branchez cela sur votre build ou votre CMS et n'y pensez plus.

L'envoi automatique (自动推送)

Un extrait de JavaScript qui prévient Baidu quand une page est consultée. Il lui faut de vraies visites depuis la Chine pour servir à quelque chose, et c'est précisément ce qu'un site étranger fraîchement soumis n'a pas. Il ajoute en plus un script tiers sur chaque page, sur un site dont le point faible est déjà le temps de chargement depuis la Chine. Gardez-le pour le jour où vous aurez du trafic chinois.

L'inclusion rapide (快速收录)

C'est le canal que tout le monde a en tête en demandant comment être indexé vite, et la réponse honnête est inconfortable.

快速收录 est un canal distinct et contingenté : un nombre fixe d'URL par jour, traitées bien plus vite que tout ce qui passe par la file ordinaire. Le quota est accordé par Baidu, site par site, selon sa propre appréciation de la qualité du site et de son expérience mobile. Le programme a changé de nom plusieurs fois au fil des ans, et sa forme actuelle est une allocation par site, pas une option que l'on active.

Trois conséquences en découlent. Cela ne s'achète pas. Cela ne s'obtient pas sur demande. Et un site étranger tout neuf ne l'a pas, faute d'historique d'exploration que Baidu puisse juger. Si cela devient un jour disponible pour votre domaine, ce sera après des mois d'explorations propres et de contenu en chinois que Baidu conserve au lieu de l'écarter. Quiconque propose de vous vendre du quota d'inclusion rapide vous vend autre chose.

L'ordre pratique, donc : envoi actif pour la vitesse, sitemap pour la couverture, soumission manuelle pour les quelques pages qui comptent le plus, et inclusion rapide seulement si votre site l'a méritée.

Pourquoi un hébergement hors de Chine continentale ralentit tout

Baiduspider explore depuis des plages d'IP de Chine continentale. Chaque requête vers votre serveur allemand ou irlandais traverse la frontière, et cela produit trois effets qui se cumulent.

Latence et pertes. Des allers-retours de 200 à 400 millisecondes sont la norme, et aux heures de pointe la perte de paquets sur ce trajet est bien réelle. Une page qui se charge en 800 millisecondes depuis Francfort peut demander cinq secondes ou plus depuis Pékin.

Le budget d'exploration se réduit. Baidu, comme tout robot, s'écarte des serveurs lents ou peu fiables. Les délais dépassés et les erreurs 5xx font baisser votre fréquence d'exploration, donc moins de pages par visite, donc une inclusion plus lente. C'est le mécanisme derrière la plupart des « Baidu a cessé de nous explorer ».

Les ressources bloquées font traîner la page. Google Fonts, googleapis.com, Google Analytics, les vidéos YouTube intégrées, reCAPTCHA, les widgets Facebook : rien de tout cela n'est joignable depuis la Chine. Le navigateur attend chacun d'eux jusqu'à abandonner. Ce que Baidu passe au rendu se heurte au même mur. Héberger vous-même polices et scripts est la correction la moins chère à la portée d'une entreprise européenne, et cela prend en général un après-midi.

À défaut d'une présence en Chine continentale, héberger le site (ou le placer derrière un frontal) à Hong Kong, à Singapour ou au Japon raccourcit sensiblement le trajet. Ce n'est pas la même chose qu'être à l'intérieur, mais c'est bien mieux que l'Europe et cela ne demande aucune entité chinoise.

Ce que change l'enregistrement ICP, et ce qu'il ne change pas

Le ICP备案 (enregistrement ICP) est la déclaration que tout site hébergé sur des serveurs de Chine continentale doit déposer auprès du ministère de l'Industrie et des Technologies de l'information. Le ICP许可证 (licence ICP) est l'autorisation plus lourde exigée des services commerciaux en ligne. Les deux supposent une entité juridique chinoise, et l'enregistrement suppose en plus un hébergeur chinois : une société étrangère sans filiale ni partenaire local ne peut obtenir ni l'un ni l'autre.

Voici le point que l'on rapporte mal : Baidu n'exige pas d'enregistrement ICP pour indexer votre site. Un .com hébergé à Francfort peut être indexé et l'est effectivement, et aucune règle publiée ne fait du numéro d'enregistrement un facteur de classement.

Ce que l'enregistrement débloque réellement, c'est l'hébergement en Chine continentale, et c'est l'hébergement qui apporte la vitesse et le budget d'exploration. L'avantage est réel, mais indirect. Si vous n'avez pas d'entité chinoise, c'est une raison de corriger tout le reste de cette liste, pas de renoncer à être indexé.

La vitesse des pages, mesurée au bon endroit

Le chiffre qui compte, c'est le comportement de votre page sur une connexion mobile en Chine, pas ce qu'affiche votre supervision européenne. Baidu répète depuis des années que l'expérience de page sur mobile pèse sur la façon dont il traite un site, et l'objectif de travail pour une page d'atterrissage est de passer sous les trois secondes avant le contenu utile, sur un réseau mobile chinois.

Ce qu'une équipe européenne peut faire dès aujourd'hui :

Faites le rendu côté serveur. Baiduspider gère le JavaScript bien moins bien que Googlebot. Si votre texte n'existe qu'après l'hydratation, partez du principe que Baidu ne le voit pas. Ici, le rendu serveur ou le HTML statique n'est pas optionnel.
Hébergez vous-même polices, icônes et outils de mesure. Chaque requête vers un hôte bloqué est un blocage.
Compressez correctement les images et posez des en-têtes de cache longs sur les fichiers statiques.
Une seule redirection. Chaque maillon de la chaîne coûte un aller-retour transfrontalier de plus.
Une URL par page. Pas de paramètres de session, pas de paramètres de suivi dans les liens internes, une seule forme canonique du domaine.

Et mesurez depuis là-bas, pas depuis ici : plusieurs services de test chinois vont chercher votre URL depuis une douzaine de villes et vous donnent les vrais chiffres.

Baiduspider a-t-il seulement le droit d'entrer ?

Ouvrez votredomaine.com/robots.txt tout de suite. Nous ne comptons plus les sites qui se sont soumis à Baidu, ont attendu deux mois et bloquaient le robot depuis le début.

Les causes habituelles :

Un robots.txt issu d'un modèle qui autorise Googlebot et Bingbot nommément, puis se termine par User-agent: * et Disallow: /.
Un blocage explicite User-agent: Baiduspider / Disallow: / posé il y a des années parce que Baiduspider explorait trop agressivement. C'est très fréquent sur les sites européens un peu anciens.
La protection anti-robots du WAF ou du CDN, cause la plus fréquente et celle que personne ne vérifie, puisqu'elle n'apparaît pas du tout dans le robots.txt. Les règles managées présentent un défi ou renvoient un 403 aux user agents qu'elles ne reconnaissent pas, et certaines configurations bloquent purement et simplement les plages d'IP chinoises. Du point de vue de Baidu, votre site renvoie une erreur.
Une balise noindex ou un en-tête X-Robots-Tag oublié depuis la préproduction.
Un rel="canonical" qui pointe vers un autre domaine.

Baiduspider s'identifie comme Baiduspider, avec des variantes bureau et mobile, auxquelles s'ajoutent Baiduspider-image, Baiduspider-video et Baiduspider-news. Un vrai robot se résout en DNS inverse sous baidu.com ou baidu.jp. Tout ce qui se réclame de Baiduspider depuis un autre hôte est une usurpation, et le bloquer ne vous coûte rien.

Une vérification rapide, en ligne de commande :

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://votredomaine.com/

Ce que vous voulez voir, c'est un 200. Un 403, une redirection vers une page de défi ou un CAPTCHA signifient que le robot se fait refouler. Ce test ne couvre toutefois pas le blocage géographique : demandez aussi à qui gère votre CDN ce que font les règles avec le trafic venu de Chine continentale.

Pourquoi des pages sont indexées puis disparaissent

Le volume d'indexation descend autant qu'il monte, et une baisse n'est pas un bug. Baidu réévalue et écarte discrètement les pages qu'il juge inutiles à conserver : pages uniquement en anglais sans public chinois, pages maigres, quasi-doublons entre versions linguistiques, textes traduits automatiquement.

C'est là que se situe le vrai plafond d'un site étranger. Toute la partie technique de cet article vous achète de la vitesse d'exploration. Ce qui décide si l'inclusion tient, c'est l'existence de contenu en chinois simplifié qu'un lecteur chinois aurait envie de lire. La traduction automatique ne passe pas la barre, et Baidu la repère nettement mieux qu'avant.

Ce qui dépend de vous et ce qui n'en dépend pas

Dépend de vous : le robots.txt, les règles de votre WAF et de votre CDN, les ressources tierces, le rendu côté serveur, le temps de chargement depuis la Chine, le lieu d'hébergement, l'exactitude du sitemap, l'envoi actif, une URL canonique par page, et l'existence même de contenu en chinois.

N'en dépend pas : le calendrier d'exploration de Baidu, la vitesse de la file, l'octroi éventuel d'un quota d'inclusion rapide, ou le niveau où se stabilise le volume d'indexation. Rien de tout cela ne s'achète, et aucun ticket de support ne le fera bouger.

Un calendrier sans illusions

Semaine 0 : vous soumettez, vérifiez le domaine, envoyez le sitemap, branchez l'envoi actif et, avant tout le reste, contrôlez le robots.txt et les règles du CDN.
Semaine 1 : vous regardez la fréquence d'exploration et les erreurs. Vous corrigez ce que signale le rapport d'erreurs. Ne touchez pas encore au contenu.
Semaines 2 et 3 : première requête site:. Voir seulement la page d'accueil est normal.
Semaine 6 : si site: ne renvoie toujours rien et que le journal d'exploration ne montre aucun téléchargement réussi, arrêtez d'attendre et traitez cela comme une panne technique. C'en est presque toujours une.
Semaines 8 à 12 : suivez le volume d'indexation plutôt que le compteur du site:. Commencez à ajouter des pages en chinois simplifié.
Chaque trimestre ensuite : revérifiez les erreurs d'exploration, vérifiez que rien de nouveau ne bloque le robot, et regardez si la couverture progresse ou se réduit.

Si vous préférez déléguer

L'essentiel de l'attente n'a rien de mystérieux. C'est un robot bloqué, une page lente vue de Pékin, ou un site qui n'offre rien à un lecteur chinois, et ces trois choses se corrigent.

C'est la soumission elle-même qui arrête la plupart des entreprises européennes, car l'ouverture d'un compte Baidu exige un numéro de mobile de Chine continentale. Notre service de soumission Baidu prend le domaine, mène toute la soumission et vous rend compte de ce que Baidu a réellement indexé, à un tarif forfaitaire par domaine. Vous n'avez besoin ni d'un numéro de téléphone chinois, ni d'une entité chinoise, ni d'un compte Baidu à vous. Si vous voulez aussi régler la partie technique avant de soumettre, réservez un appel et nous cadrerons la suite.