Hoe lang Baidu erover doet om te indexeren, en wat het echt versnelt

U hebt uw domein bij Baidu aangemeld. Een week later: niets. Twee weken later nog steeds niets, en u begint zich af te vragen of de aanmelding wel is doorgekomen.

Dat is de vraag die wij het vaakst krijgen over Baidu, en meestal is het antwoord dat er nog helemaal niets is misgegaan. Baidu is traag met een nieuw buitenlands domein, een stuk trager dan Google. De vraag die u verder helpt is niet hoe lang het gemiddeld duurt, maar welke van de dingen die u zelf in de hand hebt er weken bovenop leggen.

Drie dingen die door elkaar worden gehaald

Voordat een tijdlijn ergens op slaat, moet u ze uit elkaar houden:

Ontdekking: Baidu weet dat de URL bestaat. Dat regelt de aanmelding, en dat gaat direct.
Crawlen: Baiduspider haalt de pagina daadwerkelijk op. Dit kan maandenlang stilletjes mislukken.
Opname (收录): de pagina staat in de index en kan in de resultaten verschijnen. Dat is wat een site:-zoekopdracht laat zien.
Ranking: de pagina concurreert op een zoekterm. Ander probleem, en vooral een contentprobleem.

Een pagina kan op dag één ontdekt worden, op dag negen gecrawld en nooit opgenomen. Meer URL's insturen lost dat niet op. Wie vraagt hoe lang Baidu erover doet, zit in de praktijk vast tussen crawlen en opname.

De realistische tijdlijn

Voor een doorsnee Europese site: gehost in Europa, geen ICP-registratie, content in het Engels of een Europese taal, geen links vanaf Chinese sites.

Eerste bezoek van Baiduspider: één dag tot drie weken na de aanmelding. Meestal alleen de homepage, en vaak een tijdlang niets anders.
Eerste pagina zichtbaar in een site:-zoekopdracht: één tot zes weken.
Bruikbare dekking van een kleine site: één tot drie maanden.
Dekking die standhoudt en bij de volgende herbeoordeling niet krimpt: drie tot zes maanden, en realistisch gezien alleen met pagina's in vereenvoudigd Chinees.

Vergelijk dat met een site die in China zelf wordt gehost, met ICP-registratie en Chinese content: homepage binnen dagen in de index, de rest binnen een paar weken. Het gat tussen die twee lijstjes is waar de rest van dit artikel over gaat.

Baidu publiceert hiervoor geen enkele doorlooptijd, en er is geen supportkanaal om iets te escaleren. Wat u wel hebt: een aantal kanalen met verschillende doorvoer, en een crawlbudget dat groeit of krimpt afhankelijk van hoe uw server zich gedraagt.

Eerst: bent u überhaupt geïndexeerd?

Doe dit voordat u iets verandert.

Ga naar baidu.com en zoek op site:uwdomein.nl. Het aantal resultaten is een schatting die alle kanten op beweegt, dus lees het als een ja of nee, niet als een meting. Krijgt u resultaten, dan bent u geïndexeerd en gaat het verder alleen nog over dekking. Krijgt u na zes weken nul, dan is er iets stuk en helpt langer wachten niet.

Nog twee controles die de moeite waard zijn:

Zoek de exacte titel van uw homepage tussen aanhalingstekens. Als de site wel is geïndexeerd maar de site:-operator zich vreemd gedraagt, komt dat zo meestal boven water.
Kijk in Baidu Webmaster Tools (百度搜索资源平台) naar 索引量 (indexvolume) en 抓取频次 (crawlfrequentie). Dat zijn de eerlijke cijfers. 抓取异常 (crawlfouten) laat zien of de spider tegen time-outs, 403's of DNS-fouten aanloopt, en daar vinden de meeste buitenlandse sites hun echte probleem.

Staat de crawlfrequentie bijna op nul en de crawlfouten niet, dan hebt u een technisch defect, geen geduldprobleem.

De aanmeldkanalen, en wat elk kanaal waard is

Baidu biedt meerdere manieren om een URL aan te leveren, en ze zijn niet gelijkwaardig.

Sitemap

Alleen ontdekking, en de traagste wachtrij van allemaal. Baidu behandelt een sitemap als een lijst suggesties die het afwerkt wanneer het uitkomt. Stuur er een in, houd hem kloppend, en verwacht er deze week niets van. Hij telt vooral bij grote sites, waar Baidu diepe pagina's anders helemaal niet vindt.

Handmatig URL's insturen (普通收录)

U plakt URL's in het dashboard. Er zit een dagelijks maximum op, per site. Het is een hint, geen opdracht. Handig voor een handvol pagina's waar u echt om geeft, waardeloos als strategie.

Actief pushen via de API (主动推送)

Het beste van de gewone kanalen. Uw server stuurt nieuwe en gewijzigde URL's naar het endpoint van Baidu op het moment dat ze veranderen. Daarmee verdwijnt de ontdekkingsvertraging, en de wachttijd tot de eerste crawl wordt in onze ervaring merkbaar korter. Het dagquotum schaalt mee met hoeveel van uw site al is opgenomen. Dat is in het begin een kip-en-eiprobleem, maar niet lang. Publiceert u regelmatig, koppel dit dan aan uw build of CMS en vergeet het verder.

Automatisch pushen (自动推送)

Een stukje JavaScript dat Baidu een seintje geeft zodra iemand een pagina bekijkt. Het heeft echte bezoekers uit China nodig om iets te doen, en die heeft een net aangemelde buitenlandse site nu juist niet. Bovendien zet het op elke pagina een script van derden, op een site waarvan de laadtijd vanuit China al het zwakke punt is. Bewaar dit tot u Chinees verkeer hebt.

Snelle opname (快速收录)

Dit is het kanaal dat iedereen bedoelt met de vraag hoe je snel geïndexeerd raakt, en het eerlijke antwoord is ongemakkelijk.

快速收录 is een apart kanaal met een quotum: een vast aantal URL's per dag, die veel sneller worden verwerkt dan wat dan ook in de gewone wachtrij. Het quotum wordt door Baidu toegekend, per site, op basis van zijn eigen oordeel over de kwaliteit van de site en de mobiele ervaring. Het programma is door de jaren heen meermaals van naam veranderd, en de huidige vorm is een toewijzing per site, niet iets wat u aanzet.

Daar volgen drie dingen uit. Het is niet te koop. Het wordt niet op verzoek verleend. En een gloednieuwe buitenlandse site heeft het niet, omdat er geen crawlgeschiedenis is om te beoordelen. Komt het ooit beschikbaar voor uw domein, dan is dat na maanden van schone crawls en Chineestalige content die Baidu bewaart in plaats van weggooit. Wie u quotum voor snelle opname wil verkopen, verkoopt u iets anders.

De praktische volgorde dus: actief pushen voor snelheid, sitemap voor dekking, handmatig insturen voor de paar pagina's die er echt toe doen, en snelle opname alleen als uw site die verdiend heeft.

Waarom hosting buiten China trager is

Baiduspider crawlt vanaf Chinese IP-reeksen. Elk verzoek aan uw Duitse of Ierse server steekt de grens over, en dat heeft drie effecten die op elkaar stapelen.

Latency en pakketverlies. Retourtijden van 200 tot 400 milliseconden zijn normaal, en tijdens piekuren is pakketverlies op dat traject een gegeven. Een pagina die vanuit Frankfurt in 800 milliseconden laadt, kan vanuit Peking vijf seconden of meer kosten.

Het crawlbudget krimpt. Baidu houdt zich, zoals elke crawler, afzijdig van trage of onbetrouwbare hosts. Time-outs en 5xx-antwoorden verlagen uw crawlfrequentie, dus minder pagina's per bezoek, dus tragere opname. Dat is het mechanisme achter vrijwel elke melding van “Baidu crawlt ons opeens niet meer”.

Geblokkeerde bronnen laten de pagina hangen. Google Fonts, googleapis.com, Google Analytics, ingesloten YouTube-video's, reCAPTCHA, Facebook-widgets: vanuit China allemaal onbereikbaar. De browser wacht op elk van die verzoeken tot hij het opgeeft. Alles wat Baidu met rendering ophaalt, loopt tegen dezelfde muur. Fonts en scripts zelf hosten is de goedkoopste ingreep die een Europees bedrijf tot zijn beschikking heeft, en het is doorgaans een middag werk.

Zonder aanwezigheid in China zelf scheelt hosten (of een frontend zetten) in Hongkong, Singapore of Japan behoorlijk in de reistijd. Het is niet hetzelfde als binnen de muur zitten, maar het is een grote sprong ten opzichte van Europa en het vraagt geen Chinese rechtspersoon.

Wat ICP-registratie verandert, en wat niet

ICP备案 (de ICP-registratie) is de inschrijving die elke site op een Chinese server moet hebben bij het Ministerie van Industrie en Informatietechnologie. ICP许可证 (de ICP-vergunning) is de zwaardere toestemming voor commerciële onlinediensten. Beide vereisen een Chinese rechtspersoon, en de registratie vereist bovendien een Chinese hostingpartij. Een buitenlands bedrijf zonder Chinese dochter of lokale partner kan geen van beide krijgen.

En dit is het punt dat vaak verkeerd wordt verteld: Baidu eist geen ICP-registratie om uw site te indexeren. Een .com die in Frankfurt draait kán worden geïndexeerd en wórdt geïndexeerd, en er is geen gepubliceerde regel die het registratienummer als rankingfactor behandelt.

Wat de registratie werkelijk ontsluit, is hosting binnen China, en het is die hosting die de snelheid en het crawlbudget oplevert. Het voordeel is echt, maar indirect. Hebt u geen Chinese entiteit, dan is dat een reden om al het andere op deze lijst te repareren, niet om indexering op te geven.

Paginasnelheid, gemeten vanaf de juiste plek

Het getal dat telt, is hoe uw pagina presteert op een mobiele verbinding binnen China, niet wat uw Europese monitoringdashboard laat zien. Baidu zegt al jaren onomwonden dat de mobiele pagina-ervaring meeweegt in hoe het een site behandelt, en het werkbare doel voor een landingspagina is onder de drie seconden tot betekenisvolle content op een Chinees mobiel netwerk.

Wat een Europees team vandaag kan doen:

Render op de server. Baiduspider gaat een stuk minder betrouwbaar om met JavaScript dan Googlebot. Bestaat uw tekst pas na hydratie, ga er dan van uit dat Baidu hem niet ziet. Server-side rendering of statische HTML is hier geen keuze.
Host fonts, iconen en analytics zelf. Elk verzoek naar een geblokkeerde host is stilstand.
Comprimeer afbeeldingen fatsoenlijk en zet lange cache-headers op statische bestanden.
Houd redirects op één hop. Elke schakel in de keten kost weer een reis over de grens.
Eén URL per pagina. Geen sessieparameters, geen trackingparameters in interne links, één canonieke vorm van het domein.

En meet het daarvandaan, niet vanaf hier: meerdere Chinese testdiensten halen uw URL op vanuit een stuk of tien steden en geven u echte cijfers.

Mag Baiduspider überhaupt naar binnen?

Open uwdomein.nl/robots.txt nu meteen. We zijn de tel kwijt van de sites die zich bij Baidu aanmeldden, twee maanden wachtten en al die tijd de crawler blokkeerden.

De gebruikelijke oorzaken:

Een robots.txt uit een sjabloon die Googlebot en Bingbot bij naam toestaat en dan eindigt met User-agent: * en Disallow: /.
Een expliciete blokkade User-agent: Baiduspider / Disallow: / die iemand jaren geleden neerzette omdat Baiduspider te agressief crawlde. Op wat oudere Europese sites komt dit veel voor.
Botbescherming van de WAF of het CDN, de meest voorkomende oorzaak en degene die niemand controleert, omdat hij helemaal niet in robots.txt staat. Managed bot rules gooien er een challenge tegenaan of geven een 403 aan user agents die ze niet kennen, en sommige inrichtingen blokkeren Chinese IP-reeksen ronduit op geografie. Wat Baidu betreft geeft uw site een foutmelding.
Een noindex-metatag of een X-Robots-Tag-header die van de testomgeving is blijven staan.
Een rel="canonical" die naar een ander domein wijst.

Baiduspider identificeert zich als Baiduspider, met varianten voor desktop en mobiel, plus Baiduspider-image, Baiduspider-video en Baiduspider-news. Een echte laat zich via reverse DNS herleiden tot baidu.com of baidu.jp. Alles wat zich vanaf een andere host als Baiduspider voordoet is vals, en dat blokkeren kost u niets.

Een snelle controle vanaf de terminal:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://uwdomein.nl/

Wat u wilt zien is een 200. Een 403, een redirect naar een challengepagina of een CAPTCHA betekent dat de crawler wordt weggestuurd. Die test dekt geoblokkades echter niet af, dus vraag ook aan wie uw CDN beheert wat de regels doen met verkeer uit China.

Waarom pagina's worden opgenomen en daarna verdwijnen

Het indexvolume gaat net zo goed omlaag als omhoog, en een daling is geen storing. Baidu herbeoordeelt en gooit zonder aankondiging pagina's weg die het niet de moeite waard vindt: pagina's die alleen in het Engels zijn en geen Chinees publiek hebben, dunne pagina's, bijna-duplicaten tussen taalversies, automatisch vertaalde teksten.

Daar ligt het echte plafond van een buitenlandse site. Alle techniek in dit artikel koopt u crawlsnelheid. Of de opname standhoudt, hangt ervan af of er content in vereenvoudigd Chinees staat die een Chinese lezer daadwerkelijk wil lezen. Machinevertaling haalt die lat niet, en Baidu herkent het merkbaar beter dan vroeger.

Wat u wel en niet in de hand hebt

U hebt in de hand: robots.txt, uw WAF- en CDN-regels, bronnen van derden, server-side rendering, laadtijd vanuit China, de hostinglocatie, een kloppende sitemap, actief pushen, één canonieke URL per pagina, en of er überhaupt Chinese content is.

U hebt niet in de hand: het crawlschema van Baidu, hoe snel de wachtrij opschuift, of er ooit quotum voor snelle opname wordt toegekend, en waar het indexvolume uitkomt. Niets daarvan is te koop, en geen supportticket verandert het.

Een planning zonder wensdenken

Week 0: aanmelden, domein verifiëren, sitemap insturen, actief pushen aansluiten, en vóór alles robots.txt en CDN-regels nakijken.
Week 1: kijk naar crawlfrequentie en crawlfouten. Repareer wat het foutrapport laat zien. Blijf voorlopig van de content af.
Week 2 en 3: eerste site:-controle. Alleen de homepage is normaal en prima.
Week 6: geeft site: nog steeds niets en toont het crawllog geen geslaagde ophaalacties, stop dan met wachten en behandel het als een technisch defect. Dat is het bijna altijd.
Week 8 tot 12: volg het indexvolume in plaats van het aantal bij site:. Begin met pagina's in vereenvoudigd Chinees.
Daarna elk kwartaal: crawlfouten opnieuw nakijken, controleren of er niets nieuws de spider blokkeert, en kijken of de dekking groeit of krimpt.

Liever uitbesteden?

Het grootste deel van de wachttijd is niet mysterieus. Het is een geblokkeerde crawler, een pagina die vanuit Peking traag is, of een site zonder iets wat een Chinese lezer wil. Alle drie zijn te repareren.

De aanmelding zelf is wat de meeste Europese bedrijven tegenhoudt, want voor een Baidu-account is een Chinees mobiel nummer nodig. Onze Baidu-aanmeldingsdienst neemt het domein over, voert de volledige aanmelding uit en rapporteert wat Baidu daadwerkelijk heeft geïndexeerd, voor een vaste prijs per domein. U heeft geen Chinees telefoonnummer, geen Chinese entiteit en geen eigen Baidu-account nodig. Wilt u ook de technische kant op orde hebben vóór de aanmelding, plan dan een gesprek en bepalen we samen de rest.