Hvor lang tid tager Baidu-indeksering, og hvad fremskynder den reelt

Du har tilmeldt dit domæne til Baidu. En uge senere: ingenting. To uger senere stadig ingenting, og du er begyndt at tvivle på, om tilmeldingen overhovedet gik igennem.

Det er det spørgsmål, vi oftest får om Baidu, og svaret er som regel, at der endnu ikke er gået noget galt. Baidu er langsom med et nyt udenlandsk site, langsommere end Google med god margin. Det nyttige spørgsmål er ikke, hvad den gennemsnitlige ventetid er. Det er, hvilke af de ting, du selv styrer, der lægger uger oven i den.

Tre ting, der bliver blandet sammen

Før nogen tidsplan giver mening, skal de holdes adskilt:

Opdagelse: Baidu ved, at URL'en findes. Det klarer tilmeldingen, og det sker med det samme.
Crawl: Baiduspider henter rent faktisk siden. Det kan fejle lydløst i månedsvis.
Optagelse i indekset (收录): siden ligger i indekset og kan komme frem i resultaterne. Det er dét, en site:-søgning viser.
Placering: siden konkurrerer om en søgning. Et andet problem, og mest et indholdsproblem.

En side kan blive opdaget dag et, crawlet dag ni og aldrig optaget. Flere indsendte URL'er ændrer ikke på det. De fleste, der spørger, hvor lang tid Baidu tager, sidder i virkeligheden fast mellem crawl og optagelse.

Den realistiske tidsplan

For et typisk europæisk site: hostet i Europa, uden ICP备案, indhold på engelsk eller et europæisk sprog, ingen links fra kinesiske sites.

Første besøg af Baiduspider: fra en dag til tre uger efter tilmeldingen. Som regel forsiden, og derefter ofte ingenting i et stykke tid.
Første side synlig i en site:-søgning: en til seks uger.
Brugbar dækning af et lille site: en til tre måneder.
Dækning, der holder og ikke skrumper ved næste revurdering: tre til seks måneder, og realistisk kun med sider på forenklet kinesisk.

Til sammenligning et site hostet på fastlandet med ICP备案 og kinesisk indhold: forsiden i indekset på få dage, resten inden for et par uger. Afstanden mellem de to forløb er det, resten af artiklen handler om.

Baidu offentliggør ingen servicemål for noget af det, og der er ingen supportkø at eskalere til. Det, du har, er en håndfuld kanaler med forskellig kapacitet og et crawl-budget, der vokser eller skrumper alt efter, hvordan din server opfører sig.

Tjek først, om du overhovedet er indekseret

Gør det, før du ændrer noget som helst.

Gå på baidu.com og søg site:yourdomain.com. Antallet af resultater er et skøn, og det svinger, så læs det som et ja eller nej frem for som en måling. Får du resultater, er du indekseret, og spørgsmålet bliver i stedet, hvor stor dækningen er. Får du nul efter seks uger, er noget i stykker, og mere tålmodighed retter det ikke.

To tjek mere er værd at tage:

Søg på din forsides præcise titel i anførselstegn. Hvis sitet er indekseret, men site:-operatoren opfører sig sært, dukker det tit op på den måde.
Kig i Baidu Webmaster Tools (百度搜索资源平台) på 索引量 (indeksvolumen) og 抓取频次 (crawl-frekvens). Det er de ærlige tal. 抓取异常 (crawl-fejl) fortæller dig, om spideren løber ind i timeouts, 403'ere eller DNS-fejl, og det er dér, de fleste udenlandske sites finder deres reelle problem.

Er crawl-frekvensen tæt på nul, mens fejlene ikke er det, har du en teknisk fejl og ikke et tålmodighedsproblem.

Indsendelseskanalerne, og hvad hver af dem faktisk er værd

Baidu tilbyder flere måder at aflevere en URL på, og de er ikke lige gode.

Sitemap

Kun opdagelse, og den langsomste kø af dem alle. Baidu behandler et sitemap som en liste af forslag, det tager fat i, når det får tid. Indsend et, hold det korrekt, og forvent ikke, at det flytter noget i denne uge. Det betyder mest for store sites, hvor Baidu ellers slet ikke finder de dybe sider.

Manuel URL-indsendelse (普通收录)

Du indsætter URL'er i dashboardet. Der er et loft per dag og per site. Det er et vink, ikke en ordre. Brugbart til en håndfuld sider, du virkelig går op i, ubrugeligt som strategi.

Aktivt push via API (主动推送)

Den bedste af de almindelige kanaler. Din server sender nye og opdaterede URL'er til Baidus endpoint i samme øjeblik, de ændrer sig, hvilket skærer opdagelsestiden helt væk og efter vores erfaring mærkbart forkorter ventetiden til første crawl. Den daglige kvote følger, hvor stor en del af dit site der allerede er indekseret, hvilket er et hønen og ægget-problem i starten, men hurtigt holder op med at være det. Publicerer du regelmæssigt, så byg det ind i dit build eller dit CMS og glem det igen.

Automatisk push (自动推送)

Et JavaScript-snippet, der pinger Baidu, når en side vises. Det kræver rigtige besøgende fra Kina for at gøre noget som helst, og dem har et netop tilmeldt udenlandsk site ikke. Oveni lægger det et tredjepartsscript på hver eneste side, på et site hvor indlæsningstiden inde fra Kina i forvejen er dit svage punkt. Lad det ligge, indtil du har kinesisk trafik.

Hurtig optagelse (快速收录)

Det er den kanal, alle mener, når de spørger, hvordan man bliver indekseret hurtigt, og det ærlige svar er ubehageligt.

快速收录 er en separat kanal med kvote: et fast antal URL'er om dagen, og det, der sendes gennem den, bliver behandlet langt hurtigere end noget i den almindelige kø. Kvoten tildeles af Baidu selv, per site, ud fra deres egen vurdering af sitets kvalitet og mobiloplevelse. Programmet har skiftet navn flere gange gennem årene, og i sin nuværende form er det en tildeling per site, ikke noget man selv slår til.

Tre ting følger af det. Den er ikke til salg. Den bliver ikke givet på anmodning. Og et helt nyt, udenlandsk hostet site har den ikke, fordi der ikke findes nogen crawl-historik, Baidu kan bedømme. Bliver den overhovedet tilgængelig for dit domæne, sker det efter måneders rene crawls og med kinesisksproget indhold, som Baidu beholder i stedet for at smide væk. Enhver, der tilbyder at sælge dig kvote til hurtig optagelse, sælger dig noget andet, end du tror.

Den praktiske rækkefølge er altså: aktivt push for hastighed, sitemap for dækning, manuel indsendelse til de få sider der betyder mest, og hurtig optagelse kun, hvis dit site har fortjent den.

Hvorfor hosting uden for det kinesiske fastland er langsommere

Baiduspider crawler fra IP-intervaller på fastlandet. Hver forespørgsel til din tyske eller irske server krydser grænsen, og det har tre effekter, der forstærker hinanden.

Svartid og pakketab. Rundture på 200 til 400 millisekunder er normalt, og i myldretiden er pakketabet på den rute reelt. En side, der indlæses på 800 millisekunder fra Frankfurt, kan tage fem sekunder eller mere fra Beijing.

Crawl-budgettet skrumper. Baidu trækker sig som enhver anden crawler fra langsomme eller upålidelige servere. Timeouts og 5xx-svar sænker din crawl-frekvens, så der hentes færre sider per besøg, og så tager optagelsen længere tid. Det er mekanismen bag de fleste meldinger af typen »Baidu er bare holdt op med at crawle os«.

Blokerede ressourcer får siden til at hænge. Google Fonts, googleapis.com, Google Analytics, YouTube-indlejringer, reCAPTCHA, Facebook-widgets: alt sammen uden for rækkevidde inde fra Kina. En browser venter på hver enkelt af dem, indtil den giver op. Alt, hvad Baidu henter med rendering, rammer den samme mur. At hoste skrifttyper og scripts selv er den billigste enkeltrettelse, en europæisk virksomhed har til rådighed, og det tager som regel en eftermiddag.

Uden en tilstedeværelse på fastlandet vil hosting fra Hongkong, Singapore eller Japan (eller en placering foran sitet derfra) skære rundturen betydeligt ned. Det er ikke det samme som at være indenfor, men det er en stor forbedring i forhold til Europa, og det kræver ingen kinesisk enhed.

Hvad ICP备案 ændrer, og hvad det ikke gør

ICP备案 (ICP-registreringen) er den registrering, ethvert site hostet på fastlandsservere skal have hos Kinas ministerium for industri og informationsteknologi. ICP许可证 (ICP-licensen) er den tungere tilladelse, der kræves til kommercielle onlinetjenester. Begge dele forudsætter en kinesisk juridisk enhed, og registreringen kræver desuden en hostingudbyder på fastlandet, så en udenlandsk virksomhed uden kinesisk datterselskab og uden lokal partner kan ikke få nogen af delene.

Og her er den del, der bliver gengivet forkert: Baidu kræver ingen ICP-registrering for at indeksere dit site. Et .com-domæne hostet i Frankfurt kan blive indekseret og bliver det også, og ingen offentliggjort regel gør registreringsnummeret til en rangeringsfaktor.

Det, registreringen reelt låser op for, er hosting på fastlandet, og det er den hosting, der leverer hastigheden og crawl-budgettet. Fordelen er virkelig nok, men indirekte. Har du ingen kinesisk enhed, er det en grund til at få styr på alt andet på listen, ikke en grund til at opgive at blive indekseret.

Sidehastighed, målt fra det rigtige sted

Det tal, der betyder noget, er, hvordan din side klarer sig på en mobilforbindelse inde i Kina, ikke hvad dit europæiske overvågningsdashboard siger. Baidu har i årevis sagt lige ud, at mobiloplevelsen indgår i, hvordan de behandler et site, og arbejdsmålet for en landingsside er under tre sekunder til meningsfuldt indhold på et mobilnet på fastlandet.

Det, et europæisk team kan gøre i dag:

Render på serveren. Baiduspider håndterer JavaScript langt mindre pålideligt end Googlebot. Findes din tekst først efter hydrering, så gå ud fra, at Baidu ikke ser den. Server-side rendering eller statisk HTML er ikke til diskussion her.
Host skrifttyper, ikoner og analytics selv. Hver forespørgsel til en blokeret vært er et stop.
Komprimer billeder ordentligt, og sæt lange cache-headere på statiske filer.
Hold omdirigeringer på ét hop. Hvert led i kæden koster endnu en tur over grænsen.
Servér én URL per side. Ingen sessionsparametre, ingen tracking-parametre i interne links, én kanonisk form af domænet.

Og mål det derfra, ikke herfra: flere testtjenester på fastlandet henter din URL fra et dusin kinesiske byer og giver dig rigtige tal.

Har Baiduspider overhovedet adgang?

Åbn yourdomain.com/robots.txt med det samme. Vi har mistet tællingen på de sites, der er tilmeldt Baidu, har ventet to måneder og har blokeret crawleren hele vejen igennem.

De sædvanlige årsager:

En robots.txt fra en skabelon, der tillader Googlebot og Bingbot og så slutter af med User-agent: * og Disallow: /.
En udtrykkelig blokering med User-agent: Baiduspider / Disallow: /, som nogen tilføjede for år tilbage, fordi Baiduspider crawlede for hårdt. Det er meget udbredt på ældre europæiske sites.
Bot-beskyttelse i WAF eller CDN, som er den hyppigste årsag og den, ingen tjekker, fordi den slet ikke står i robots.txt. Managed bot-regler udfordrer ukendte user agents eller svarer dem med 403, og nogle opsætninger geoblokerer kinesiske IP-intervaller helt. Set fra Baidus side svarer dit site med en fejl.
Et noindex-metatag eller en X-Robots-Tag-header, der er blevet hængende fra staging.
Et rel="canonical", der peger på et andet domæne.

Baiduspider identificerer sig selv som Baiduspider i en desktop- og en mobilvariant, plus Baiduspider-image, Baiduspider-video og Baiduspider-news. En ægte af slagsen slår op via omvendt DNS under baidu.com eller baidu.jp. Alt, der udgiver sig for at være Baiduspider fra en anden vært, er falsk, og det koster dig ingenting at blokere det.

Et hurtigt tjek, du kan køre i en terminal:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://yourdomain.com/

En 200 er det, du gerne vil se. En 403, en omdirigering til en challenge-side eller en CAPTCHA betyder, at crawleren bliver afvist. Den test dækker bare ikke geoblokering, så spørg også dem, der driver dit CDN, hvad reglerne gør ved trafik fra det kinesiske fastland.

Hvorfor sider bliver indekseret og så forsvinder

Indeksvolumen går ned lige så vel som op, og et fald er ikke en fejl. Baidu revurderer og fjerner stille og roligt sider, det ikke synes er værd at beholde: sider kun på engelsk uden kinesisk publikum, tynde sider, næsten-dubletter på tværs af sprogversioner, maskinoversat tekst.

Det er her, det reelle loft ligger for et udenlandsk site. Hver eneste tekniske rettelse i denne artikel køber dig crawl-hastighed. Det, der afgør, om optagelsen holder, er, om der findes indhold på forenklet kinesisk på sitet, som en kinesisk læser rent faktisk gider. Maskinoversættelse klarer ikke den grænse, og Baidu er blevet mærkbart bedre til at fange den, end den var før.

Hvad du styrer, og hvad du ikke styrer

Du styrer: robots.txt, dine WAF- og CDN-regler, tredjepartsressourcer, server-side rendering, indlæsningstid fra Kina, hostingplacering, sitemappets nøjagtighed, aktivt push, én kanonisk URL per side, og om der overhovedet findes kinesisk indhold.

Du styrer ikke: Baidus crawl-plan, hvor hurtigt køen rykker, om der nogensinde bliver tildelt kvote til hurtig optagelse, eller hvor indeksvolumen lander. Ingen af delene kan købes, og der findes ingen supportsag, der ændrer på det.

En tidsplan, der ikke er ønsketænkning

Uge 0: tilmeld, verificér domænet, indsend sitemappet, sæt aktivt push op, og tjek robots.txt og CDN-regler før alt andet.
Uge 1: kig på crawl-frekvens og crawl-fejl. Ret det, fejlrapporten viser. Rør ikke indholdet endnu.
Uge 2 til 3: første site:-tjek. Kun forsiden er helt normalt og fint.
Uge 6: hvis site: stadig ikke giver noget, og crawl-loggen ikke viser en eneste vellykket hentning, så stop med at vente og behandl det som en teknisk fejl. Det er det næsten altid.
Uge 8 til 12: følg indeksvolumen i stedet for site:-tallet. Begynd at lægge sider på forenklet kinesisk ind.
Hvert kvartal derefter: tjek crawl-fejl igen, tjek at intet nyt blokerer spideren, og se, om dækningen vokser eller skrumper.

Vil du hellere lade os om det?

Det meste af ventetiden er ikke nogen gåde. Det er en blokeret crawler, en side der er langsom fra Beijing, eller et site uden noget som helst, en kinesisk læser vil have, og det kan lade sig gøre at rette.

Selve tilmeldingen er det punkt, hvor de fleste europæiske virksomheder står af, fordi en Baidu-konto kræver et mobilnummer fra det kinesiske fastland for at blive oprettet. Vores Baidu-anmeldelsesydelse tager dit domæne, kører hele anmeldelsen og rapporterer, hvad Baidu reelt indekserede, til fast pris pr. domæne. Du skal hverken have kinesisk telefonnummer, kinesisk selskab eller egen Baidu-konto. Vil du også have den tekniske side bragt i orden, før du tilmelder, så book et opkald, så aftaler vi omfanget.