Hvor lang tid Baidu bruker på å indeksere, og hva som faktisk går fortere

Du meldte inn domenet ditt til Baidu. En uke senere har ingenting skjedd. To uker senere har det fortsatt ikke skjedd noe, og du begynner å lure på om innmeldingen i det hele tatt gikk gjennom.

Dette er det vi oftest får spørsmål om når det gjelder Baidu, og svaret er som regel at ingenting har gått galt ennå. Baidu er treg med et nytt utenlandsk nettsted, langt tregere enn Google. Det nyttige spørsmålet er ikke hvor lang tid det tar i snitt. Det er hvilke av tingene du selv rår over som legger uker på ventetiden.

Tre ting som blandes sammen

Før noen tidslinje gir mening, må disse holdes fra hverandre:

Oppdagelse: Baidu vet at nettadressen finnes. Det er innmeldingen som gjør dette, og det skjer umiddelbart.
Kryping: Baiduspider henter faktisk siden. Dette kan feile i stillhet i månedsvis.
Indeksering (收录): siden ligger i indeksen og kan dukke opp i resultatene. Det er dette et site:-søk viser.
Rangering: siden konkurrerer om et søk. Et annet problem, og først og fremst et innholdsproblem.

En side kan oppdages dag én, krypes dag ni og aldri havne i indeksen. Å sende inn flere nettadresser løser ikke det. De fleste som spør hvor lang tid Baidu bruker, står i realiteten fast mellom kryping og indeksering.

Den realistiske tidslinjen

For et typisk europeisk nettsted: driftet i Europa, uten ICP-registrering, med innhold på engelsk eller et europeisk språk, og uten lenker fra kinesiske nettsteder.

Første besøk fra Baiduspider: fra én dag til tre uker etter innmelding. Som regel bare forsiden, og ofte ingenting mer på en stund.
Første side synlig i et site:-søk: fra én til seks uker.
Brukbar dekning av et lite nettsted: fra én til tre måneder.
Dekning som holder og ikke krymper ved neste vurdering: tre til seks måneder, og realistisk sett bare med sider på forenklet kinesisk.

Sammenlign det med et nettsted driftet i Fastlands-Kina, med ICP-registrering og kinesisk innhold: forsiden i indeksen i løpet av dager, resten i løpet av et par uker. Avstanden mellom de to listene er det resten av denne artikkelen handler om.

Baidu oppgir ingen frister for noe av dette, og det finnes ingen support å eskalere til. Det du har, er en håndfull kanaler med ulik kapasitet og et krypebudsjett som vokser eller krymper avhengig av hvordan serveren din oppfører seg.

Først: er du indeksert i det hele tatt?

Gjør dette før du endrer noe som helst.

Gå til baidu.com og søk site:dittdomene.no. Antallet treff er et anslag som spretter en del, så les det som et ja eller nei, ikke som en måling. Får du treff, er du indeksert, og spørsmålet blir dekning. Får du null etter seks uker, er noe ødelagt, og mer venting fikser det ikke.

To sjekker til er verdt å ta:

Søk på den eksakte tittelen på forsiden din i anførselstegn. Er nettstedet indeksert mens site:-operatoren oppfører seg rart, er det ofte slik det kommer for en dag.
I Baidu Webmaster Tools (百度搜索资源平台) ser du på 索引量 (indeksvolum) og 抓取频次 (krypefrekvens). Det er de ærlige tallene. 抓取异常 (krypefeil) forteller om roboten møter tidsavbrudd, 403-svar eller DNS-feil, og det er der de fleste utenlandske nettsteder finner det egentlige problemet sitt.

Er krypefrekvensen nær null mens krypefeilene ikke er det, har du en teknisk feil, ikke et tålmodighetsproblem.

Innmeldingskanalene, og hva hver enkelt faktisk er verdt

Baidu tilbyr flere måter å levere en nettadresse på, og de er ikke likeverdige.

Nettstedskart

Bare oppdagelse, og den tregeste køen av alle. Baidu behandler et nettstedskart som en liste med forslag den tar tak i når den får tid. Send det inn, hold det riktig, og forvent ingenting av det denne uken. Det betyr mest for store nettsteder, der Baidu ellers aldri finner sidene som ligger dypt.

Manuell innsending av nettadresser (普通收录)

Du limer inn adresser i kontrollpanelet. Det er et daglig tak per nettsted. Det er et hint, ikke en ordre. Nyttig for en håndfull sider du virkelig bryr deg om, ubrukelig som strategi.

Aktiv innsending via API (主动推送)

Den beste av de vanlige kanalene. Serveren din sender nye og endrede adresser til Baidus endepunkt i det øyeblikket de endres, slik at forsinkelsen i oppdagelsen forsvinner, og etter det vi ser blir ventetiden fram til første kryping merkbart kortere. Den daglige kvoten vokser med hvor mye av nettstedet som allerede er indeksert. Det er høna og egget i starten, men ikke lenge. Publiserer du jevnlig, kobler du dette til byggeprosessen eller publiseringsløsningen og glemmer det.

Automatisk innsending (自动推送)

En JavaScript-snutt som varsler Baidu når noen ser en side. Den trenger ekte besøkende fra Kina for å gjøre noe som helst, og det er nettopp det et nyinnmeldt utenlandsk nettsted ikke har. I tillegg legger den et tredjepartsskript på hver eneste side, på et nettsted der lastetiden fra Kina allerede er det svake punktet. Spar den til du faktisk har kinesisk trafikk.

Rask indeksering (快速收录)

Dette er kanalen alle egentlig mener når de spør hvordan man blir indeksert fort, og det ærlige svaret er ubehagelig.

快速收录 er en egen kanal med kvote: et fast antall adresser per dag, behandlet langt raskere enn noe i den vanlige køen. Kvoten tildeles av Baidu, per nettsted, basert på deres egen vurdering av kvaliteten på nettstedet og opplevelsen på mobil. Programmet har byttet navn flere ganger opp gjennom årene, og slik det ser ut nå er det en tildeling per nettsted, ikke noe du skrur på.

Tre ting følger av dette. Det selges ikke. Det gis ikke på forespørsel. Og et helt nytt utenlandsk nettsted har det ikke, fordi det ikke finnes noen krypehistorikk Baidu kan vurdere. Blir det tilgjengelig for domenet ditt i det hele tatt, skjer det etter måneder med rene kryp og kinesisk innhold som Baidu beholder framfor å kaste ut. Den som tilbyr å selge deg kvote til rask indeksering, selger deg noe annet enn du tror.

Den praktiske rekkefølgen blir dermed: aktiv innsending for fart, nettstedskart for dekning, manuell innsending for de få sidene som betyr mest, og rask indeksering bare hvis nettstedet har gjort seg fortjent til det.

Hvorfor drift utenfor Fastlands-Kina er tregere

Baiduspider kryper fra kinesiske IP-områder. Hver forespørsel til den tyske eller irske serveren din krysser grensen, og det gir tre effekter som legger seg oppå hverandre.

Forsinkelse og pakketap. Rundturer på 200 til 400 millisekunder er normalt, og i rushtiden er pakketap på den strekningen høyst reelt. En side som laster på 800 millisekunder fra Frankfurt, kan bruke fem sekunder eller mer fra Beijing.

Krypebudsjettet krymper. Baidu trekker seg, som enhver robot, unna trege eller ustabile tjenere. Tidsavbrudd og 5xx-svar senker krypefrekvensen, som betyr færre sider per besøk, som betyr tregere indeksering. Det er mekanismen bak nesten hver eneste «Baidu har sluttet å krype oss».

Blokkerte ressurser henger opp siden. Google Fonts, googleapis.com, Google Analytics, innebygde YouTube-videoer, reCAPTCHA, Facebook-moduler: ingenting av dette er tilgjengelig fra Kina. Nettleseren venter på hver av dem til den gir opp. Det Baidu henter med rendring, møter den samme veggen. Å hoste skrifter og skript selv er den billigste utbedringen et europeisk selskap har for hånden, og det er som regel en ettermiddags jobb.

Uten en tilstedeværelse i Fastlands-Kina kutter drift (eller et frontlag) i Hongkong, Singapore eller Japan reiseveien betraktelig. Det er ikke det samme som å være innenfor, men sammenlignet med Europa er det et stort løft, og det krever ingen kinesisk juridisk enhet.

Hva ICP-registrering endrer, og hva den ikke endrer

ICP备案 (ICP-registrering) er registreringen ethvert nettsted som driftes på servere i Fastlands-Kina må ha hos Ministeriet for industri og informasjonsteknologi. ICP许可证 (ICP-lisensen) er den tyngre tillatelsen som kreves av kommersielle nettjenester. Begge forutsetter et kinesisk rettssubjekt, og registreringen krever i tillegg en kinesisk driftsleverandør, så et utenlandsk selskap uten kinesisk datterselskap eller lokal partner får ingen av dem.

Og her er punktet som gjengis feil: Baidu krever ikke ICP-registrering for å indeksere nettstedet ditt. Et .com som driftes i Frankfurt kan bli indeksert og blir indeksert, og ingen offentliggjort regel behandler registreringsnummeret som en rangeringsfaktor.

Det registreringen faktisk låser opp, er drift inne i Fastlands-Kina, og det er driften som gir farten og krypebudsjettet. Fordelen er reell, men indirekte. Har du ingen kinesisk enhet, er det en grunn til å fikse alt annet på denne listen, ikke til å gi opp å bli indeksert.

Sidefart, målt fra riktig sted

Tallet som betyr noe, er hvordan siden din oppfører seg på en mobilforbindelse inne i Kina, ikke hva det europeiske overvåkingspanelet ditt sier. Baidu har i årevis sagt rett ut at sideopplevelsen på mobil spiller inn på hvordan de behandler et nettsted, og arbeidsmålet for en landingsside er under tre sekunder til meningsfullt innhold på et kinesisk mobilnett.

Hva et europeisk team kan gjøre i dag:

Rendre på serveren. Baiduspider håndterer JavaScript langt mindre pålitelig enn Googlebot. Finnes teksten din først etter hydrering, må du regne med at Baidu ikke ser den. Her er serverside-rendring eller statisk HTML ikke valgfritt.
Host skrifter, ikoner og analyse selv. Hver forespørsel til en blokkert vert er en stopp.
Komprimer bildene skikkelig og sett lange hurtigbufferhoder på statiske filer.
Ett hopp per omdirigering. Hvert ledd i kjeden koster en ny tur over grensen.
Én nettadresse per side. Ingen sesjonsparametere, ingen sporingsparametere i interne lenker, én kanonisk form av domenet.

Og mål derfra, ikke herfra: flere kinesiske testtjenester henter nettadressen din fra et titalls byer og gir deg de virkelige tallene.

Har Baiduspider egentlig lov til å komme inn?

Åpne dittdomene.no/robots.txt nå. Vi har mistet tellingen på nettsteder som meldte seg inn hos Baidu, ventet i to måneder og blokkerte roboten hele veien.

De vanlige årsakene:

En robots.txt fra en mal som slipper inn Googlebot og Bingbot ved navn, og så avslutter med User-agent: * og Disallow: /.
En uttrykkelig blokkering, User-agent: Baiduspider / Disallow: /, som noen la inn for mange år siden fordi Baiduspider krøp for hardt. Dette er svært vanlig på eldre europeiske nettsteder.
Robotbeskyttelse i WAF eller CDN, som er den hyppigste årsaken og den ingen sjekker, siden den ikke står i robots.txt i det hele tatt. Ferdige robotregler utfordrer eller svarer 403 til ukjente brukeragenter, og noen oppsett geoblokkerer kinesiske IP-områder rett ut. Sett fra Baidu returnerer nettstedet ditt en feil.
En noindex-metakode eller en X-Robots-Tag-header som ble igjen fra testmiljøet.
En rel="canonical" som peker mot et annet domene.

Baiduspider oppgir seg som Baiduspider, i varianter for datamaskin og mobil, i tillegg til Baiduspider-image, Baiduspider-video og Baiduspider-news. En ekte lar seg slå opp i omvendt DNS under baidu.com eller baidu.jp. Alt som utgir seg for å være Baiduspider fra en annen vert, er falskt, og å blokkere det koster deg ingenting.

En rask sjekk du kan kjøre i terminalen:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://dittdomene.no/

Det du vil se, er en 200. En 403, en omdirigering til en utfordringsside eller en CAPTCHA betyr at roboten blir avvist i døra. Den testen dekker likevel ikke geoblokkering, så spør også den som drifter CDN-et ditt hva reglene gjør med trafikk fra Fastlands-Kina.

Hvorfor sider blir indeksert og så forsvinner

Indeksvolumet går ned like gjerne som opp, og et fall er ikke en feil. Baidu vurderer på nytt og kaster stille ut sider den mener ikke er verdt å beholde: sider som bare finnes på engelsk uten kinesisk publikum, tynne sider, nesten-duplikater på tvers av språkversjoner, maskinoversatt tekst.

Det er her det virkelige taket for et utenlandsk nettsted ligger. All teknikken i denne artikkelen kjøper deg krypefart. Det som avgjør om indekseringen holder, er om det finnes innhold på forenklet kinesisk som en kinesisk leser faktisk vil ha. Maskinoversettelse klarer ikke den listen, og Baidu er merkbart bedre til å avsløre det enn før.

Hva du rår over, og hva du ikke rår over

Du rår over: robots.txt, WAF- og CDN-reglene dine, tredjepartsressurser, serverside-rendring, lastetid fra Kina, hvor nettstedet driftes, at nettstedskartet stemmer, aktiv innsending, én kanonisk adresse per side, og om det finnes kinesisk innhold i det hele tatt.

Du rår ikke over: Baidus krypeplan, hvor fort køen går, om du noen gang får kvote til rask indeksering, eller hvor indeksvolumet lander. Ingenting av det kan kjøpes, og det finnes ingen supportsak som endrer det.

En plan uten ønsketenkning

Uke 0: meld inn, verifiser domenet, send inn nettstedskartet, koble opp aktiv innsending, og sjekk robots.txt og CDN-reglene før alt annet.
Uke 1: se på krypefrekvens og krypefeil. Fiks det feilrapporten viser. La innholdet være i fred foreløpig.
Uke 2 og 3: første site:-sjekk. Bare forsiden er normalt og helt greit.
Uke 6: gir site: fortsatt ingenting og krypeloggen ingen vellykkede hentinger, slutt å vente og behandle det som en teknisk feil. Det er det nesten alltid.
Uke 8 til 12: følg indeksvolumet i stedet for tallet fra site:. Begynn å legge til sider på forenklet kinesisk.
Hvert kvartal deretter: sjekk krypefeilene på nytt, kontroller at ingenting nytt blokkerer roboten, og se om dekningen vokser eller krymper.

Vil du heller sette det bort?

Det meste av ventingen er ikke noe mysterium. Det er en blokkert robot, en side som er treg sett fra Beijing, eller et nettsted uten noe en kinesisk leser vil ha, og alle tre lar seg fikse.

Selve innmeldingen er det som stopper de fleste europeiske selskaper, fordi en Baidu-konto krever et mobilnummer fra Fastlands-Kina for å opprettes. Baidu-innmeldingstjenesten vår tar domenet, kjører hele innmeldingen og rapporterer hva Baidu faktisk indekserte, til fast pris per domene. Du trenger verken kinesisk telefonnummer, kinesisk selskap eller egen Baidu-konto. Vil du også ha den tekniske siden i orden før innmeldingen, book en samtale, så tar vi det derfra.