Koliko traje indeksiranje na Baiduu i šta ga zaista ubrzava

Prijavili ste domen na Baidu. Nedelju dana kasnije ništa. Posle dve nedelje i dalje ništa, i počinjete da se pitate da li je prijava uopšte prošla.

To je pitanje koje o Baiduu dobijamo najčešće, a odgovor je obično da još ništa nije pošlo po zlu. Sa novim stranim sajtom Baidu je spor, znatno sporiji od Google-a. Korisno pitanje nije koliko to traje u proseku. Pitanje je koje od stvari koje su u vašim rukama dodaju nedelje na to čekanje.

Tri stvari koje se mešaju

Pre nego što bilo koji rok dobije smisao, treba ih razdvojiti:

Otkrivanje: Baidu zna da adresa postoji. To radi prijava i dešava se odmah.
Obilazak: Baiduspider zaista preuzima stranicu. Ovo ume da otkazuje u tišini mesecima.
Ulazak u indeks (收录): stranica je u indeksu i može da se pojavi u rezultatima. To pokazuje upit site:.
Pozicija: stranica se bori za konkretnu pretragu. Drugi problem, i pre svega problem sadržaja.

Stranica može biti otkrivena prvog dana, obiđena devetog i nikada ne ući u indeks. Slanje još adresa to ne rešava. Većina onih koji pitaju koliko Baiduu treba, u stvari je zaglavila između obilaska i ulaska u indeks.

Realan raspored

Za tipičan evropski sajt: hostovan u Evropi, bez ICP registracije, sa sadržajem na engleskom ili nekom evropskom jeziku, bez linkova sa kineskih sajtova.

Prva poseta Baiduspidera: od jednog dana do tri nedelje posle prijave. Po pravilu samo početna strana, i često duže vreme ništa drugo.
Prva stranica vidljiva u upitu site:: od jedne do šest nedelja.
Upotrebljiva pokrivenost manjeg sajta: od jednog do tri meseca.
Pokrivenost koja se održi i ne smanji se pri sledećoj proceni: od tri do šest meseci, i realno samo ako na sajtu postoje stranice na pojednostavljenom kineskom.

Uporedite to sa sajtom hostovanim u kontinentalnoj Kini, sa ICP registracijom i kineskim sadržajem: početna strana u indeksu za nekoliko dana, ostalo za dve nedelje. Razlika između te dve liste je tema ostatka ovog teksta.

Baidu za sve ovo ne objavljuje nikakve rokove i ne postoji podrška kojoj se slučaj može eskalirati. Ono što imate jeste nekoliko kanala različitog kapaciteta i budžet obilaska koji raste ili se smanjuje u zavisnosti od toga kako se ponaša vaš server.

Prvo: da li ste uopšte u indeksu?

Uradite ovo pre nego što bilo šta menjate.

Otvorite baidu.com i pretražite site:vasdomen.rs. Broj rezultata je procena i dosta skače, pa ga čitajte kao da ili ne, a ne kao merenje. Ako rezultata ima, u indeksu ste i ostaje pitanje pokrivenosti. Ako posle šest nedelja dobijate nulu, nešto je pokvareno i duže čekanje to neće popraviti.

Vredi uraditi još dve provere:

Pretražite tačan naslov početne strane pod navodnicima. Ako je sajt indeksiran, a operator site: se ponaša čudno, ovo to obično izvuče na videlo.
U alatu Baidu Webmaster Tools (百度搜索资源平台) pogledajte 索引量 (obim indeksa) i 抓取频次 (učestalost obilaska). To su iskreni brojevi. 抓取异常 (greške pri obilasku) govori da li pauk nailazi na istek vremena, odgovore 403 ili greške DNS-a, a upravo tu većina stranih sajtova pronađe svoj stvarni problem.

Ako je učestalost obilaska blizu nule, a greške pri obilasku nisu, imate tehnički kvar, a ne problem sa strpljenjem.

Kanali za prijavu i koliko svaki od njih zaista vredi

Baidu nudi više načina da mu predate adresu, i ti načini nisu ravnopravni.

Mapa sajta

Samo otkrivanje, i najsporiji red od svih. Baidu mapu sajta tretira kao spisak predloga koji će obraditi kad stigne. Pošaljite je, držite je tačnom i ne očekujte da će ove nedelje bilo šta pomeriti. Najviše znači kod velikih sajtova, gde Baidu inače uopšte ne bi našao dublje stranice.

Ručno slanje adresa (普通收录)

Adrese nalepite u kontrolnu tablu. Postoji dnevno ograničenje po sajtu. To je nagoveštaj, ne naredba. Korisno za nekoliko stranica do kojih vam je stvarno stalo, bezvredno kao strategija.

Aktivno slanje preko API-ja (主动推送)

Najbolji od običnih kanala. Vaš server šalje nove i izmenjene adrese na Baiduovu krajnju tačku u trenutku kada se promene, čime kašnjenje u otkrivanju nestaje, a čekanje na prvi obilazak se, po onome što vidimo, primetno skraćuje. Dnevna kvota raste sa time koliko je vašeg sajta već u indeksu, što je na početku začarani krug, ali ne zadugo. Ako objavljujete redovno, ukopčajte ovo u proces izgradnje ili u CMS i zaboravite na to.

Automatsko slanje (自动推送)

Isečak JavaScripta koji javlja Baiduu kad neko otvori stranicu. Da bi bilo šta uradio, potrebne su mu prave posete iz Kine, a njih tek prijavljen strani sajt nema. Uz to dodaje skriptu treće strane na svaku stranicu, na sajtu čija je slaba tačka ionako vreme učitavanja iz Kine. Ostavite to za kada budete imali kineski saobraćaj.

Brzo uvrštavanje u indeks (快速收录)

Ovo je kanal na koji svi misle kada pitaju kako da se brzo indeksiraju, a iskren odgovor je neprijatan.

快速收录 je poseban kanal sa kvotom: određen broj adresa dnevno, koje se obrađuju daleko brže od bilo čega u običnom redu. Kvotu dodeljuje Baidu, za svaki sajt posebno, na osnovu sopstvene procene kvaliteta sajta i iskustva na mobilnim uređajima. Program je tokom godina više puta menjao ime, a u današnjem obliku to je dodela po sajtu, a ne opcija koju uključujete.

Iz toga slede tri stvari. Nije na prodaju. Ne dobija se na zahtev. I potpuno nov strani sajt je nema, jer ne postoji istorija obilazaka koju bi Baidu procenio. Ako ikada postane dostupna za vaš domen, biće to posle meseci čistih obilazaka i kineskog sadržaja koji Baidu zadržava umesto da ga izbaci. Ko vam nudi da vam proda kvotu za brzo uvrštavanje, prodaje vam nešto drugo nego što mislite.

Praktičan redosled je, dakle: aktivno slanje za brzinu, mapa sajta za pokrivenost, ručno slanje za onih nekoliko stranica koje najviše znače, i brzo uvrštavanje samo ako ga je sajt zaslužio.

Zašto je hosting izvan kontinentalne Kine sporiji

Baiduspider obilazi sa kineskih opsega IP adresa. Svaki zahtev ka vašem serveru u Nemačkoj ili Irskoj prelazi granicu, a to daje tri efekta koji se sabiraju.

Kašnjenje i gubitak paketa. Povratna vremena od 200 do 400 milisekundi su normalna, a u satima najvećeg opterećenja gubitak paketa na toj deonici je sasvim realan. Stranica koja se iz Frankfurta učita za 800 milisekundi, iz Pekinga ume da traži pet sekundi ili više.

Budžet obilaska se smanjuje. Baidu se, kao i svaki pauk, povlači sa sporih i nepouzdanih servera. Istek vremena i odgovori 5xx spuštaju učestalost obilaska, što znači manje stranica po poseti, što znači sporije uvrštavanje u indeks. To je mehanizam iza gotovo svake priče o tome kako je „Baidu odjednom prestao da nas obilazi“.

Blokirani resursi ostavljaju stranicu da visi. Google Fonts, googleapis.com, Google Analytics, ugrađeni YouTube snimci, reCAPTCHA, Facebook dodaci: ništa od toga iz Kine nije dostupno. Pregledač čeka na svaki od njih dok ne odustane. U isti zid udara i Baidu kada stranicu iscrtava. Prebacivanje fontova i skripti na sopstveni server je najjeftinija ispravka koju evropska firma ima pri ruci, i to je obično posao za jedno popodne.

Bez prisustva u kontinentalnoj Kini, hosting (ili bar prednji sloj) u Hongkongu, Singapuru ili Japanu znatno skraćuje put. Nije isto kao biti unutra, ali u poređenju sa Evropom razlika je velika i ne traži kinesko pravno lice.

Šta ICP registracija menja, a šta ne

ICP备案 (ICP registracija) je upis koji svaki sajt hostovan na serverima u kontinentalnoj Kini mora da ima kod Ministarstva industrije i informacionih tehnologija. ICP许可证 (ICP dozvola) je teža dozvola koja se traži od komercijalnih onlajn servisa. Oboje traži kinesko pravno lice, a registracija uz to i kineskog pružaoca hostinga, pa strana firma bez kineske ćerke firme i bez lokalnog partnera ne može da dobije nijedno.

I evo tačke koja se prepričava pogrešno: Baidu ne traži ICP registraciju da bi indeksirao vaš sajt. Domen .com hostovan u Frankfurtu može da bude u indeksu i jeste u indeksu, i nijedno objavljeno pravilo ne tretira broj upisa kao faktor rangiranja.

Ono što registracija zaista otključava jeste hosting u kontinentalnoj Kini, a upravo hosting donosi brzinu i budžet obilaska. Prednost je stvarna, ali posredna. Ako nemate kinesko pravno lice, to je razlog da sredite sve ostalo sa ovog spiska, a ne da odustanete od indeksiranja.

Brzina stranice, merena sa pravog mesta

Broj koji je bitan jeste kako se vaša stranica ponaša na mobilnoj vezi u Kini, a ne šta pokazuje vaša evropska nadzorna tabla. Baidu godinama otvoreno govori da iskustvo na mobilnim uređajima utiče na to kako tretira sajt, a radni cilj za odredišnu stranicu jeste ispod tri sekunde do smislenog sadržaja na kineskoj mobilnoj mreži.

Šta evropski tim može da uradi već danas:

Iscrtavajte na serveru. Baiduspider sa JavaScriptom izlazi na kraj znatno lošije od Googlebota. Ako vaš tekst postoji tek posle hidracije, računajte da ga Baidu ne vidi. Ovde iscrtavanje na serveru ili statički HTML nije stvar izbora.
Fontove, ikone i analitiku držite kod sebe. Svaki zahtev ka blokiranom serveru je zastoj.
Slike stisnite kako treba i statičkim fajlovima postavite duga zaglavlja keša.
Preusmerenje neka bude jedno. Svaka karika u lancu košta još jedan prelazak granice.
Jedna adresa po stranici. Bez parametara sesije, bez parametara za praćenje u internim linkovima, jedan kanonski oblik domena.

I merite odande, a ne odavde: nekoliko kineskih servisa za testiranje preuzeće vašu adresu iz desetak gradova i dati vam prave brojeve.

Da li Baiduspider uopšte sme da uđe?

Otvorite vasdomen.rs/robots.txt odmah. Izgubili smo broj sajtova koji su se prijavili Baiduu, čekali dva meseca i sve to vreme blokirali pauka.

Uobičajeni uzroci:

Fajl robots.txt iz šablona koji poimence pušta Googlebot i Bingbot, a završava se sa User-agent: * i Disallow: /.
Izričita blokada User-agent: Baiduspider / Disallow: / koju je neko upisao pre više godina jer je Baiduspider obilazio previše agresivno. Na starijim evropskim sajtovima to je vrlo često.
Zaštita od botova na WAF-u ili CDN-u, što je najčešći uzrok i onaj koji niko ne proverava, jer se u robots.txt uopšte ne vidi. Gotova pravila nepoznatim korisničkim agentima postavljaju izazov ili vraćaju 403, a pojedine postavke kineske opsege IP adresa blokiraju direktno po lokaciji. Za Baidu, vaš sajt vraća grešku.
Meta oznaka noindex ili zaglavlje X-Robots-Tag koje je ostalo iz test okruženja.
Oznaka rel="canonical" koja pokazuje na drugi domen.

Baiduspider se predstavlja kao Baiduspider, u desktop i mobilnoj varijanti, uz to postoje i Baiduspider-image, Baiduspider-video i Baiduspider-news. Pravi se u obrnutom DNS-u razrešava pod baidu.com ili baidu.jp. Sve što se sa drugog servera predstavlja kao Baiduspider je lažno, i blokiranje toga vas ne košta ništa.

Brza provera iz terminala:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://vasdomen.rs/

Ono što želite da vidite jeste 200. Odgovor 403, preusmerenje na stranicu sa izazovom ili CAPTCHA znače da pauka vraćate sa vrata. Taj test ipak ne pokriva blokade po lokaciji, pa pitajte i one koji vode vaš CDN šta pravila rade sa saobraćajem iz kontinentalne Kine.

Zašto stranice uđu u indeks pa nestanu

Obim indeksa pada isto kao što raste, i pad nije kvar. Baidu ponovo procenjuje i tiho izbacuje stranice za koje odluči da ne vredi da ih drži: stranice samo na engleskom bez kineske publike, sadržajno tanke stranice, gotovo iste verzije na različitim jezicima, mašinski prevedene tekstove.

Tu je pravi plafon stranog sajta. Sva tehnika iz ovog teksta kupuje vam brzinu obilaska. Da li će mesto u indeksu izdržati, odlučuje to da li na sajtu postoji sadržaj na pojednostavljenom kineskom koji kineski čitalac zaista želi da pročita. Mašinski prevod tu letvicu ne preskače, a Baidu ga prepoznaje osetno bolje nego ranije.

Šta je u vašim rukama, a šta nije

U vašim rukama je: robots.txt, pravila WAF-a i CDN-a, resursi trećih strana, iscrtavanje na serveru, vreme učitavanja iz Kine, lokacija hostinga, tačnost mape sajta, aktivno slanje, jedna kanonska adresa po stranici i to da li kineski sadržaj uopšte postoji.

U vašim rukama nije: Baiduov raspored obilazaka, brzina reda, hoće li vam ikada biti dodeljena kvota za brzo uvrštavanje, ni na kom nivou će se obim indeksa ustaliti. Ništa od toga se ne kupuje i ne postoji zahtev podršci koji to menja.

Raspored bez lepih želja

Nedelja 0: prijava, provera vlasništva nad domenom, slanje mape sajta, priključivanje aktivnog slanja i, pre svega ostalog, provera robots.txt i pravila CDN-a.
Nedelja 1: pogledajte učestalost obilaska i greške pri obilasku. Ispravite ono što izveštaj o greškama pokazuje. Sadržaj još ne dirajte.
Nedelje 2 i 3: prva provera preko site:. To što se vidi samo početna strana je normalno.
Nedelja 6: ako site: i dalje ne vraća ništa, a u dnevniku nema uspešnih preuzimanja, prestanite da čekate i tretirajte to kao tehnički kvar. Skoro uvek jeste.
Nedelje 8 do 12: pratite obim indeksa umesto broja uz site:. Počnite da dodajete stranice na pojednostavljenom kineskom.
Posle toga svakog kvartala: ponovo proverite greške pri obilasku, uverite se da pauka ne blokira nešto novo, i pogledajte da li pokrivenost raste ili se smanjuje.

Ako biste ovo radije prepustili nama

Najveći deo tog čekanja nije nikakva misterija. To je blokiran pauk, spora stranica gledano iz Pekinga, ili sajt na kome za kineskog čitaoca nema ničega, a sve tri stvari se daju popraviti.

Sama prijava je ono na čemu se većina evropskih firmi zaustavi, jer otvaranje naloga na Baiduu traži broj mobilnog telefona iz kontinentalne Kine. Naša usluga prijave na Baidu uzima domen, sprovodi celu prijavu i izveštava šta je Baidu zaista indeksirao, po fiksnoj ceni po domenu. Ne treba vam kineski broj telefona, kineska firma ni vaš nalog na Baiduu. Ako želite da pre prijave sredimo i tehničku stranu, zakažite razgovor i dogovorićemo obim.