Ile trwa indeksowanie w Baidu i co naprawdę je przyspiesza

Zgłosiłeś domenę do Baidu. Mija tydzień i nic. Mija drugi i dalej nic, a Ty zaczynasz się zastanawiać, czy zgłoszenie w ogóle doszło.

To pytanie dostajemy o Baidu najczęściej i zwykle odpowiedź brzmi: jeszcze nic się nie zepsuło. Baidu jest wolne przy nowej zagranicznej witrynie, znacznie wolniejsze niż Google. Sensowne pytanie nie brzmi, ile to trwa średnio, tylko które z rzeczy zależnych od Ciebie dokładają do tego kolejne tygodnie.

Trzy rzeczy, które się ze sobą mylą

Zanim jakikolwiek harmonogram nabierze sensu, trzeba je rozdzielić:

Odkrycie: Baidu wie, że dany adres istnieje. Robi to zgłoszenie i dzieje się natychmiast.
Indeksowanie robota: Baiduspider faktycznie pobiera stronę. To potrafi po cichu nie działać miesiącami.
Włączenie do indeksu (收录): strona jest w indeksie i może pojawić się w wynikach. To właśnie pokazuje zapytanie site:.
Pozycja: strona walczy o konkretne zapytanie. Zupełnie inny problem, przede wszystkim treściowy.

Strona może zostać odkryta pierwszego dnia, pobrana dziewiątego i nigdy nie trafić do indeksu. Wysyłanie kolejnych adresów tego nie naprawi. Większość osób pytających, ile trwa Baidu, w rzeczywistości utknęła między pobraniem a włączeniem do indeksu.

Realny harmonogram

Dla typowej europejskiej witryny: hosting w Europie, brak rejestracji ICP, treści po angielsku albo w języku europejskim, brak linków z chińskich stron.

Pierwsza wizyta Baiduspidera: od jednego dnia do trzech tygodni od zgłoszenia. Zwykle sama strona główna i często nic więcej przez dłuższą chwilę.
Pierwsza strona widoczna w zapytaniu site:: od tygodnia do sześciu tygodni.
Sensowne pokrycie małej witryny: od miesiąca do trzech.
Pokrycie, które się utrzymuje i nie kurczy się przy kolejnej ocenie: od trzech do sześciu miesięcy, a realnie tylko wtedy, gdy w serwisie są strony w chińskim uproszczonym.

Dla porównania witryna hostowana w Chinach kontynentalnych, z rejestracją ICP i chińskimi treściami: strona główna w indeksie w kilka dni, reszta w dwa tygodnie. O różnicy między tymi dwiema listami jest cała reszta tego tekstu.

Baidu nie publikuje żadnych deklarowanych terminów i nie ma wsparcia, do którego można eskalować sprawę. Masz za to kilka kanałów o różnej przepustowości i budżet indeksowania, który rośnie albo maleje w zależności od tego, jak zachowuje się Twój serwer.

Najpierw sprawdź, czy w ogóle jesteś w indeksie

Zrób to, zanim cokolwiek zmienisz.

Wejdź na baidu.com i wyszukaj site:twojadomena.pl. Liczba wyników to szacunek i mocno skacze, więc czytaj ją jako tak albo nie, a nie jako pomiar. Jeśli wyniki są, jesteś w indeksie i zostaje pytanie o pokrycie. Jeśli po sześciu tygodniach jest zero, coś jest zepsute i dłuższe czekanie tego nie zmieni.

Warto zrobić jeszcze dwie rzeczy:

Wyszukaj dokładny tytuł strony głównej w cudzysłowie. Jeśli witryna jest zaindeksowana, a operator site: zachowuje się dziwnie, zwykle właśnie to to ujawnia.
W Baidu Webmaster Tools (百度搜索资源平台) sprawdź 索引量 (wielkość indeksu) i 抓取频次 (częstotliwość pobierania). To są uczciwe liczby. 抓取异常 (błędy pobierania) pokazuje, czy robot trafia na przekroczone limity czasu, odpowiedzi 403 albo błędy DNS, a to właśnie tam większość zagranicznych witryn znajduje swój prawdziwy problem.

Jeśli częstotliwość pobierania jest bliska zeru, a błędy pobierania nie są, masz usterkę techniczną, a nie problem z cierpliwością.

Kanały zgłaszania i ile każdy z nich naprawdę daje

Baidu pozwala przekazać adres na kilka sposobów, a te sposoby nie są równoważne.

Mapa witryny

Wyłącznie odkrywanie i najwolniejsza kolejka ze wszystkich. Baidu traktuje mapę witryny jak listę sugestii do przerobienia, kiedy będzie okazja. Zgłoś ją, utrzymuj w porządku i nie licz, że cokolwiek ruszy w tym tygodniu. Największe znaczenie ma przy dużych serwisach, gdzie bez niej Baidu w ogóle nie dotrze do głębszych stron.

Ręczne zgłaszanie adresów (普通收录)

Wklejasz adresy w panelu. Jest dzienny limit na witrynę. To podpowiedź, nie polecenie. Przydaje się przy kilku stronach, na których naprawdę Ci zależy, jako strategia jest bezużyteczne.

Aktywne wysyłanie przez API (主动推送)

Najlepszy ze zwykłych kanałów. Twój serwer wysyła nowe i zmienione adresy do punktu końcowego Baidu w momencie zmiany, przez co opóźnienie odkrycia znika, a czas do pierwszego pobrania wyraźnie się skraca. Dzienny limit rośnie wraz z tym, jaka część serwisu jest już w indeksie: na starcie to trochę błędne koło, ale szybko przestaje nim być. Jeśli publikujesz regularnie, wepnij to w build albo CMS i zapomnij o sprawie.

Automatyczne wysyłanie (自动推送)

Fragment JavaScriptu, który powiadamia Baidu przy każdym wyświetleniu strony. Żeby cokolwiek dawał, potrzebuje prawdziwych wizyt z Chin, a tych świeżo zgłoszona zagraniczna witryna po prostu nie ma. Do tego dokłada zewnętrzny skrypt na każdej stronie, w serwisie, którego słabym punktem i tak jest czas ładowania z Chin. Odłóż to do czasu, aż pojawi się chiński ruch.

Szybkie włączenie do indeksu (快速收录)

To jest ten kanał, o który wszyscy pytają, gdy chcą zaindeksować się szybko, i uczciwa odpowiedź jest niewygodna.

快速收录 to osobny kanał z limitem: określona liczba adresów dziennie, przetwarzanych znacznie szybciej niż cokolwiek w zwykłej kolejce. Limit przyznaje Baidu, osobno dla każdej witryny, na podstawie własnej oceny jej jakości i tego, jak działa na urządzeniach mobilnych. Przez lata program zmieniał nazwy, a w obecnej postaci jest to przydział na witrynę, a nie funkcja, którą się włącza.

Wynikają z tego trzy rzeczy. Nie jest na sprzedaż. Nie dostaje się go na prośbę. I zupełnie nowa zagraniczna witryna go nie ma, bo nie ma historii pobrań, którą Baidu mogłoby ocenić. Jeśli kiedykolwiek stanie się dostępny dla Twojej domeny, to po miesiącach czystych pobrań i chińskich treści, które Baidu trzyma, zamiast je usuwać. Kto proponuje Ci sprzedaż limitu szybkiego indeksowania, sprzedaje coś innego, niż myślisz.

Praktyczna kolejność jest więc taka: aktywne wysyłanie dla szybkości, mapa witryny dla pokrycia, ręczne zgłaszanie dla kilku najważniejszych stron, a szybkie włączenie do indeksu tylko wtedy, gdy witryna sobie na nie zapracowała.

Dlaczego hosting poza Chinami kontynentalnymi jest wolniejszy

Baiduspider pobiera strony z chińskich pul adresów IP. Każde żądanie do Twojego serwera w Niemczech czy Irlandii przekracza granicę, a to daje trzy nakładające się efekty.

Opóźnienia i straty pakietów. Czasy odpowiedzi rzędu 200 do 400 milisekund są normą, a w godzinach szczytu straty pakietów na tej trasie są jak najbardziej realne. Strona, która z Frankfurtu ładuje się w 800 milisekund, z Pekinu potrafi potrzebować pięciu sekund albo więcej.

Budżet indeksowania się kurczy. Baidu, jak każdy robot, odsuwa się od wolnych i niestabilnych serwerów. Przekroczone limity czasu i odpowiedzi 5xx obniżają częstotliwość pobierania, więc mniej stron na wizytę, więc wolniejsze włączanie do indeksu. To właśnie mechanizm stojący za większością zgłoszeń w stylu „Baidu nagle przestało nas odwiedzać”.

Zablokowane zasoby zawieszają stronę. Google Fonts, googleapis.com, Google Analytics, osadzone filmy z YouTube, reCAPTCHA, widżety Facebooka: nic z tego nie jest osiągalne z Chin. Przeglądarka czeka na każdy z tych zasobów, aż się podda. To samo dotyczy renderowania po stronie Baidu. Przeniesienie fontów i skryptów na własny serwer to najtańsza poprawka, jaką ma do dyspozycji europejska firma, i zwykle jest to robota na jedno popołudnie.

Bez obecności w Chinach kontynentalnych hosting (albo warstwa wystawiona) w Hongkongu, Singapurze lub Japonii wyraźnie skraca trasę. To nie to samo co być w środku, ale w porównaniu z Europą różnica jest duża i nie wymaga chińskiej spółki.

Co zmienia rejestracja ICP, a czego nie

ICP备案 (rejestracja ICP) to wpis, który musi mieć każda witryna hostowana na serwerach w Chinach kontynentalnych, prowadzony przez Ministerstwo Przemysłu i Technologii Informacyjnych. ICP许可证 (licencja ICP) to cięższe zezwolenie wymagane od komercyjnych usług online. Oba wymagają chińskiego podmiotu prawnego, a rejestracja dodatkowo chińskiego hostingodawcy, więc zagraniczna firma bez chińskiej spółki zależnej ani lokalnego partnera nie zdobędzie żadnego z nich.

I tu jest rzecz, którą powtarza się błędnie: Baidu nie wymaga rejestracji ICP, żeby zaindeksować witrynę. Domena .com hostowana we Frankfurcie może być w indeksie i bywa w indeksie, a żaden opublikowany przepis nie traktuje numeru rejestracji jako czynnika rankingowego.

To, co rejestracja naprawdę odblokowuje, to hosting w Chinach kontynentalnych, a to właśnie hosting daje szybkość i budżet indeksowania. Korzyść jest realna, ale pośrednia. Jeśli nie masz chińskiego podmiotu, to powód, żeby naprawić wszystko inne z tej listy, a nie żeby rezygnować z indeksacji.

Szybkość strony mierzona z właściwego miejsca

Liczy się to, jak Twoja strona zachowuje się na połączeniu mobilnym w Chinach, a nie to, co pokazuje europejski monitoring. Baidu od lat mówi wprost, że doświadczenie na urządzeniach mobilnych wpływa na to, jak traktuje witrynę, a roboczy cel dla strony docelowej to poniżej trzech sekund do sensownej treści w chińskiej sieci komórkowej.

Co europejski zespół może zrobić od ręki:

Renderuj po stronie serwera. Baiduspider radzi sobie z JavaScriptem znacznie gorzej niż Googlebot. Jeśli Twój tekst powstaje dopiero po hydratacji, załóż, że Baidu go nie widzi. Renderowanie serwerowe albo statyczny HTML nie jest tu opcją do rozważenia.
Trzymaj fonty, ikony i analitykę u siebie. Każde żądanie do zablokowanego hosta to zator.
Porządnie kompresuj obrazy i ustaw długie nagłówki cache na plikach statycznych.
Jedno przekierowanie, nie łańcuch. Każde ogniwo to kolejna podróż przez granicę.
Jeden adres na stronę. Bez parametrów sesji, bez parametrów śledzenia w linkach wewnętrznych, jedna kanoniczna postać domeny.

I mierz stamtąd, nie stąd: kilka chińskich serwisów testowych pobierze Twój adres z kilkunastu miast i poda prawdziwe liczby.

Czy Baiduspider w ogóle ma wstęp?

Otwórz teraz twojadomena.pl/robots.txt. Straciliśmy rachubę witryn, które zgłosiły się do Baidu, czekały dwa miesiące i przez cały ten czas blokowały robota.

Typowe przyczyny:

Szablonowy robots.txt, który z nazwy wpuszcza Googlebota i Bingbota, a kończy się User-agent: * i Disallow: /.
Jawna blokada User-agent: Baiduspider / Disallow: /, którą ktoś wpisał lata temu, bo Baiduspider pobierał zbyt agresywnie. Na starszych europejskich stronach to bardzo częste.
Ochrona przed botami w WAF-ie albo CDN-ie, czyli najczęstsza przyczyna i ta, której nikt nie sprawdza, bo w robots.txt w ogóle jej nie widać. Gotowe reguły stawiają wyzwanie albo zwracają 403 nieznanym agentom użytkownika, a część konfiguracji wprost blokuje chińskie pule adresów po geolokalizacji. Z punktu widzenia Baidu Twoja witryna zwraca błąd.
Znacznik noindex albo nagłówek X-Robots-Tag, który został ze środowiska testowego.
rel="canonical" wskazujący na inną domenę.

Baiduspider przedstawia się jako Baiduspider, w wariantach desktopowym i mobilnym, a poza tym Baiduspider-image, Baiduspider-video i Baiduspider-news. Prawdziwy rozwiązuje się w odwrotnym DNS do baidu.com albo baidu.jp. Wszystko, co podaje się za Baiduspidera z innego hosta, jest podszywaniem się i blokowanie tego nic Cię nie kosztuje.

Szybkie sprawdzenie z terminala:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://twojadomena.pl/

Chcesz zobaczyć 200. Odpowiedź 403, przekierowanie na stronę z wyzwaniem albo CAPTCHA oznaczają, że robot jest odsyłany z kwitkiem. Ten test nie obejmuje jednak blokad geograficznych, więc zapytaj też osoby zarządzające CDN-em, co ich reguły robią z ruchem z Chin kontynentalnych.

Dlaczego strony trafiają do indeksu, a potem znikają

Wielkość indeksu spada tak samo, jak rośnie, a spadek nie jest awarią. Baidu ocenia witrynę ponownie i po cichu usuwa strony, których nie uznaje za warte trzymania: strony wyłącznie po angielsku, bez chińskich odbiorców, treści ubogie, niemal duplikaty między wersjami językowymi, teksty tłumaczone maszynowo.

Tu leży prawdziwy sufit zagranicznej witryny. Cała technika z tego artykułu kupuje Ci szybkość pobierania. O tym, czy obecność w indeksie się utrzyma, decyduje to, czy w serwisie są treści w chińskim uproszczonym, które chiński czytelnik naprawdę chce przeczytać. Tłumaczenie maszynowe tej poprzeczki nie przeskakuje, a Baidu rozpoznaje je zauważalnie lepiej niż kiedyś.

Na co masz wpływ, a na co nie

Masz wpływ na: robots.txt, reguły WAF-a i CDN-a, zasoby zewnętrzne, renderowanie po stronie serwera, czas ładowania z Chin, lokalizację hostingu, poprawność mapy witryny, aktywne wysyłanie, jeden kanoniczny adres na stronę i na to, czy chińskie treści w ogóle istnieją.

Nie masz wpływu na: harmonogram pobierania Baidu, tempo kolejki, przyznanie limitu szybkiego indeksowania ani na to, na jakim poziomie ustabilizuje się wielkość indeksu. Niczego z tego nie da się kupić i nie ma zgłoszenia do wsparcia, które by to zmieniło.

Harmonogram bez myślenia życzeniowego

Tydzień 0: zgłoszenie, weryfikacja domeny, mapa witryny, podpięcie aktywnego wysyłania, a przed tym wszystkim sprawdzenie robots.txt i reguł CDN-a.
Tydzień 1: spójrz na częstotliwość pobierania i błędy pobierania. Napraw to, co pokazuje raport błędów. Treści na razie nie ruszaj.
Tygodnie 2 i 3: pierwsze sprawdzenie przez site:. Sama strona główna to normalny wynik.
Tydzień 6: jeśli site: nadal nic nie zwraca, a w logach nie ma udanych pobrań, przestań czekać i potraktuj to jako usterkę techniczną. Prawie zawsze nią jest.
Tygodnie od 8 do 12: śledź wielkość indeksu zamiast liczby przy site:. Zacznij dodawać strony w chińskim uproszczonym.
Potem co kwartał: ponownie sprawdź błędy pobierania, upewnij się, że nic nowego nie blokuje robota, i zobacz, czy pokrycie rośnie, czy się kurczy.

Jeśli wolisz to zlecić

Większość tego czekania nie ma w sobie żadnej tajemnicy. To zablokowany robot, wolna strona widziana z Pekinu albo serwis, w którym nie ma nic dla chińskiego czytelnika, a wszystkie trzy rzeczy da się naprawić.

Samo zgłoszenie zatrzymuje większość europejskich firm, bo założenie konta Baidu wymaga numeru komórkowego z Chin kontynentalnych. Nasza usługa zgłoszenia do Baidu bierze domenę, przeprowadza całe zgłoszenie i raportuje, co Baidu faktycznie zaindeksowało, za stałą cenę od domeny. Nie potrzebujesz chińskiego numeru telefonu, chińskiej spółki ani własnego konta Baidu. Jeśli chcesz przy okazji poukładać stronę techniczną, zanim zgłosisz serwis, umów rozmowę, a ustalimy zakres.