Колку долго трае индексирањето на Baidu и што навистина го забрзува

Го поднесовте вашиот домен на Baidu. По една недела, ништо. По две недели, повторно ништо, и веќе се прашувате дали пријавата воопшто поминала.

Ова е најчестото прашање што го добиваме за Baidu, а одговорот е обично дека сè уште ништо не тргнало наопаку. Baidu е бавен со нов странски сајт, значително побавен од Google. Корисното прашање не е колку изнесува просечното чекање. Корисното прашање е кои од работите што ги контролирате му додаваат недели.

Три работи што редовно се мешаат

Пред која било временска рамка да добие смисла, разделете ги:

Откривање: Baidu знае дека URL-то постои. Пријавата го прави тоа, и тоа веднаш.
Пребарување на сајтот: Baiduspider навистина ја презема страницата. Ова може тивко да не успее со месеци.
Влез во индексот (收录): страницата е во индексот и може да се појави во резултатите. Тоа е она што го покажува барањето site:.
Рангирање: страницата се натпреварува за некој поим. Тоа е друг проблем, и во најголем дел проблем со содржината.

Една страница може да биде откриена првиот ден, преземена деветтиот, и никогаш да не влезе во индексот. Поднесувањето уште URL-адреси не го решава тоа. Повеќето што прашуваат „колку долго трае Baidu" всушност заглавиле меѓу преземањето и индексирањето.

Реална временска рамка

За типичен европски сајт: хостиран во Европа, без ICP регистрација, содржина на англиски или друг европски јазик, без линкови од кинески сајтови.

Прва посета на Baiduspider: од еден ден до три недели по пријавата. Обично почетната страница, и често ништо повеќе извесно време.
Прва страница видлива во барање site:: од една до шест недели.
Употреблива покриеност на мал сајт: од еден до три месеци.
Покриеност што се одржува и не се смалува при следната преоценка: од три до шест месеци, а реално само ако на сајтот има страници на поедноставен кинески.

Споредете го тоа со сајт хостиран во континентална Кина што има ICP регистрација и кинеска содржина: почетната страница е во индексот за неколку дена, останатото за неколку недели. Растојанието меѓу тие две линии е темата на остатокот од овој текст.

Baidu не објавува никакво ниво на услуга за ништо од ова, и нема поддршка кај која работата може да се ескалира. Она што го добивате е сет од канали со различна пропусност, плус буџет за преземање што расте или се намалува зависно од тоа како се однесува вашиот сервер.

Прво проверете дали воопшто сте индексирани

Направете го ова пред да смените што било.

Одете на baidu.com и пребарајте site:yourdomain.com. Бројот на резултати е проценка и се менува, па читајте го како да или не, а не како мерка. Ако добиете резултати, индексирани сте и прашањето станува прашање на покриеност. Ако по шест недели добиете нула, нешто е расипано и подолгото чекање нема да го поправи.

Уште две проверки вредат труд:

Пребарајте го точниот наслов на вашата почетна страница во наводници. Ако сајтот е индексиран но операторот site: се однесува чудно, ова често го открива тоа.
Во Baidu Webmaster Tools (百度搜索资源平台) погледнете ги 索引量 (број на индексирани страници) и 抓取频次 (честота на преземање). Тоа се искрените бројки. 抓取异常 (грешки при преземање) ви кажува дали ботот добива истек на време, 403 или DNS грешки, а токму таму повеќето странски сајтови го наоѓаат вистинскиот проблем.

Ако честотата на преземање е близу нула, а грешките не се, имате технички дефект, не проблем со трпението.

Каналите за пријава и колку вреди секој од нив

Baidu нуди неколку начини да му предадете URL, и тие не се еднакви.

Карта на сајтот

Само откривање, и најбавната редица од сите. Baidu ја третира картата на сајтот како список со предлози што ќе ги обработи кога ќе стигне до нив. Поднесете ја, држете ја точна, но не очекувајте оваа недела да помести нешто. Најмногу вреди кај големи сајтови каде што Baidu воопшто треба да ги најде подлабоките страници.

Рачно поднесување URL (普通收录)

Ги лепите URL-адресите во контролната табла. Ограничено по ден и по сајт. Тоа е сугестија, не наредба. Корисно за неколку страници до кои навистина ви е гајле, бескорисно како стратегија.

Активно испраќање преку API (主动推送)

Најдоброто од обичните канали. Вашиот сервер ги испраќа новите и ажурираните URL-адреси до крајната точка на Baidu во мигот кога ќе се сменат, што го сведува задоцнувањето при откривање на нула и, според нашето искуство, забележливо го скратува чекањето до првото преземање. Дневната квота расте со тоа колку од сајтот е веќе индексиран, што на почетокот е проблем на кокошката и јајцето, но брзо престанува да биде. Ако објавувате редовно, вградете го ова во вашиот build процес или CMS и заборавете на него.

Автоматско испраќање (自动推送)

JavaScript фрагмент што го известува Baidu кога страницата е отворена. За да направи нешто, потребни се вистински посетители од Кина, какви што новопријавен странски сајт нема. Освен тоа додава скрипта од трета страна на секоја страница, на сајт каде што времето на вчитување од внатре во Кина и онака ви е слабата точка. Прескокнете го додека немате кинески сообраќај.

Брзо индексирање (快速收录)

Ова е каналот на кој сите мислат кога прашуваат како брзо да влезат во индексот, а искрениот одговор е непријатен.

快速收录 е одделен канал со квота: фиксен број URL-адреси дневно, а адресите пуштени низ него се обработуваат многу побрзо од што било во обичната редица. Квотата ја доделува Baidu, по сајт, врз основа на сопствената проценка за квалитетот на сајтот и за искуството на мобилен уред. Низ годините програмата менуваше имиња, а во сегашната форма е дозволен обем по сајт, а не нешто што вклучувате.

Од тоа следат три работи. Не е на продажба. Не се доделува на барање. И сосема нов сајт хостиран во странство го нема, бидејќи нема историја на преземање врз која Baidu би можел да суди. Ако воопшто стане достапно за вашиот домен, тоа ќе биде по месеци чисти преземања и по содржина на кинески што Baidu ја задржува наместо да ја отфрли. Секој што ви нуди да ви продаде квота за брзо индексирање ви продава нешто друго од она што мислите.

Практичниот редослед е, значи: активно испраќање за брзина, карта на сајтот за покриеност, рачно поднесување за оние неколку страници што се најважни, и брзо индексирање само ако сајтот го заслужил.

Зошто хостирањето надвор од континентална Кина е побавно

Baiduspider пребарува од кинески IP опсези. Секое барање до вашиот германски или ирски сервер ја минува границата, а тоа има три ефекта што се надополнуваат.

Доцнење и загуба на пакети. Времиња на повратен пат од 200 до 400 милисекунди се нормални, а во часовите на најголем сообраќај загубата на пакети на таа рута е реална. Страница што се вчитува за 800 милисекунди од Франкфурт може да трае пет секунди или повеќе од Пекинг.

Буџетот за преземање се намалува. Baidu, како и секој друг индексирачки бот, се повлекува од бавни или ненадежни сервери. Истекувањата на време и одговорите 5xx ја намалуваат честотата на преземање, што значи помалку преземени страници по посета, што значи побавно индексирање. Тоа е механизмот зад најголемиот дел од пријавите од типот „Baidu едноставно престана да нè презема".

Блокираните ресурси ја закочуваат страницата. Google Fonts, googleapis.com, Google Analytics, вградени YouTube плеери, reCAPTCHA, Facebook виџети: ништо од тоа не е достапно од внатре во Кина. Прелистувачот чека на секој од нив додека не се откаже. Сè што Baidu презема со рендерирање удира во истиот ѕид. Хостирањето на фонтовите и скриптите кај себе е најевтината можна поправка за една европска компанија, и обично трае едно попладне.

Ако присуство во континентална Кина не доаѓа предвид, хостирањето или испорачувањето на сајтот од Хонг Конг, Сингапур или Јапонија значително го скратува повратниот пат. Тоа не е исто како да сте внатре, но е големо подобрување во однос на Европа и не бара кинески субјект.

Што менува ICP регистрацијата, а што не

ICP备案 (ICP регистрација) е евиденцијата што секој сајт хостиран на сервери во континентална Кина мора да ја има кај Министерството за индустрија и информатичка технологија. ICP许可证 (ICP лиценцата) е потешката дозвола што се бара за комерцијални онлајн услуги. За двете е потребен кинески правен субјект, а за регистрацијата е потребен и кинески хостинг провајдер, така што странска компанија без кинеска подружница и без локален партнер не може да добие ниту едно од двете.

Еве го делот што најчесто се пренесува погрешно: Baidu не бара ICP регистрација за да го индексира вашиот сајт. Домен .com хостиран во Франкфурт може да биде индексиран и навистина се индексира, а ниту едно објавено правило не го третира бројот на регистрацијата како фактор за рангирање.

Она што регистрацијата всушност го отклучува е хостирањето во континентална Кина, а токму тоа хостирање ја носи брзината и буџетот за преземање. Предноста е реална, но индиректна. Ако немате кинески субјект, тоа е причина да го средите сè друго од овој список, а не причина да се откажете од индексирањето.

Брзина на страницата, мерена од вистинското место

Бројот што е важен е како вашата страница се однесува на мобилна врска внатре во Кина, а не што покажува вашата европска табла за следење. Baidu веќе години наназад отворено кажува дека мобилното искуство влијае врз тоа како третира еден сајт, а работната цел за целна страница е под три секунди до смислена содржина на мобилна мрежа во континентална Кина.

Она што европски тим може да го стори веднаш:

Рендерирајте на серверот. Baiduspider се справува со JavaScript многу понепоуздано од Googlebot. Ако вашиот текст постои дури по хидрирањето, претпоставете дека Baidu не го гледа. Серверското рендерирање или статичкиот HTML тука не се опција туку услов.
Хостирајте ги фонтовите, иконите и аналитиката кај себе. Секое барање до блокиран сервер е застој.
Компресирајте ги сликите како што треба и поставете долги cache заглавја на статичките ресурси.
Држете ги пренасочувањата на еден чекор. Секоја алка во синџирот чини уште еден прекуграничен повратен пат.
Служете една URL-адреса по страница. Без параметри на сесија, без параметри за следење во внатрешните линкови, една канонска форма на доменот.

И мерете го тоа од таму, не од овде: неколку тест-сервиси во континентална Кина ќе ја преземат вашата URL-адреса од десетина кинески градови и ќе ви дадат вистински бројки.

Дали Baiduspider воопшто е пуштен внатре?

Отворете го yourdomain.com/robots.txt веднаш сега. Изгубивме сметка колку сајтови се пријавија на Baidu, чекаа два месеци, а цело време го блокираа ботот.

Вообичаените причини:

robots.txt преземен од шаблон што ги наведува Googlebot и Bingbot како дозволени, а потоа завршува со User-agent: * и Disallow: /.
Изричит блок User-agent: Baiduspider / Disallow: / што некој го додал пред години затоа што Baiduspider преземал премногу агресивно. Ова е многу често на постари европски сајтови.
Заштита од ботови на WAF или CDN, што е најчестата причина и онаа што никој не ја проверува, бидејќи воопшто не се гледа во robots.txt. Управуваните правила за ботови поставуваат предизвик или враќаат 403 на непознати кориснички агенти, а некои поставки директно ги блокираат IP опсезите од континентална Кина по географски критериум. Од гледна точка на Baidu, вашиот сајт враќа грешка.
Мета ознака noindex или заглавје X-Robots-Tag заостанато од тест-опкружувањето.
rel="canonical" што покажува кон друг домен.

Baiduspider се претставува како Baiduspider, со варијанти за десктоп и за мобилни, плус Baiduspider-image, Baiduspider-video и Baiduspider-news. Вистинскиот се разрешува преку обратен DNS под baidu.com или baidu.jp. Сè што тврди дека е Baiduspider од друг сервер е лажно, и блокирањето не ве чини ништо.

Брза проверка што можете да ја пуштите во терминал:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://yourdomain.com/

200 е она што го сакате. 403, пренасочување кон страница со предизвик или CAPTCHA значи дека ботот го враќаат назад. Тој тест сепак не го покрива географското блокирање, па прашајте го и оној што го води вашиот CDN што прават правилата со сообраќајот од континентална Кина.

Зошто страниците влегуваат во индексот, а потоа исчезнуваат

Бројот на индексирани страници се движи надолу исто како и нагоре, а падот не е дефект. Baidu преоценува и тивко ги отфрла страниците што ги смета за недостојни за чување: страници само на англиски без кинеска публика, празни страници, речиси идентични верзии низ јазиците, машински преведен текст.

Тука лежи вистинскиот таван на еден странски сајт. Секоја техничка поправка од овој текст ви купува брзина на преземање. Она што одлучува дали индексирањето ќе се одржи е дали на сајтот има содржина на поедноставен кинески што кинески читател навистина би ја сакал. Машинскиот превод не ја достигнува таа граница, а Baidu забележливо подобро го препознава отколку порано.

Што контролирате, а што не

Контролирате: robots.txt, правилата на вашиот WAF и CDN, ресурсите од трети страни, серверското рендерирање, времето на вчитување од Кина, локацијата на хостингот, точноста на картата на сајтот, активното испраќање, една канонска URL-адреса по страница, и тоа дали кинеска содржина воопшто постои.

Не контролирате: распоредот на преземање на Baidu, колку брзо се движи редицата, дали квота за брзо индексирање воопшто ќе биде доделена, ниту на кој број ќе се смири индексот. Ништо од тоа не се купува, и нема тикет за поддршка што го менува.

Распоред што не е побожна желба

Недела 0: пријавете се, верификувајте го доменот, поднесете ја картата на сајтот, поврзете го активното испраќање, и пред сè друго проверете ги robots.txt и правилата на CDN.
Недела 1: погледнете ја честотата на преземање и грешките при преземање. Поправете го тоа што го покажува извештајот за грешки. Сè уште не ја допирајте содржината.
Недели 2 до 3: прва проверка со site:. Ако е видлива само почетната страница, тоа е нормално и во ред.
Недела 6: ако site: сè уште не враќа ништо и во дневникот на преземања нема ниту едно успешно преземање, престанете да чекате и третирајте го тоа како технички дефект. Речиси секогаш е така.
Недели 8 до 12: следете го бројот на индексирани страници наместо бројот што го дава site:. Почнете да додавате страници на поедноставен кинески.
Секое тримесечје потоа: проверете ги повторно грешките при преземање, проверете дали нешто ново почнало да го блокира ботот, и видете дали покриеноста расте или се смалува.

Ако претпочитате некој друг да го одработи ова

Најголемиот дел од чекањето не е мистерија. Тоа е блокиран бот, страница што е бавна од Пекинг, или сајт на кој нема ништо што кинески читател го сака, а сето тоа може да се поправи.

Самата пријава е делот на кој застануваат повеќето европски компании, бидејќи за регистрација на Baidu сметка е потребен мобилен број од континентална Кина. Нашата услуга за пријава на Baidu го зема доменот, ја спроведува целата пријава и известува што навистина индексирал Baidu, по фиксна цена по домен. Не ви треба кинески телефонски број, кинеска фирма ниту ваша сметка на Baidu. Ако сакате и техничката страна да биде средена пред да поднесете, закажете разговор и ќе го договориме опсегот.