Колко време отнема индексирането в Baidu и какво наистина го ускорява

Подали сте домейна си в Baidu. Седмица по-късно: нищо. Две седмици по-късно: пак нищо, и вече започвате да се питате дали подаването изобщо е минало.

Това е най-честият въпрос, който получаваме за Baidu, и отговорът обикновено е, че засега нищо не се е объркало. Baidu е бавен с нов чуждестранен сайт, много по-бавен от Google. Полезният въпрос не е колко трае средното чакане, а кои от нещата, които зависят от вас, добавят седмици към него.

Три неща, които често се бъркат

Преди която и да е времева рамка да придобие смисъл, разграничете ги:

Откриване: Baidu знае, че URL адресът съществува. Това постига подаването, и то мигновено.
Обхождане: Baiduspider действително изтегля страницата. Тази стъпка може да се проваля безшумно с месеци.
Включване (收录): страницата е в индекса и може да се показва в резултатите. Именно това показва заявката site:.
Класиране: страницата се състезава за дадена заявка. Друг проблем, най-вече на съдържанието.

Една страница може да бъде открита в първия ден, обходена на деветия и никога да не бъде включена. Подаването на още URL адреси не решава това. Повечето хора, които питат „колко време отнема Baidu", всъщност са заседнали между обхождането и включването.

Реалистичната времева рамка

За типичен европейски сайт: хостван в Европа, без ICP регистрация, със съдържание на английски или на друг европейски език, без връзки от китайски сайтове.

Първо посещение на Baiduspider: от един ден до три седмици след подаването. Обикновено на началната страница, и често известно време нищо повече.
Първа страница, видима при заявка site:: от една до шест седмици.
Полезно покритие на малък сайт: от един до три месеца.
Устойчиво покритие, което не се свива при следващата преоценка: от три до шест месеца, и реалистично само ако на сайта има страници на опростен китайски.

Сравнете това със сайт, хостван в континентален Китай, с ICP регистрация и китайско съдържание: началната страница влиза в индекса за дни, останалото до няколко седмици. Разликата между тези два случая е темата на останалата част от статията.

Baidu не публикува никакво ниво на обслужване за нищо от това и няма поддръжка, към която да ескалирате. Разполагате с набор от канали с различна пропускателна способност и с бюджет за обхождане, който расте или се свива в зависимост от поведението на сървъра ви.

Първо проверете дали изобщо сте индексирани

Направете това, преди да променяте каквото и да е.

Отворете baidu.com и потърсете site:yourdomain.com. Броят резултати е приблизителна оценка и се мени, затова го четете като „да" или „не", а не като измерване. Ако има резултати, вие сте индексирани и въпросът вече е за покритието. Ако след шест седмици резултатите са нула, нещо не работи и по-дългото чакане няма да го оправи.

Още две проверки, които си струва да направите:

Потърсете точното заглавие на началната си страница в кавички. Ако сайтът е индексиран, но операторът site: се държи странно, така често ще го видите.
В Baidu Webmaster Tools (百度搜索资源平台) погледнете 索引量 (обем на индекса) и 抓取频次 (честота на обхождане). Това са честните числа. 抓取异常 (грешки при обхождане) показва дали паякът получава изтичане на времето за изчакване, грешки 403 или откази на DNS, а точно там повечето чуждестранни сайтове откриват истинския си проблем.

Ако честотата на обхождане е близо до нула, а грешките при обхождане не са, имате технически проблем, а не проблем с търпението.

Каналите за подаване и какво всъщност струва всеки от тях

Baidu предлага няколко начина да му подадете URL адрес и те не са равностойни.

Карта на сайта (sitemap)

Само откриване, и то най-бавната опашка от всички. Baidu третира картата на сайта като списък с предложения, с които ще се заеме, когато му дойде редът. Подайте я, поддържайте я точна и не очаквайте тази седмица да се раздвижи нещо. Тя е най-важна за големи сайтове, при които Baidu изобщо трябва да намери дълбоко разположените страници. Освен това не е достъпна за всеки сайт: към октомври 2026 г. конзолата предлага подаване на карта на сайта само за сайтове с ICP регистрация (ICP备案), а от 22 септември 2023 г. Baidu не я предоставя на сайтове в профили без проверка на истинската самоличност и на сайтове, които оценява като нискокачествени (известието на Baidu). Без нея ви остават ръчното подаване и активното изпращане.

Ръчно подаване на URL адреси (普通收录)

Поставяте URL адресите в таблото. Има дневен лимит за всеки сайт. Това е подсказка, а не указание. Полезно е за малкото страници, които наистина са важни за вас, и безполезно като стратегия.

Активно изпращане през API (主动推送)

Най-добрият от обикновените канали. Сървърът ви изпраща новите и обновените URL адреси до крайната точка на Baidu в момента, в който се променят. Това свежда забавянето при откриването до нула и, по наш опит, осезаемо скъсява чакането до първото обхождане. Дневната квота расте според това каква част от сайта ви вече е индексирана, което в началото е омагьосан кръг, но бързо престава да бъде. Ако публикувате редовно, вградете го в процеса на компилация или в CMS системата и забравете за него.

Автоматично изпращане (自动推送)

JavaScript фрагмент, който известява Baidu, когато някоя страница бъде прегледана. За да има ефект, са нужни реални посетители от Китай, а току-що подаден чуждестранен сайт няма такива. Освен това добавя скрипт от трета страна на всяка страница, при това на сайт, чието слабо място и без това е времето за зареждане от Китай. Пропуснете го, докато нямате китайски трафик.

Бързо обхождане (快速抓取), по-рано бързо включване (快速收录)

Това е каналът, който всички имат предвид, когато питат как да бъдат индексирани бързо, а честният отговор е неудобен.

На 26 април 2024 г. Baidu закри 快速收录 и го замени с 快速抓取 (бързо обхождане), като отне квотата, която сайтовете имаха по стария инструмент (известието на Baidu). Новото име описва по-честно какво прави: URL адресите, изпратени през него, се обхождат с предимство, а Baidu казва ясно, че не гарантира включване. Каналът все още е отделен, с ограничена квота и дневен лимит за всеки сайт. Baidu го предоставя автоматично на сайтовете в своята VIP партньорска програма, други сайтове могат да го спечелят в кампании на платформата, а достъпът се преразглежда периодично и се отнема от сайтове, които паднат под стандартите на Baidu за качество и потребителско изживяване (ръководството на Baidu).

От това следват три неща. Не се продава. Не се предоставя при поискване. И чисто нов сайт, хостван в чужбина, го няма, защото няма история на обхождане, по която Baidu да го прецени. Ако изобщо стане достъпен за вашия домейн, това ще стане след месеци безпроблемно обхождане и съдържание на китайски, което Baidu запазва, вместо да го отпада. Който ви предлага да ви продаде квота за бързо обхождане, ви продава нещо различно от това, което си мислите.

Практическият ред е следният: активно изпращане за скорост, карта на сайта за покритие там, където конзолата я предлага, ръчно подаване за малкото най-важни страници и бързо обхождане само ако сайтът ви го е заслужил.

Защо хостингът извън континентален Китай е по-бавен

Baiduspider обхожда от IP диапазони в континентален Китай. Всяка заявка към сървъра ви в Германия или Ирландия пресича границата, а това има три ефекта, които се натрупват.

Латентност и загуби. Двупосочно време от 200 до 400 милисекунди е нормално, а в пиковите часове загубата на пакети по този маршрут е реална. Страница, която се зарежда за 800 милисекунди от Франкфурт, може да отнеме пет секунди и повече от Пекин.

Бюджетът за обхождане се свива. Baidu, като всеки робот, разрежда посещенията си при бавни или ненадеждни хостове. Изтичането на времето за изчакване и отговорите 5xx намаляват честотата на обхождане, т.е. по-малко изтеглени страници при всяко посещение, а оттам и по-бавно включване. Това е механизмът зад повечето оплаквания от типа „Baidu просто спря да ни обхожда".

Блокираните ресурси задържат страницата. Google Fonts, googleapis.com, Google Analytics, вградени видеа от YouTube, reCAPTCHA, приставки на Facebook: всички са недостъпни от Китай. Браузърът чака всеки от тях, докато не се откаже. Всичко, което Baidu изтегля с рендиране, се удря в същата стена. Шрифтовете и скриптовете на собствен хостинг са най-евтината корекция, с която разполага една европейска компания, и обикновено отнемат един следобед.

Ако нямате присъствие в континентален Китай, хостването на сайта или поставянето на сървър пред него в Хонконг, Сингапур или Япония значително съкращава двупосочното време. Не е същото като да сте вътре, но е голямо подобрение спрямо Европа и не изисква китайско юридическо лице.

Какво променя ICP регистрацията и какво не

ICP备案 (ICP регистрация) е записът, който всеки сайт, хостван на сървъри в континентален Китай, трябва да има в Министерството на промишлеността и информационните технологии. ICP许可证 (ICP лицензът) е по-тежкото разрешение, което се изисква за търговски онлайн услуги. И за двете е необходимо юридическо лице в континентален Китай, а за регистрацията е нужен и местен хостинг доставчик, така че чуждестранна компания без китайско дъщерно дружество и без местен партньор не може да получи нито едното, нито другото.

Ето частта, която често се представя погрешно: Baidu не изисква ICP регистрация, за да индексира сайта ви. Домейн .com, хостван във Франкфурт, може да бъде индексиран и наистина се индексира, а никое публикувано правило не третира регистрационния номер като фактор за класиране.

Това, което регистрацията всъщност отключва, е хостингът в континентален Китай, а именно той носи скоростта и бюджета за обхождане. Предимството е реално, но косвено. Ако нямате китайско юридическо лице, това е причина да оправите всичко останало от този списък, а не причина да се откажете от индексирането.

Скорост на страницата, измерена от правилното място

Важното число е как се представя страницата ви при мобилна връзка в Китай, а не какво показва европейското ви табло за наблюдение. Baidu от години заявява изрично, че мобилното изживяване на страницата влияе на отношението му към даден сайт, а работната цел за целева страница е под три секунди до смислено съдържание в мобилна мрежа в континентален Китай.

Какво може да направи един европейски екип още днес:

Рендирайте на сървъра. Baiduspider обработва JavaScript много по-ненадеждно от Googlebot. Ако текстът ви се появява едва след хидратацията, приемете, че Baidu не го вижда. Рендирането на сървъра или статичният HTML тук не са по избор.
Хоствайте сами шрифтовете, иконите и аналитиката. Всяка заявка към блокиран хост е забавяне.
Компресирайте изображенията както трябва и задайте дълъг срок в кеш заглавките на статичните ресурси.
Ограничете пренасочванията до едно. Всяко звено във веригата струва още едно двупосочно пътуване през границата.
Обслужвайте по един URL адрес за страница. Без параметри на сесия, без параметри за проследяване във вътрешните връзки, една канонична форма на домейна.

Измервайте оттам, а не оттук: няколко услуги за тестване в континентален Китай ще изтеглят вашия URL адрес от десетина китайски града и ще ви дадат реални числа.

Пуснат ли е изобщо Baiduspider?

Отворете yourdomain.com/robots.txt още сега. Вече сме загубили сметка на сайтовете, които са се подали в Baidu, чакали са два месеца и през цялото време са блокирали робота.

Обичайните причини:

Файл robots.txt от шаблон, който изрежда Googlebot и Bingbot като разрешени и накрая завършва с User-agent: * и Disallow: /.
Изричен блок User-agent: Baiduspider / Disallow: /, добавен от някого преди години, защото Baiduspider е обхождал твърде агресивно. Много често се среща при по-стари европейски сайтове.
Защитата от ботове в WAF или CDN, която е най-честата причина и тази, която никой не проверява, защото изобщо не се вижда в robots.txt. Управляваните правила за ботове подлагат непознатите потребителски агенти на проверка или им връщат 403, а някои конфигурации направо блокират по география IP диапазоните на континентален Китай. За Baidu сайтът ви просто връща грешка.
Мета таг noindex или заглавка X-Robots-Tag, останали от тестовата среда.
rel="canonical", който сочи към друг домейн.

Baiduspider се представя като Baiduspider във вариант за настолни и за мобилни устройства, плюс Baiduspider-image, Baiduspider-video и Baiduspider-news. Истинският се разпознава чрез обратен DNS запис под baidu.com или baidu.jp. Всичко, което твърди, че е Baiduspider, но идва от друг хост, е фалшификат и блокирането му не ви струва нищо.

Бърза проверка, която можете да направите в терминал:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://yourdomain.com/

Искате да видите 200. Отговор 403, пренасочване към страница с проверка или CAPTCHA означава, че роботът бива отпратен. Този тест обаче не обхваща географското блокиране, затова попитайте и този, който управлява вашия CDN, какво правят правилата с трафика от континентален Китай.

Защо страниците се индексират и после изчезват

Обемът на индекса не само расте, но и намалява, а спадът не е грешка. Baidu преоценява и тихомълком отпада страници, които смята, че не си струва да пази: страници само на английски без китайска аудитория, бедни на съдържание страници, почти еднакви страници в различните езикови версии, автоматично преведен текст.

Тук е истинският таван на един чуждестранен сайт. Всяка техническа корекция от тази статия ви носи скорост на обхождане. Дали включването ще се задържи, зависи от това дали на сайта има съдържание на опростен китайски, което китайски читател наистина би искал да прочете. Машинният превод не минава тази летва, а Baidu го разпознава осезаемо по-добре, отколкото преди.

Какво зависи от вас и какво не

Зависи от вас: robots.txt, правилата на WAF и CDN, ресурсите от трети страни, рендирането на сървъра, времето за зареждане от Китай, местоположението на хостинга, точността на картата на сайта, активното изпращане, един каноничен URL адрес за страница и дали изобщо има съдържание на китайски.

Не зависи от вас: графикът на обхождане на Baidu, колко бързо се движи опашката, дали някога ще получите квота за бързо обхождане, дали подаването на карта на сайта е достъпно за вашия сайт и на какво ниво ще се установи обемът на индекса. Нищо от това не може да се купи и няма заявка към поддръжката, която да го промени.

График без пожелателно мислене

Седмица 0: подайте сайта, потвърдете домейна, подайте картата на сайта, ако конзолата го позволява, настройте активното изпращане и преди всичко друго проверете robots.txt и правилата на CDN.
Седмица 1: погледнете честотата на обхождане и грешките при обхождане. Отстранете всичко, което показва отчетът за грешки. Съдържанието още не го пипайте.
Седмици 2 до 3: първа проверка със site:. Ако излиза само началната страница, това е нормално и напълно наред.
Седмица 6: ако site: все още не връща нищо и дневникът на обхождане не показва нито едно успешно изтегляне, спрете да чакате и го третирайте като технически проблем. Почти винаги е такъв.
Седмици 8 до 12: следете обема на индекса, а не броя от site:. Започнете да добавяте страници на опростен китайски.
Всяко тримесечие след това: проверявайте отново грешките при обхождане, проверявайте дали нещо ново не блокира паяка и вижте дали покритието расте, или се свива.

Ако предпочитате да го възложите

По-голямата част от чакането не е загадка. Причината е блокиран робот, бавна страница от Пекин или сайт, на който няма нищо интересно за китайски читател, а всичко това може да се поправи.

Самото подаване е частта, която спира повечето европейски компании, защото регистрацията на профил в Baidu изисква мобилен номер от континентален Китай. Нашата услуга за подаване в Baidu поема домейна ви и извършва цялото подаване на фиксирана цена за домейн. Не ви трябват китайски телефонен номер, китайско юридическо лице или собствен профил в Baidu. Получавате и 12 месеца достъп до данните на сайта ви от Baidu Webmaster Tools в нашия портал, за да следите как се променя броят индексирани страници и сами да подавате новите страници, щом ги публикувате. Ако искате преди подаването да бъде оправена и техническата страна, запазете час за разговор и ще определим обхвата.