Mennyi ideig tart a Baidu indexelése, és mi gyorsítja fel valójában

Beküldted a domained a Baidu-nak. Egy hét múlva semmi. Két hét múlva még mindig semmi, és lassan azon gondolkodsz, hogy átment-e egyáltalán a beküldés.

Ez a leggyakoribb kérdés, amit a Baidu kapcsán kapunk, és a válasz általában az, hogy még semmi nem romlott el. A Baidu lassú egy új külföldi oldallal, jóval lassabb, mint a Google. A hasznos kérdés nem az, hogy mennyi az átlagos várakozás. Hanem az, hogy a saját kezedben lévő dolgok közül melyik tesz hozzá heteket.

Három dolog, amit rendszeresen összekevernek

Mielőtt bármilyen időzítésnek értelme lenne, válaszd szét őket:

• Felfedezés: a Baidu tudja, hogy az URL létezik. A beküldés pontosan ezt csinálja, és azonnal hat.
• Feltérképezés: a Baiduspider ténylegesen le is tölti az oldalt. Ez hónapokon át tud csendben elhasalni.
• Indexbe kerülés (收录): az oldal bekerül az indexbe, és megjelenhet a találatok között. Ezt mutatja egy site: lekérdezés.
• Rangsorolás: az oldal versenybe száll egy keresőkifejezésre. Ez már másik probléma, és jórészt tartalmi.

Egy oldalt a Baidu felfedezhet az első napon, feltérképezhet a kilencediken, és soha nem veszi fel az indexbe. Ezen nem segít, ha még több URL-t küldesz be. Aki azt kérdezi, „mennyi ideig tart a Baidu", az többnyire a feltérképezés és az indexelés között ragadt.

A reális ütemterv

Egy tipikus európai oldalra értve: európai tárhely, ICP bejegyzés nélkül, angol vagy más európai nyelvű tartalommal, kínai oldalakról érkező linkek nélkül.

• Az első Baiduspider látogatás: a beküldés után egy nappal, vagy három héttel. Általában a főoldal, és utána sokáig gyakran semmi más.
• Az első oldal, ami megjelenik egy site: keresésben: egytől hat hétig.
• Használható lefedettség egy kisebb oldalon: egytől három hónapig.
• Olyan lefedettség, ami meg is marad, és nem zsugorodik össze a következő újraértékelésnél: három-hat hónap, és reálisan csak akkor, ha van egyszerűsített kínai nyelvű tartalom is az oldalon.

Ehhez képest egy szárazföldi Kínában üzemeltetett, ICP bejegyzéssel és kínai tartalommal rendelkező oldal: a főoldal napokon belül bekerül az indexbe, a többi pár héten belül. A két helyzet közötti szakadékról szól a cikk további része.

A Baidu semmilyen szolgáltatási szintet nem vállal minderre, és nincs ügyfélszolgálati sor, ahová eszkalálni lehetne. Amit kapsz, az néhány, eltérő átbocsátóképességű csatorna, meg egy feltérképezési keret, ami annak függvényében nő vagy csökken, hogyan viselkedik a szervered.

Először nézd meg, hogy egyáltalán benne vagy-e az indexben

Ezt csináld meg, mielőtt bármihez hozzányúlnál.

Menj a baidu.com oldalra, és keress rá erre: site:yourdomain.com. A találatszám becslés, és ide-oda ugrál, szóval igen/nem válaszként olvasd, ne mérésként. Ha kapsz találatot, benne vagy, és innentől a lefedettség a kérdés. Ha hat hét után is nulla, valami elromlott, és a további várakozás nem hozza helyre.

Még két ellenőrzés megéri:

• Keress rá a főoldalad pontos címére, idézőjelben. Ha az oldal benne van az indexben, de a site: operátor furán viselkedik, ez gyakran előhozza.
• A Baidu Webmaster Toolsban (百度搜索资源平台) nézd meg a 索引量 (indexelt oldalak száma) és a 抓取频次 (feltérképezési gyakoriság) értéket. Ezek az őszinte számok. A 抓取异常 (feltérképezési hibák) megmutatja, hogy a robot időtúllépést, 403-at vagy DNS-hibát kap-e, és a legtöbb külföldi oldal itt találja meg a tényleges baját.

Ha a feltérképezési gyakoriság nulla közeli, a hibák száma viszont nem, akkor technikai hibád van, nem türelemproblémád.

A beküldési csatornák, és hogy melyik mennyit ér

A Baidu több módot kínál arra, hogy átadj neki egy URL-t, és ezek nem egyenértékűek.

Oldaltérkép

Csak felfedezés, ráadásul a leglassabb sor az összes közül. A Baidu egy oldaltérképet javaslatok listájának tekint, amit majd feldolgoz, ha odaér. Küldd be, tartsd pontosan, de ne várd tőle, hogy ezen a héten bármit megmozgat. Leginkább nagy oldalaknál számít, ahol egyáltalán meg kell találtatni a Baiduval a mély oldalakat.

Kézi URL-beküldés (普通收录)

Beilleszted az URL-eket a vezérlőpultba. Naponta és oldalanként korlátozott. Ez javaslat, nem utasítás. Néhány olyan oldalnál hasznos, ami tényleg fontos neked, stratégiának viszont használhatatlan.

Aktív továbbítás API-n keresztül (主动推送)

A hétköznapi csatornák közül a legjobb. A szervered akkor küldi el a Baidu végpontjára az új és frissített URL-eket, amikor azok megváltoznak, így a felfedezés késleltetése nullára csökken, és a tapasztalatunk szerint az első feltérképezésig tartó várakozás is érezhetően rövidül. A napi kvóta azzal skálázódik, hogy az oldalad mekkora része van már indexelve, ami az elején tyúk-tojás probléma, de gyorsan megszűnik annak lenni. Ha rendszeresen publikálsz, kösd be a build folyamatba vagy a CMS-be, és felejtsd el.

Automatikus továbbítás (自动推送)

Egy JavaScript-kódrészlet, amely megpingeli a Baidut, amikor valaki megnyit egy oldalt. Ahhoz, hogy bármit érjen, valódi kínai látogatók kellenek, amiből egy frissen beküldött külföldi oldalon nincs. Ráadásul egy külső szkriptet tesz minden oldalra, olyan webhelyen, ahol a Kínából mért betöltési idő amúgy is a gyenge pont. Hagyd ki, amíg nincs kínai forgalmad.

Gyorsított indexelés (快速收录)

Erről a csatornáról beszél mindenki, aki azt kérdezi, hogyan lehet gyorsan indexbe kerülni, és az őszinte válasz kényelmetlen.

A 快速收录 külön, kvótás csatorna: napi fix számú URL, és az ezen keresztül továbbított címek jóval gyorsabban dolgozódnak fel, mint bármi a rendes sorban. A kvótát a Baidu adja, oldalanként, saját megítélése alapján az oldal minőségéről és mobilos élményéről. Az évek során többször más néven futott, jelenlegi formájában pedig oldalankénti keret, nem pedig valami, amit bekapcsolsz.

Ebből három dolog következik. Nem eladó. Kérésre nem adják. És egy vadonatúj, külföldi tárhelyen futó oldalnak nincs, mert nincs feltérképezési előélet, ami alapján a Baidu megítélhetné. Ha egyáltalán elérhetővé válik a domainedre, az hónapnyi hibátlan feltérképezés és olyan kínai nyelvű tartalom után lesz, amit a Baidu meg is tart, nem dob ki. Aki azt ajánlja, hogy elad neked gyorsított indexelési kvótát, mást ad el, mint amit gondolsz.

A gyakorlati sorrend tehát: aktív továbbítás a sebességért, oldaltérkép a lefedettségért, kézi beküldés arra a néhány oldalra, ami a legfontosabb, és gyorsított indexelés csak akkor, ha az oldal megszolgálta.

Miért lassabb a Kínán kívüli tárhely

A Baiduspider szárazföldi kínai IP-tartományokból térképez fel. Minden kérés a német vagy ír szervered felé átlépi a határt, és ennek három, egymást erősítő hatása van.

Késleltetés és csomagvesztés. A 200 és 400 ezredmásodperc közötti körbefordulási idő normális, csúcsidőben pedig a csomagvesztés ezen az útvonalon valóságos. Egy oldal, ami Frankfurtból 800 ezredmásodperc alatt betölt, Pekingből öt másodpercig vagy tovább is tarthat.

Zsugorodik a feltérképezési keret. A Baidu, mint bármelyik robot, visszavesz a lassú vagy megbízhatatlan kiszolgálóknál. Az időtúllépések és az 5xx válaszok csökkentik a feltérképezési gyakoriságot, ami kevesebb letöltött oldalt jelent látogatásonként, ami lassabb indexelést jelent. A „a Baidu egyszer csak abbahagyta a feltérképezésünket" típusú bejelentések mögött szinte mindig ez a mechanizmus áll.

A blokkolt erőforrások megakasztják az oldalt. Google Fonts, googleapis.com, Google Analytics, YouTube-beágyazások, reCAPTCHA, Facebook-widgetek: Kínából egyik sem érhető el. A böngésző mindegyikre vár, amíg fel nem adja. Amit a Baidu rendereléssel tölt le, ugyanebbe a falba ütközik. A betűtípusok és szkriptek saját kiszolgálásra átvitele a legolcsóbb elérhető javítás egy európai cég számára, és általában egy délután alatt megvan.

Ha szárazföldi jelenlét nem jön szóba, a Hongkongból, Szingapúrból vagy Japánból való kiszolgálás jelentősen lerövidíti a körbefordulási időt. Nem ugyanaz, mint bent lenni, de nagy előrelépés Európához képest, és nem kell hozzá kínai cég.

Mit változtat az ICP bejegyzés, és mit nem

Az ICP备案 (ICP bejegyzés) az a nyilvántartás, amivel minden szárazföldi kínai szerveren futó oldalnak rendelkeznie kell az Ipari és Információtechnológiai Minisztériumnál. Az ICP许可证 (ICP engedély) a súlyosabb engedély, amit kereskedelmi online szolgáltatásokhoz kérnek. Mindkettőhöz szárazföldi kínai jogi személy kell, a bejegyzéshez ráadásul szárazföldi tárhelyszolgáltató is, így egy kínai leányvállalat és helyi partner nélküli külföldi cég egyiket sem tudja megszerezni.

Itt jön az a rész, amit rendre félreírnak: a Baidu nem követel ICP bejegyzést ahhoz, hogy indexelje az oldaladat. Egy Frankfurtban futó .com indexelhető, és indexelve is lesz, és nincs olyan közzétett szabály, amely a bejegyzési számot rangsorolási tényezőként kezelné.

Amit a bejegyzés valójában megnyit, az a szárazföldi tárhely, és a szárazföldi tárhely az, ami a sebességet és a feltérképezési keretet hozza. Az előny valós, de közvetett. Ha nincs kínai céged, az ok arra, hogy a listán szereplő összes többi dolgot rendbe tedd, nem arra, hogy lemondj az indexelésről.

Oldalsebesség, a megfelelő helyről mérve

Az a szám számít, hogy az oldalad hogyan teljesít egy Kínán belüli mobilkapcsolaton, nem az, amit az európai monitorozó felületed mutat. A Baidu évek óta nyíltan mondja, hogy a mobilos oldalélmény beleszámít abba, hogyan kezel egy webhelyet, és egy céloldalnál a működő cél az, hogy szárazföldi mobilhálózaton három másodpercen belül megjelenjen az érdemi tartalom.

Amihez egy európai csapat ma hozzá tud nyúlni:

• Renderelj a szerveren. A Baiduspider sokkal megbízhatatlanabbul kezeli a JavaScriptet, mint a Googlebot. Ha a szöveged csak hidratálás után létezik, indulj ki abból, hogy a Baidu nem látja. A szerveroldali renderelés vagy a statikus HTML itt nem opcionális.
• Szolgáld ki saját magad a betűtípusokat, ikonokat és analitikát. Minden kérés egy blokkolt kiszolgáló felé egy megakadás.
• Tömörítsd rendesen a képeket, és állíts be hosszú gyorsítótár-fejléceket a statikus fájlokra.
• Az átirányítás maradjon egy lépés. A lánc minden szeme még egy határon átnyúló körbefordulásba kerül.
• Egy oldalhoz egy URL tartozzon. Semmi munkamenet-paraméter, semmi követőparaméter a belső linkekben, a domainnek egyetlen kanonikus alakja.

És onnan mérd, ne innen: több szárazföldi tesztszolgáltatás letölti az URL-edet egy tucat kínai városból, és valódi számokat ad.

Egyáltalán beengeded a Baiduspidert?

Nyisd meg most rögtön a yourdomain.com/robots.txt fájlt. Elszámoltuk, hány olyan oldallal találkoztunk, amely beküldte magát a Baidu-nak, várt két hónapot, közben pedig végig tiltotta a robotot.

A szokásos okok:

• Egy sablonból örökölt robots.txt, ami engedélyezettként nevesíti a Googlebotot és a Bingbotot, aztán egy User-agent: * és Disallow: / párossal zárul.
• Egy kifejezett User-agent: Baiduspider / Disallow: / blokk, amit valaki évekkel ezelőtt írt be, mert a Baiduspider túl agresszíven térképezett. Régebbi európai oldalakon nagyon gyakori.
• WAF vagy CDN botvédelem, ami a leggyakoribb ok, és amit senki nem néz meg, mert a robots.txt fájlban meg sem jelenik. A menedzselt botszabályok kihívás elé állítják vagy 403-mal elutasítják az ismeretlen ügynököket, egyes beállítások pedig egyenesen földrajzilag tiltják a szárazföldi kínai IP-tartományokat. A Baidu szemszögéből az oldalad hibát ad vissza.
• Egy noindex metacímke vagy X-Robots-Tag fejléc, ami a staging környezetből maradt ott.
• Egy rel="canonical", ami másik domainre mutat.

A Baiduspider Baiduspider néven azonosítja magát, asztali és mobil változatban, mellette pedig ott van a Baiduspider-image, a Baiduspider-video és a Baiduspider-news. A valódi fordított DNS-sel a baidu.com vagy a baidu.jp alá oldódik fel. Ami más gépről állítja magáról, hogy Baiduspider, az hamisítvány, és semmibe nem kerül kitiltani.

Egy gyors ellenőrzés, amit terminálban lefuttathatsz:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://yourdomain.com/

A 200-as válasz a jó. A 403, egy ellenőrző oldalra való átirányítás vagy egy CAPTCHA azt jelenti, hogy a robotot elhajtják. Ez a teszt viszont a földrajzi tiltást nem fedi le, úgyhogy kérdezd meg azt is, aki a CDN-edet üzemelteti, mit csinálnak a szabályok a szárazföldi Kínából érkező forgalommal.

Miért tűnnek el oldalak az indexből

Az indexelt oldalak száma nemcsak nőni, csökkenni is tud, és egy visszaesés nem hiba. A Baidu újraértékel, és csendben kidobja azokat az oldalakat, amelyeket nem tart megőrzésre érdemesnek: csak angol nyelvű oldalak kínai közönség nélkül, tartalmatlan oldalak, a nyelvi változatok között majdnem azonos szövegek, gépi fordítás.

Itt van egy külföldi oldal valódi plafonja. A cikkben szereplő összes technikai javítás feltérképezési sebességet vesz neked. Azt, hogy az indexelés meg is marad, az dönti el, van-e az oldalon olyan egyszerűsített kínai nyelvű tartalom, amire egy kínai olvasónak tényleg szüksége van. A gépi fordítás ezt a lécet nem üti meg, és a Baidu érezhetően jobban felismeri, mint néhány éve.

Amit te irányítasz, és amit nem

Te irányítod: a robots.txt fájlt, a WAF- és CDN-szabályaidat, a külső erőforrásokat, a szerveroldali renderelést, a Kínából mért betöltési időt, a tárhely helyét, az oldaltérkép pontosságát, az aktív továbbítást, az oldalankénti egyetlen kanonikus URL-t, és azt, hogy létezik-e egyáltalán kínai tartalom.

Nem te irányítod: a Baidu feltérképezési ütemtervét, hogy milyen gyorsan halad a sor, hogy kapsz-e valaha gyorsított indexelési kvótát, és azt sem, hol áll be az indexelt oldalak száma. Ebből semmi nem megvásárolható, és nincs olyan hibajegy, ami változtatna rajta.

Egy ütemterv, ami nem vágyálom

• 0. hét: beküldés, domain hitelesítése, oldaltérkép beküldése, aktív továbbítás bekötése, és mindezek előtt a robots.txt meg a CDN-szabályok ellenőrzése.
• 1. hét: nézd meg a feltérképezési gyakoriságot és a hibákat. Javítsd, amit a hibalista mutat. A tartalomhoz még ne nyúlj.
• 2-3. hét: első site: ellenőrzés. Ha csak a főoldal van fenn, az normális és rendben van.
• 6. hét: ha a site: még mindig semmit nem ad vissza, és a feltérképezési naplóban nincs egyetlen sikeres letöltés sem, hagyd abba a várakozást, és kezeld technikai hibaként. Szinte mindig az.
• 8-12. hét: az indexelt oldalak számát kövesd, ne a site: találatszámot. Kezdj egyszerűsített kínai nyelvű oldalakat hozzáadni.
• Ezután negyedévente: nézd át újra a feltérképezési hibákat, ellenőrizd, hogy nem került-e be valami új, ami tiltja a robotot, és nézd meg, nő vagy csökken a lefedettség.

Ha inkább ránk bíznád

A várakozás nagy része nem rejtélyes. Vagy egy kitiltott robot, vagy egy Pekingből lassú oldal, vagy egy olyan webhely, amin nincs semmi, ami egy kínai olvasót érdekelne, és ezek javíthatók.

Maga a beküldés az a pont, ahol a legtöbb európai cég elakad, mert egy Baidu fiók regisztrálásához szárazföldi kínai mobilszám kell. Baidu beküldési szolgáltatásunk átveszi a domaint, végigviszi a teljes beküldést és jelenti, mit indexelt ténylegesen a Baidu, domainenként fix díjért. Nincs szükséged kínai telefonszámra, kínai cégre vagy saját Baidu fiókra. Ha a technikai részt is rendbe tennéd, mielőtt beküldöd, foglalj egy hívást, és felmérjük.