Kauanko Baidun indeksointi kestää ja mikä sitä oikeasti nopeuttaa

Lisäsit verkkotunnuksesi Baiduun. Viikko myöhemmin ei ole tapahtunut mitään. Kahden viikon jälkeen ei edelleenkään mitään, ja alat epäillä, menikö ilmoitus ylipäätään perille.

Tämä on yleisin Baidua koskeva kysymys, jonka saamme, ja vastaus on yleensä se, ettei mikään ole vielä mennyt pieleen. Baidu on hidas uuden ulkomaisen sivuston kanssa, selvästi hitaampi kuin Google. Hyödyllinen kysymys ei ole, kauanko se keskimäärin kestää, vaan mitkä sinun hallinnassasi olevista asioista pidentävät odotusta viikoilla.

Kolme asiaa, jotka menevät sekaisin keskenään

Ennen kuin mikään aikataulu tarkoittaa mitään, nämä on erotettava:

Löytyminen: Baidu tietää, että osoite on olemassa. Sen hoitaa ilmoitus, ja se tapahtuu heti.
Ryömintä: Baiduspider hakee sivun oikeasti. Tämä voi epäonnistua hiljaa kuukausien ajan.
Indeksiin ottaminen (收录): sivu on indeksissä ja voi näkyä tuloksissa. Tämän site:-haku näyttää.
Sijoitus: sivu kilpailee hakusanasta. Eri ongelma, ja ennen kaikkea sisältöongelma.

Sivu voi löytyä ensimmäisenä päivänä, tulla ryömityksi yhdeksäntenä eikä koskaan päätyä indeksiin. Uusien osoitteiden lähettäminen ei korjaa sitä. Useimmat, jotka kysyvät Baidun kestoa, ovat todellisuudessa jumissa ryöminnän ja indeksoinnin välissä.

Realistinen aikataulu

Tyypilliselle eurooppalaiselle sivustolle: palvelin Euroopassa, ei ICP-rekisteröintiä, sisältö englanniksi tai jollain eurooppalaisella kielellä, ei linkkejä kiinalaisilta sivustoilta.

Baiduspiderin ensimmäinen käynti: päivästä kolmeen viikkoon ilmoituksesta. Yleensä vain etusivu, ja usein pitkään ei mitään muuta.
Ensimmäinen sivu näkyvissä site:-haussa: viikosta kuuteen viikkoon.
Käyttökelpoinen kattavuus pienellä sivustolla: kuukaudesta kolmeen.
Kattavuus, joka pysyy eikä kutistu seuraavassa uudelleenarvioinnissa: kolmesta kuuteen kuukautta, ja realistisesti vain jos sivustolla on yksinkertaistetulla kiinalla kirjoitettuja sivuja.

Vertaa tätä Manner-Kiinassa isännöityyn sivustoon, jolla on ICP-rekisteröinti ja kiinankielistä sisältöä: etusivu indeksissä päivissä, loput parissa viikossa. Näiden kahden listan välinen ero on se, mistä loppu artikkeli kertoo.

Baidu ei julkaise mitään palvelulupausta tästä, eikä ole tukikanavaa, johon asian voisi eskaloida. Käytössäsi on joukko kanavia, joiden läpimenoteho vaihtelee, ja ryöminnän budjetti, joka kasvaa tai kutistuu sen mukaan, miten palvelimesi käyttäytyy.

Ensin: oletko lainkaan indeksissä?

Tee tämä ennen kuin muutat mitään.

Mene osoitteeseen baidu.com ja hae site:omaverkkotunnus.fi. Tulosmäärä on arvio ja heittelee, joten lue se kyllä tai ei -vastauksena, ei mittarina. Jos tuloksia tulee, olet indeksissä ja jäljelle jää kysymys kattavuudesta. Jos kuuden viikon jälkeen tulee nolla, jokin on rikki eikä pidempi odottelu korjaa sitä.

Kaksi muuta tarkistusta kannattaa tehdä:

Hae etusivusi tarkkaa otsikkoa lainausmerkeissä. Jos sivusto on indeksissä mutta site:-operaattori käyttäytyy oudosti, tämä paljastaa sen usein.
Katso Baidu Webmaster Toolsista (百度搜索资源平台) kohdat 索引量 (indeksin koko) ja 抓取频次 (ryömintätiheys). Ne ovat rehelliset luvut. 抓取异常 (ryömintävirheet) kertoo, törmääkö robotti aikakatkaisuihin, 403-vastauksiin vai DNS-virheisiin, ja juuri sieltä useimmat ulkomaiset sivustot löytävät varsinaisen ongelmansa.

Jos ryömintätiheys on lähellä nollaa mutta ryömintävirheet eivät ole, kyseessä on tekninen vika, ei kärsivällisyyskysymys.

Ilmoituskanavat ja mitä kukin niistä oikeasti tuo

Baidulle voi antaa osoitteen usealla tavalla, eivätkä tavat ole samanarvoisia.

Sivukartta

Pelkkää löytymistä, ja hitain jono kaikista. Baidu käsittelee sivukarttaa ehdotuslistana, jota se käy läpi kun ehtii. Lähetä se, pidä se ajan tasalla äläkä odota sen liikuttavan mitään tällä viikolla. Eniten sillä on merkitystä isoilla sivustoilla, joilla Baidu ei muuten löytäisi syviä sivuja lainkaan.

Osoitteiden lähettäminen käsin (普通收录)

Liität osoitteet hallintapaneeliin. Päivittäinen katto sivustoa kohti. Se on vihje, ei käsky. Kelpaa muutamalle sivulle, joilla on sinulle oikeasti merkitystä, strategiana hyödytön.

Aktiivinen lähetys rajapinnan kautta (主动推送)

Tavallisista kanavista paras. Palvelimesi lähettää uudet ja muuttuneet osoitteet Baidun päätepisteeseen heti kun ne muuttuvat, jolloin löytymisen viive katoaa ja ensimmäistä ryömintää joutuu kokemuksemme mukaan odottamaan selvästi vähemmän. Päivittäinen kiintiö kasvaa sen mukaan, kuinka suuri osa sivustostasi on jo indeksissä. Alussa se on muna vai kana -ongelma, mutta ei kauaa. Jos julkaiset säännöllisesti, kytke tämä julkaisuputkeen tai julkaisujärjestelmään ja unohda koko asia.

Automaattinen lähetys (自动推送)

JavaScript-pätkä, joka ilmoittaa Baidulle aina kun sivua katsotaan. Toimiakseen se tarvitsee oikeita kävijöitä Kiinasta, joita vasta ilmoitetulla ulkomaisella sivustolla ei ole. Lisäksi se tuo kolmannen osapuolen skriptin jokaiselle sivulle, sivustolle, jonka heikko kohta on jo valmiiksi latausaika Kiinasta katsottuna. Jätä tämä siihen asti, kunnes kiinalaista liikennettä on.

Nopea indeksointi (快速收录)

Tätä kanavaa kaikki tarkoittavat kysyessään, miten indeksiin pääsee nopeasti, ja rehellinen vastaus on epämukava.

快速收录 on erillinen, kiintiöity kanava: kiinteä määrä osoitteita päivässä, ja sen kautta lähetetyt osoitteet käsitellään huomattavasti nopeammin kuin mikään tavallisessa jonossa. Kiintiön myöntää Baidu sivustokohtaisesti oman arvionsa perusteella sivuston laadusta ja mobiilikäyttökokemuksesta. Ohjelman nimi on vaihtunut vuosien varrella useaan kertaan, ja nykymuodossaan kyse on sivustokohtaisesta kiintiöstä, ei ominaisuudesta, jonka kytkee päälle.

Tästä seuraa kolme asiaa. Sitä ei myydä. Sitä ei saa pyytämällä. Eikä aivan uudella ulkomaisella sivustolla ole sitä, koska Baidulla ei ole ryömintähistoriaa arvioitavanaan. Jos se joskus tulee verkkotunnuksellesi mahdolliseksi, se tapahtuu kuukausien puhtaiden ryömintöjen ja sellaisen kiinankielisen sisällön jälkeen, jonka Baidu pitää indeksissä sen sijaan että pudottaisi sen pois. Jos joku tarjoutuu myymään sinulle nopean indeksoinnin kiintiötä, hän myy jotain muuta kuin luulet.

Käytännön järjestys on siis tämä: aktiivinen lähetys nopeuteen, sivukartta kattavuuteen, käsin lähettäminen niille harvoille sivuille joilla on eniten merkitystä, ja nopea indeksointi vain jos sivustosi on sen ansainnut.

Miksi Manner-Kiinan ulkopuolinen palvelin on hitaampi

Baiduspider ryömii Manner-Kiinan IP-avaruudesta. Jokainen pyyntö saksalaiselle tai irlantilaiselle palvelimellesi ylittää rajan, ja siitä seuraa kolme päällekkäistä vaikutusta.

Viive ja pakettihävikki. Edestakaiset ajat 200:sta 400 millisekuntiin ovat normaaleja, ja ruuhka-aikoina pakettihävikki tuolla reitillä on todellista. Sivu, joka latautuu Frankfurtista 800 millisekunnissa, voi Pekingistä katsottuna viedä viisi sekuntia tai enemmän.

Ryöminnän budjetti kutistuu. Baidu, kuten mikä tahansa hakurobotti, vetäytyy hitaista ja epäluotettavista palvelimista. Aikakatkaisut ja 5xx-vastaukset laskevat ryömintätiheyttä, jolloin sivuja haetaan käyntiä kohti vähemmän ja indeksiin pääsy hidastuu. Tämä on mekanismi lähes kaikkien ”Baidu lakkasi yhtäkkiä käymästä” -tapausten takana.

Estetyt resurssit jättävät sivun roikkumaan. Google Fonts, googleapis.com, Google Analytics, upotetut YouTube-videot, reCAPTCHA, Facebookin vimpaimet: mikään näistä ei ole tavoitettavissa Kiinasta. Selain odottaa jokaista niistä siihen asti kunnes luovuttaa. Sama seinä tulee vastaan silloin kun Baidu renderöi sivun. Fonttien ja skriptien siirtäminen omalle palvelimelle on halvin korjaus, joka eurooppalaisella yrityksellä on käytettävissään, ja se on tyypillisesti yhden iltapäivän työ.

Jos läsnäoloa Manner-Kiinassa ei ole, sivuston isännöinti Hongkongissa, Singaporessa tai Japanissa lyhentää matkaa tuntuvasti. Se ei ole sama asia kuin olla muurin sisäpuolella, mutta Eurooppaan verrattuna ero on iso eikä se vaadi kiinalaista yhtiötä.

Mitä ICP-rekisteröinti muuttaa ja mitä ei

ICP备案 (ICP-rekisteröinti) on merkintä, joka jokaisella Manner-Kiinan palvelimilla isännöidyllä sivustolla on oltava teollisuus- ja tietotekniikkaministeriössä. ICP许可证 (ICP-lupa) on raskaampi lupa, jota vaaditaan kaupallisilta verkkopalveluilta. Molemmat edellyttävät kiinalaista oikeushenkilöä, ja rekisteröinti lisäksi kiinalaista palveluntarjoajaa, joten ulkomainen yritys ilman kiinalaista tytäryhtiötä tai paikallista kumppania ei saa kumpaakaan.

Ja tässä on se kohta, joka kerrotaan usein väärin: Baidu ei vaadi ICP-rekisteröintiä indeksoidakseen sivustosi. Frankfurtissa isännöity .com voi päätyä indeksiin ja päätyy sinne, eikä yksikään julkaistu sääntö kohtele rekisterinumeroa sijoitustekijänä.

Rekisteröinti avaa oikeasti mahdollisuuden isännöidä sivustoa Manner-Kiinassa, ja juuri isännöinti tuo nopeuden ja ryöminnän budjetin. Etu on todellinen mutta välillinen. Jos kiinalaista yhtiötä ei ole, se on syy korjata kaikki muu tästä listasta, ei syy luopua indeksoinnista.

Sivun nopeus mitattuna oikeasta paikasta

Merkitsevä luku on se, miten sivusi toimii mobiiliyhteydellä Kiinassa, ei se mitä eurooppalainen valvontanäkymä kertoo. Baidu on vuosia sanonut suoraan, että mobiilikäyttökokemus vaikuttaa siihen, miten se sivustoa kohtelee, ja käytännön tavoite laskeutumissivulle on alle kolme sekuntia merkitykselliseen sisältöön kiinalaisessa mobiiliverkossa.

Mitä eurooppalainen tiimi voi tehdä jo tänään:

Renderöi palvelimella. Baiduspider käsittelee JavaScriptiä selvästi epäluotettavammin kuin Googlebot. Jos teksti syntyy vasta hydraation jälkeen, oleta ettei Baidu näe sitä. Palvelinpuolen renderöinti tai staattinen HTML ei ole tässä valinnainen.
Isännöi fontit, ikonit ja analytiikka itse. Jokainen pyyntö estetylle palvelimelle on pysähdys.
Pakkaa kuvat kunnolla ja aseta pitkät välimuistiotsakkeet staattisille tiedostoille.
Yksi uudelleenohjaus, ei ketjua. Jokainen lenkki maksaa uuden rajanylityksen.
Yksi osoite sivua kohti. Ei istuntoparametreja, ei seurantaparametreja sisäisissä linkeissä, yksi kanoninen muoto verkkotunnuksesta.

Ja mittaa sieltä käsin, älä täältä: useat kiinalaiset testipalvelut hakevat osoitteesi kymmenkunnasta kaupungista ja antavat oikeat luvut.

Onko Baiduspiderilla ylipäätään lupa tulla sisään?

Avaa omaverkkotunnus.fi/robots.txt heti. Emme enää laske niitä sivustoja, jotka ilmoittautuivat Baiduun, odottivat kaksi kuukautta ja estivät robotin koko sen ajan.

Tavalliset syyt:

Mallipohjasta peritty robots.txt, joka sallii Googlebotin ja Bingbotin nimeltä ja päättyy riveihin User-agent: * ja Disallow: /.
Nimenomainen esto User-agent: Baiduspider / Disallow: /, jonka joku lisäsi vuosia sitten, koska Baiduspider ryömi liian aggressiivisesti. Vanhemmilla eurooppalaisilla sivustoilla tämä on hyvin yleistä.
WAF:n tai CDN:n bottisuojaus, joka on yleisin syy ja se jota kukaan ei tarkista, koska se ei näy robots.txt-tiedostossa lainkaan. Valmiit bottisäännöt haastavat tuntemattomat selaintunnisteet tai vastaavat niille 403, ja osa kokoonpanoista estää kiinalaiset IP-alueet suoraan sijainnin perusteella. Baidun näkökulmasta sivustosi palauttaa virheen.
Testiympäristöstä unohtunut noindex-metatagi tai X-Robots-Tag-otsake.
Toiseen verkkotunnukseen osoittava rel="canonical".

Baiduspider esittäytyy nimellä Baiduspider, sekä työpöytä- että mobiiliversiona, ja lisäksi ovat Baiduspider-image, Baiduspider-video ja Baiduspider-news. Aito ratkeaa käänteisessä nimipalvelussa osoitteisiin baidu.com tai baidu.jp. Kaikki muualta tuleva Baiduspideriksi tekeytyvä on väärennös, ja sen estäminen ei maksa sinulle mitään.

Nopea tarkistus komentoriviltä:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://omaverkkotunnus.fi/

Haluat nähdä vastauksen 200. Vastaus 403, uudelleenohjaus haastesivulle tai CAPTCHA tarkoittaa, että robotti käännytetään ovelta. Tämä testi ei kuitenkaan kata sijaintiin perustuvia estoja, joten kysy myös CDN:ää hallinnoivalta taholta, mitä säännöt tekevät Manner-Kiinasta tulevalle liikenteelle.

Miksi sivut päätyvät indeksiin ja katoavat sitten

Indeksin koko laskee siinä missä nouseekin, eikä pudotus ole vika. Baidu arvioi sivuston uudelleen ja pudottaa hiljaisesti sivut, joita se ei pidä säilyttämisen arvoisina: pelkästään englanninkieliset sivut ilman kiinalaista yleisöä, ohuet sivut, lähes samat sivut eri kieliversioissa, konekäännetyt tekstit.

Tässä on ulkomaisen sivuston todellinen katto. Kaikki tämän artikkelin tekniikka ostaa sinulle ryömintänopeutta. Sen, pysyykö sivusto indeksissä, ratkaisee se, onko sivustolla yksinkertaistetulla kiinalla kirjoitettua sisältöä, jota kiinalainen lukija oikeasti haluaa lukea. Konekäännös ei ylitä sitä rimaa, ja Baidu tunnistaa sen huomattavasti paremmin kuin ennen.

Mihin voit vaikuttaa ja mihin et

Voit vaikuttaa: robots.txt-tiedostoon, WAF- ja CDN-sääntöihin, kolmannen osapuolen resursseihin, palvelinpuolen renderöintiin, latausaikaan Kiinasta, palvelimen sijaintiin, sivukartan oikeellisuuteen, aktiiviseen lähetykseen, yhteen kanoniseen osoitteeseen sivua kohti ja siihen, onko kiinankielistä sisältöä ylipäätään olemassa.

Et voi vaikuttaa: Baidun ryöminnän aikatauluun, jonon etenemisnopeuteen, siihen myönnetäänkö nopean indeksoinnin kiintiötä koskaan, etkä siihen mille tasolle indeksin koko asettuu. Mitään näistä ei voi ostaa, eikä ole tukipyyntöä joka muuttaisi asian.

Aikataulu ilman toiveajattelua

Viikko 0: ilmoitus, verkkotunnuksen vahvistus, sivukartta, aktiivisen lähetyksen kytkentä, ja ennen kaikkea muuta robots.txt-tiedoston ja CDN-sääntöjen tarkistus.
Viikko 1: katso ryömintätiheyttä ja ryömintävirheitä. Korjaa se, mitä virheraportti näyttää. Sisältöön ei kosketa vielä.
Viikot 2 ja 3: ensimmäinen site:-tarkistus. Pelkkä etusivu on normaali tulos.
Viikko 6: jos site: ei edelleenkään palauta mitään eikä lokissa näy onnistuneita hakuja, lopeta odottaminen ja käsittele asiaa teknisenä vikana. Sitä se lähes aina on.
Viikot 8 ja 12 välillä: seuraa indeksin kokoa site:-luvun sijaan. Ala lisätä sivuja yksinkertaistetulla kiinalla.
Sen jälkeen neljännesvuosittain: tarkista ryömintävirheet uudelleen, varmista ettei mikään uusi estä robottia, ja katso kasvaako vai kutistuuko kattavuus.

Jos annat tämän mieluummin meidän hoidettavaksemme

Suurin osa odotuksesta ei ole mikään mysteeri. Se on estetty hakurobotti, Pekingistä katsottuna hidas sivu tai sivusto, jolla ei ole kiinalaiselle lukijalle mitään annettavaa, ja nämä kaikki ovat korjattavissa.

Ilmoitus itsessään on se kohta, johon useimmat eurooppalaiset yritykset pysähtyvät, koska Baidu-tilin luominen edellyttää manner-Kiinan matkapuhelinnumeroa. Baidu-lisäyspalvelumme ottaa verkkotunnuksen, hoitaa koko ilmoituksen ja raportoi, mitä Baidu tosiasiassa indeksoi, kiinteään hintaan verkkotunnusta kohden. Et tarvitse kiinalaista puhelinnumeroa, kiinalaista yhtiötä etkä omaa Baidu-tiliä. Jos haluat myös tekniikan kuntoon ennen ilmoitusta, varaa puhelu, niin käydään se läpi.