Quanto tempo impiega Baidu a indicizzare, e cosa accelera davvero le cose

Hai registrato il dominio su Baidu. Dopo una settimana non è successo niente. Dopo due settimane nemmeno, e cominci a chiederti se la registrazione sia mai andata a buon fine.

È la domanda che ci arriva più spesso su Baidu, e quasi sempre la risposta è che non è ancora andato storto niente. Con un sito straniero appena registrato Baidu è lento, molto più lento di Google. La domanda utile non è quanto ci mette in media, ma quali delle cose che dipendono da te stanno aggiungendo settimane all'attesa.

Tre cose che vengono confuse tra loro

Prima di parlare di tempi, conviene separarle:

Scoperta: Baidu sa che l'URL esiste. È quello che fa la registrazione, ed è immediato.
Scansione: Baiduspider scarica davvero la pagina. Questo passaggio può fallire in silenzio per mesi.
Inclusione (收录): la pagina è nell'indice e può comparire nei risultati. È ciò che mostra una query site:.
Posizionamento: la pagina compete su una ricerca. Problema diverso, e soprattutto di contenuto.

Una pagina può essere scoperta il primo giorno, scansionata il nono e non essere inclusa mai. Inviare altre URL non risolve. Quasi tutti quelli che chiedono quanto ci mette Baidu sono in realtà bloccati tra scansione e inclusione.

I tempi realistici

Per un sito europeo tipico: ospitato in Europa, senza registrazione ICP, con contenuti in inglese o in una lingua europea, senza link da siti cinesi.

Prima visita di Baiduspider: da un giorno a tre settimane dopo la registrazione. Di solito solo la home, e spesso nient'altro per un po'.
Prima pagina visibile in una query site:: da una a sei settimane.
Copertura utile di un sito piccolo: da uno a tre mesi.
Copertura che regge e non si riduce alla rivalutazione successiva: da tre a sei mesi, e realisticamente solo se sul sito ci sono pagine in cinese semplificato.

Confrontalo con un sito ospitato nella Cina continentale, con registrazione ICP e contenuti in cinese: home nell'indice in pochi giorni, il resto in un paio di settimane. La distanza tra questi due elenchi è l'argomento del resto dell'articolo.

Baidu non pubblica alcun impegno sui tempi e non esiste un supporto a cui fare escalation. Quello che hai sono canali con portate diverse e un budget di scansione che cresce o si riduce a seconda di come si comporta il tuo server.

Prima cosa: verifica se sei indicizzato

Fallo prima di toccare qualsiasi cosa.

Vai su baidu.com e cerca site:tuodominio.com. Il numero di risultati è una stima e oscilla parecchio, quindi leggilo come un sì o un no, non come una misura. Se ottieni risultati sei indicizzato e la questione diventa la copertura. Se dopo sei settimane ottieni zero, qualcosa è rotto e aspettare ancora non lo sistemerà.

Altri due controlli che vale la pena fare:

Cerca il titolo esatto della home tra virgolette. Se il sito è indicizzato ma l'operatore site: si comporta in modo strano, spesso questo lo fa emergere.
In Baidu Webmaster Tools (百度搜索资源平台) guarda 索引量 (volume di indicizzazione) e 抓取频次 (frequenza di scansione). Quelli sono i numeri onesti. 抓取异常 (errori di scansione) ti dice se lo spider sta incontrando timeout, 403 o errori DNS, ed è lì che la maggior parte dei siti stranieri scopre il problema vero.

Se la frequenza di scansione è vicina a zero e gli errori no, hai un guasto tecnico, non un problema di pazienza.

I canali di invio, e quanto vale ciascuno

Baidu offre più modi per consegnargli una URL, e non sono equivalenti.

Sitemap

Serve solo alla scoperta, ed è la coda più lenta di tutte. Baidu tratta la sitemap come un elenco di suggerimenti da smaltire quando gli capita. Inviala, tienila corretta, non aspettarti che muova qualcosa questa settimana. Conta soprattutto sui siti grandi, quando serve che Baidu trovi le pagine profonde.

Invio manuale delle URL (普通收录)

Incolli le URL nel pannello. C'è un tetto giornaliero per sito. È un suggerimento, non un ordine. Utile per una manciata di pagine a cui tieni davvero, inutile come strategia.

Invio attivo via API (主动推送)

Il migliore dei canali ordinari. Il tuo server invia le URL nuove e modificate all'endpoint di Baidu nel momento in cui cambiano, azzerando la latenza di scoperta e, per quello che vediamo, accorciando in modo evidente l'attesa della prima scansione. La quota giornaliera cresce con quanto del sito è già indicizzato: all'inizio è un cane che si morde la coda, ma smette presto di esserlo. Se pubblichi con regolarità, collegalo alla build o al CMS e dimenticatene.

Invio automatico (自动推送)

Uno snippet JavaScript che avvisa Baidu quando qualcuno apre la pagina. Per fare qualcosa ha bisogno di visite reali dalla Cina, che è esattamente ciò che un sito straniero appena registrato non ha. In più aggiunge uno script di terze parti su ogni pagina, su un sito il cui punto debole è già il tempo di caricamento dalla Cina. Rimandalo a quando avrai traffico cinese.

Inclusione rapida (快速收录)

Questo è il canale a cui pensano tutti quando chiedono come farsi indicizzare in fretta, e la risposta onesta è scomoda.

快速收录 è un canale separato e contingentato: un numero fisso di URL al giorno, elaborate molto più in fretta di qualsiasi cosa passi dalla coda ordinaria. La quota la concede Baidu, sito per sito, in base alla sua valutazione della qualità del sito e dell'esperienza mobile. Negli anni il programma ha cambiato nome più volte, e la forma attuale è un'assegnazione per sito, non un interruttore da accendere.

Ne discendono tre cose. Non è in vendita. Non si ottiene chiedendola. E un sito straniero appena nato non ce l'ha, perché non esiste uno storico di scansioni da valutare. Se un giorno diventerà disponibile per il tuo dominio, sarà dopo mesi di scansioni pulite e di contenuti in cinese che Baidu tiene invece di scartare. Chi ti propone di venderti quota di inclusione rapida ti sta vendendo altro.

L'ordine pratico, quindi: invio attivo per la velocità, sitemap per la copertura, invio manuale per le poche pagine che contano davvero, e inclusione rapida solo se il sito se l'è guadagnata.

Perché ospitare fuori dalla Cina continentale è più lento

Baiduspider scansiona da intervalli IP della Cina continentale. Ogni richiesta al tuo server tedesco o irlandese attraversa il confine, e questo produce tre effetti che si sommano.

Latenza e perdita di pacchetti. Tempi di andata e ritorno tra 200 e 400 millisecondi sono normali, e nelle ore di punta la perdita di pacchetti su quel tratto è reale. Una pagina che da Francoforte carica in 800 millisecondi da Pechino può metterci cinque secondi o più.

Il budget di scansione si riduce. Baidu, come qualsiasi crawler, si allontana dagli host lenti o inaffidabili. Timeout e risposte 5xx abbassano la frequenza di scansione, quindi meno pagine per visita, quindi inclusione più lenta. È il meccanismo dietro quasi tutti i «Baidu ha smesso di scansionarci».

Le risorse bloccate lasciano la pagina appesa. Google Fonts, googleapis.com, Google Analytics, i video YouTube incorporati, reCAPTCHA, i widget di Facebook: dalla Cina non sono raggiungibili. Il browser aspetta ciascuno di essi finché non si arrende. Anche quello che Baidu manda in rendering sbatte contro lo stesso muro. Ospitare in proprio font e script è la correzione più economica a disposizione di un'azienda europea, e di solito è lavoro di un pomeriggio.

Senza una presenza in Cina continentale, ospitare il sito (o metterci davanti un frontend) a Hong Kong, Singapore o in Giappone accorcia parecchio il percorso. Non è come stare dentro, ma rispetto all'Europa è un salto grosso e non richiede alcuna società cinese.

Cosa cambia la registrazione ICP, e cosa no

Il ICP备案 (registrazione ICP) è l'iscrizione che ogni sito ospitato su server della Cina continentale deve avere presso il Ministero dell'Industria e della Tecnologia dell'Informazione. Il ICP许可证 (licenza ICP) è l'autorizzazione più pesante richiesta ai servizi commerciali online. Entrambi presuppongono una persona giuridica cinese, e la registrazione richiede anche un provider di hosting cinese: un'azienda straniera senza filiale né partner locale non può ottenere né l'una né l'altra.

Ecco il punto che viene raccontato male: Baidu non richiede la registrazione ICP per indicizzare il tuo sito. Un .com ospitato a Francoforte può essere indicizzato e lo è, e nessuna regola pubblicata tratta il numero di registrazione come fattore di posizionamento.

Quello che la registrazione sblocca davvero è l'hosting nella Cina continentale, ed è l'hosting a dare velocità e budget di scansione. Il vantaggio è reale, ma indiretto. Se non hai una società cinese, questo è un motivo per sistemare tutto il resto dell'elenco, non per rinunciare a essere indicizzato.

Velocità delle pagine, misurata dal posto giusto

Il numero che conta è come si comporta la tua pagina su una connessione mobile in Cina, non quello che dice la dashboard di monitoraggio europea. Baidu dice da anni, apertamente, che l'esperienza di pagina su mobile pesa su come tratta un sito, e l'obiettivo di lavoro per una landing è stare sotto i tre secondi al contenuto utile su una rete mobile cinese.

Cosa può fare oggi un team europeo:

Renderizza sul server. Baiduspider gestisce il JavaScript molto peggio di Googlebot. Se il testo esiste solo dopo l'idratazione, dai per scontato che Baidu non lo veda. Qui il rendering lato server o l'HTML statico non è opzionale.
Ospita in proprio font, icone e analytics. Ogni richiesta a un host bloccato è uno stallo.
Comprimi bene le immagini e metti header di cache lunghi sugli asset statici.
Un solo salto di redirect. Ogni anello della catena costa un altro viaggio oltre confine.
Una URL per pagina. Niente parametri di sessione, niente parametri di tracciamento nei link interni, una sola forma canonica del dominio.

E misura da lì, non da qui: diversi servizi di test cinesi scaricano la tua URL da una dozzina di città e ti danno i numeri veri.

Baiduspider ha davvero il permesso di entrare?

Apri tuodominio.com/robots.txt adesso. Abbiamo perso il conto dei siti che si sono registrati su Baidu, hanno aspettato due mesi e per tutto il tempo stavano bloccando il crawler.

Le cause più comuni:

Un robots.txt preso da un template che autorizza Googlebot e Bingbot per nome e poi chiude con User-agent: * e Disallow: /.
Un blocco esplicito User-agent: Baiduspider / Disallow: / messo lì anni fa perché Baiduspider scansionava troppo. È molto comune sui siti europei di vecchia data.
La protezione anti-bot del WAF o del CDN, che è la causa più frequente e quella che nessuno controlla, perché nel robots.txt non compare affatto. Le regole gestite presentano una challenge o rispondono 403 agli user agent che non riconoscono, e alcune configurazioni bloccano direttamente per geolocalizzazione gli intervalli IP cinesi. Per Baidu, il tuo sito restituisce un errore.
Un meta noindex o un header X-Robots-Tag rimasto dall'ambiente di staging.
Un rel="canonical" che punta a un altro dominio.

Baiduspider si identifica come Baiduspider, con varianti desktop e mobile, più Baiduspider-image, Baiduspider-video e Baiduspider-news. Quello autentico si risolve in DNS inverso sotto baidu.com o baidu.jp. Qualsiasi cosa dichiari di essere Baiduspider da un altro host è contraffatta, e bloccarla non ti costa nulla.

Un controllo veloce da terminale:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://tuodominio.com/

Quello che vuoi vedere è un 200. Un 403, un redirect a una pagina di challenge o un CAPTCHA significano che il crawler viene respinto. Quel test però non copre il blocco geografico: chiedi anche a chi gestisce il tuo CDN cosa fanno le regole con il traffico dalla Cina continentale.

Perché alcune pagine vengono indicizzate e poi spariscono

Il volume di indicizzazione scende come sale, e un calo non è un bug. Baidu rivaluta e scarta senza dire nulla le pagine che decide non valga la pena tenere: pagine solo in inglese senza pubblico cinese, pagine povere, quasi duplicati tra versioni linguistiche, testi tradotti automaticamente.

È qui che sta il vero soffitto di un sito straniero. Tutta la parte tecnica di questo articolo ti compra velocità di scansione. A decidere se l'inclusione regge è la presenza di contenuti in cinese semplificato che un lettore cinese abbia davvero voglia di leggere. La traduzione automatica non supera quell'asticella, e Baidu la riconosce molto meglio di qualche anno fa.

Cosa dipende da te e cosa no

Dipende da te: il robots.txt, le regole di WAF e CDN, le risorse di terze parti, il rendering lato server, il tempo di caricamento dalla Cina, dove ospiti il sito, la correttezza della sitemap, l'invio attivo, una URL canonica per pagina e l'esistenza stessa di contenuti in cinese.

Non dipende da te: il calendario di scansione di Baidu, la velocità della coda, la concessione o meno di una quota di inclusione rapida, o il livello a cui si assesta il volume di indicizzazione. Niente di tutto questo si compra, e non c'è ticket di supporto che lo cambi.

Un calendario senza illusioni

Settimana 0: registri il sito, verifichi il dominio, invii la sitemap, colleghi l'invio attivo e, prima di ogni altra cosa, controlli robots.txt e regole del CDN.
Settimana 1: guardi frequenza di scansione ed errori di scansione. Sistemi quello che segnala il rapporto errori. Il contenuto non lo tocchi ancora.
Settimane 2 e 3: prima verifica con site:. Vedere solo la home è normale.
Settimana 6: se site: non restituisce ancora niente e il log di scansione non mostra download riusciti, smetti di aspettare e trattalo come un guasto tecnico. Quasi sempre lo è.
Settimane da 8 a 12: segui il volume di indicizzazione invece del conteggio del site:. Inizia ad aggiungere pagine in cinese semplificato.
Ogni trimestre da lì in poi: ricontrolla gli errori di scansione, verifica che nulla di nuovo stia bloccando lo spider e guarda se la copertura cresce o si riduce.

Se preferisci delegare

Buona parte dell'attesa non ha niente di misterioso. È un crawler bloccato, una pagina lenta vista da Pechino, o un sito che non offre nulla a un lettore cinese, e sono tutte cose che si sistemano.

È la registrazione in sé a fermare la maggior parte delle aziende europee, perché aprire un account Baidu richiede un numero di cellulare della Cina continentale. Il nostro servizio di registrazione su Baidu prende il dominio, gestisce l'intera registrazione e ti riferisce cosa ha indicizzato davvero Baidu, a un prezzo fisso per dominio. Non ti servono un numero di telefono cinese, una società cinese o un account Baidu tuo. Se vuoi sistemare anche la parte tecnica prima di registrare il sito, prenota una call e definiamo il resto.