Baiduのインデックス登録にかかる期間と、実際に速くなる方法

ドメインをBaiduに登録しました。1週間待っても何も起きません。2週間経っても変化はなく、そもそも登録が受理されたのかどうかすら怪しく思えてきます。

Baiduについて最も多くいただくご質問がこれです。そして答えは、たいてい「まだ何も問題は起きていません」というものです。Baiduは海外の新規サイトに対して動きが遅く、Googleとは比較にならないほど遅い。平均で何日かかるかを知っても意味はありません。本当に問うべきは、自分でコントロールできる要素のうち、どれが待ち時間を数週間単位で伸ばしているのか、です。

互いに混同されやすい段階

どんなスケジュール感も、まずここを分けないと意味を持ちません。

• 発見（Discovery）：BaiduがそのURLの存在を知っている状態です。登録がこれにあたり、処理は即座です。
• クロール：Baiduspiderが実際にページを取得します。ここは何か月も静かに失敗し続けることがあります。
• 収録（收录）：ページが索引に入り、検索結果として返せる状態です。site: 検索で見えるのはこれです。
• 順位：ページが特定のクエリで競う段階。これは別の問題で、ほとんどはコンテンツの問題です。

初日に発見され、9日目にクロールされ、それでも収録されない。そういうことは普通に起きます。URLを追加で送っても解決しません。「Baiduはどれくらいかかるのか」と尋ねる方の多くは、実際にはクロールと収録のあいだで止まっています。

現実的なスケジュール感

典型的な欧州のサイト、つまり欧州でホスティングされ、ICP备案がなく、コンテンツが英語または欧州言語で、中国サイトからのリンクがない場合です。

• Baiduspiderの初回訪問：登録から1日から3週間。多くはトップページのみで、しばらく他のページには来ないこともよくあります。
• site: 検索に最初のページが出るまで：1週間から6週間。
• 小規模サイトで実用的なカバレッジになるまで：1か月から3か月。
• カバレッジが定着し、次の再評価で縮まなくなるまで：3か月から6か月。現実的には、サイトに簡体字中国語のページがあることが前提です。

中国本土でホスティングされ、ICP备案があり、中国語コンテンツを持つサイトと比べてみてください。そちらはトップページが数日で索引に入り、残りも2週間ほどで入ります。この2本の線の差が、この記事で扱う内容のすべてです。

Baiduはこれについて一切のサービスレベルを公表していませんし、エスカレーションできるサポート窓口もありません。あるのは、スループットの異なる複数の投入経路と、サーバーの挙動次第で増えたり減ったりするクロール予算だけです。

まず、そもそも収録されているのかを確認する

何かを変える前に、これを確認してください。

baidu.comで site:yourdomain.com と検索します。表示される件数は推定値で上下しますので、数値としてではなく「あるか、ないか」として読んでください。結果が出るなら収録済みで、問題はカバレッジに移ります。6週間経ってもゼロなら、どこかが壊れています。待っても直りません。

あわせて確認したいことが2つあります。

• トップページのタイトルを引用符で囲んで完全一致で検索する。サイトは収録されているのに site: の挙動がおかしいだけ、というケースはこれで見つかることが多いです。
• 百度搜索资源平台（Baidu Webmaster Tools）で 索引量（インデックス数）と 抓取频次（クロール頻度）を見る。正直な数字はこちらです。抓取异常（クロールエラー）を見れば、スパイダーがタイムアウトや403、DNSの失敗に遭っているかが分かります。海外サイトが本当の原因にたどり着くのは、たいていここです。

クロール頻度がほぼゼロで、クロールエラーがゼロでないなら、それは技術的な障害であって、辛抱の問題ではありません。

投入経路と、それぞれの実際の価値

BaiduにURLを渡す方法はいくつかありますが、価値は同じではありません。

サイトマップ

発見のみ、しかも最も遅い列です。Baiduはサイトマップを、手が空いたときに処理する候補リスト程度に扱います。出しておく、内容を正確に保つ。ただし今週何かが動くとは期待しない。効いてくるのは、深い階層のページをそもそも見つけてもらう必要がある大規模サイトです。

手動URL送信（普通收录）

ダッシュボードにURLを貼り付けます。サイトごとに1日あたりの上限があります。命令ではなく、あくまでヒントです。本当に大事な数ページには使えますが、戦略にはなりません。

API経由の主动推送（アクティブプッシュ）

通常の経路のなかでは最良です。ページが増えたり更新されたりした瞬間に、サーバーからBaiduのエンドポイントへURLを送ります。発見までの遅延がゼロになり、当社の経験では初回クロールまでの待ち時間も目に見えて短くなります。1日あたりの割り当ては、サイトのうちどれだけが既に収録されているかに応じて増えます。始めたばかりの頃は鶏と卵ですが、その状態は長くは続きません。定期的に更新するなら、ビルドやCMSに組み込んで、あとは忘れてしまうのが正解です。

自动推送（自動プッシュ）

ページが閲覧されたときにBaiduへ通知するJavaScriptのスニペットです。効果を出すには中国からの実際の訪問者が必要で、登録したばかりの海外サイトにそれはありません。しかも全ページにサードパーティのスクリプトが1本増えます。中国国内からの読み込み速度が、ただでさえ弱点であるサイトで、です。中国からのトラフィックが付くまでは見送ってください。

快速收录（高速収録）

早くインデックスさせる方法はないか、と聞かれるときに念頭にあるのはこの経路です。正直な答えは、あまり気持ちのいいものではありません。

快速收录は、割り当て制の独立した経路です。1日に送れるURL数が決まっていて、この経路で送られたURLは通常の列よりはるかに速く処理されます。割り当てはBaiduがサイトごとに付与するもので、判断材料はサイトの品質とモバイル体験に対するBaidu自身の評価です。名称はこれまで何度か変わってきましたが、現在の形は、オンにする機能ではなくサイトごとの枠です。

ここから3つのことが言えます。売り物ではありません。申請すれば貰えるものでもありません。そして、立ち上げたばかりの海外ホスティングのサイトには付いていません。Baiduが判断する材料となるクロール履歴が存在しないからです。仮にそのドメインで使えるようになるとしても、それは何か月ものクリーンなクロールと、Baiduが落とさずに保持し続ける中国語コンテンツが積み上がった後の話です。快速收录の枠を売りますという相手は、あなたが思っているものとは別の何かを売っています。

実務上の優先順位はこうなります。速さのための主动推送、カバレッジのためのサイトマップ、特に重要な数ページのための手動送信。快速收录は、サイトがそれに値するようになってからです。

中国本土の外でホスティングすると遅くなる理由

Baiduspiderは中国本土のIPレンジからクロールします。ドイツやアイルランドのサーバーへのリクエストは毎回国境を越えることになり、それが3つの形で重なります。

レイテンシとパケットロス。 往復200から400ミリ秒は普通で、ピーク時にはこの経路で実際にパケットロスが起きます。フランクフルトから800ミリ秒で開くページが、北京からは5秒以上かかることもあります。

クロール予算が縮む。 Baiduも他のクローラーと同じで、遅いホストや不安定なホストからは手を引きます。タイムアウトや5xxはクロール頻度を下げ、1回の訪問で取得されるページが減り、収録が遅くなります。「Baiduが急にクロールしなくなった」という報告のほとんどは、この仕組みで説明がつきます。

ブロックされたリソースがページを止める。 Google Fonts、googleapis.com、Google Analytics、YouTubeの埋め込み、reCAPTCHA、Facebookのウィジェット。いずれも中国国内からは到達できません。ブラウザは諦めるまで一つひとつ待ちます。Baiduがレンダリングを伴って取得する場合も、同じ壁に当たります。フォントとスクリプトを自社で配信することは、欧州企業にとって最も安上がりな対策で、たいてい半日で終わります。

本土に拠点を持たないのであれば、香港、シンガポール、日本からサイトを配信する、あるいは前段に置くだけで往復時間はかなり短くなります。中国国内と同じにはなりませんが、欧州から配信するよりは大きく改善しますし、中国法人も要りません。

ICP备案で変わること、変わらないこと

ICP备案は、中国本土のサーバーでホスティングするサイトが工業情報化部に対して行う届出です。ICP许可证は、商用のオンラインサービスに求められる、より重い許可にあたります。どちらも中国本土の法人が必要で、备案には本土のホスティング事業者も必要です。中国に子会社も現地パートナーも持たない海外企業には、どちらも取得できません。

誤って伝えられがちなのはここです。Baiduはサイトを収録するのにICP备案を求めていません。フランクフルトでホスティングされた .com も収録され得ますし、実際に収録されています。备案番号をランキング要因として扱うという公開ルールもありません。

备案が実際に開くのは中国本土でのホスティングであり、速度とクロール予算をもたらすのは、その本土ホスティングのほうです。利点は本物ですが、間接的です。中国法人がないのであれば、それはこのリストの他をすべて直す理由であって、収録を諦める理由にはなりません。

ページ速度は、正しい場所から測る

意味があるのは、中国国内のモバイル回線でページがどう動くかという数字であって、欧州の監視ダッシュボードが表示する数字ではありません。モバイルでのページ体験がサイトの扱いに反映されることを、Baiduは何年も前から明言しています。ランディングページの実務上の目標は、本土のモバイル回線で意味のあるコンテンツが3秒以内に出ることです。

欧州のチームが今日から手を付けられること。

• サーバーサイドでレンダリングする。 BaiduspiderのJavaScript処理は、Googlebotよりはるかに当てになりません。ハイドレーション後にしかテキストが存在しないなら、Baiduには見えていないと考えてください。SSRか静的HTMLは、ここでは選択肢ではなく前提です。
• フォント、アイコン、解析タグを自社で配信する。 ブロックされたホストへのリクエストは、そのぶん停止時間になります。
• 画像をきちんと圧縮し、静的アセットには長めのキャッシュヘッダーを設定する。
• リダイレクトは1回まで。 連鎖するたびに、国境を越える往復が1回増えます。
• 1ページに1つのURLで配信する。 セッションパラメータなし、内部リンクに計測パラメータなし、ドメインの正規形はひとつ。

測るのも向こう側からです。中国本土のテストサービスを使えば、十数都市からURLを取得して実測値を返してくれます。

そもそもBaiduspiderは入れているのか

今すぐ yourdomain.com/robots.txt を開いてください。Baiduに登録して2か月待ち、その間ずっとクローラーをブロックしていたサイトを、私たちは数え切れないほど見てきました。

よくある原因はこのあたりです。

• GooglebotとBingbotを許可しておきながら、最後が User-agent: * と Disallow: / で終わっているテンプレート由来のrobots.txt。
• 何年も前に誰かが追加した User-agent: Baiduspider と Disallow: / のブロック。当時Baiduspiderのクロールが激しかったから、という理由です。古い欧州のサイトでは非常によくあります。
• WAFやCDNのボット対策。 最も多い原因で、しかも誰も見ないところです。robots.txtには一切現れませんから。マネージドのボットルールは見慣れないユーザーエージェントにチャレンジを出したり403を返したりしますし、設定によっては中国本土のIPレンジをまるごとジオブロックしています。Baiduから見れば、あなたのサイトはエラーを返している状態です。
• ステージング環境から残った noindex メタタグや X-Robots-Tag ヘッダー。
• 別のドメインを指したままの rel="canonical"。

Baiduspiderは Baiduspider と名乗り、デスクトップ版とモバイル版のほか、Baiduspider-image、Baiduspider-video、Baiduspider-news があります。本物は逆引きすると baidu.com または baidu.jp の配下に解決されます。それ以外のホストからBaiduspiderを名乗るものは偽装ですので、ブロックしても失うものはありません。

ターミナルですぐ試せる確認方法があります。

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://yourdomain.com/

返ってくるのが200なら問題ありません。403、チャレンジページへのリダイレクト、CAPTCHAが出るなら、クローラーは追い返されています。ただしこのテストではジオブロックまでは分かりませんので、CDNの運用担当にも、中国本土からのトラフィックをルールがどう扱っているか確認してください。

収録されたページが消える理由

索引量は増えるだけでなく減ります。減ること自体は不具合ではありません。Baiduは再評価を行い、保持する価値がないと判断したページを黙って落とします。中国の読者がいない英語だけのページ、内容の薄いページ、言語版どうしでほぼ重複しているページ、自動翻訳のテキスト。

海外サイトの本当の天井はここにあります。この記事の技術的な対策は、どれもクロールの速さを買うものです。収録が定着するかどうかを決めるのは、中国の読者が実際に読みたいと思う簡体字中国語のコンテンツがサイトにあるかどうかです。機械翻訳ではその水準に届きませんし、Baiduはそれを見抜くのが以前よりはっきり上手くなっています。

コントロールできること、できないこと

コントロールできるもの：robots.txt、WAFとCDNのルール、サードパーティのリソース、サーバーサイドレンダリング、中国からの読み込み時間、ホスティングの場所、サイトマップの正確さ、主动推送、1ページに1つの正規URL、そして中国語コンテンツがそもそも存在するかどうか。

コントロールできないもの：Baiduのクロールスケジュール、列が進む速さ、快速收录の枠がいつか付与されるかどうか、索引量がどこで落ち着くか。どれも金で買えるものではありませんし、状況を変えてくれるサポートチケットも存在しません。

願望ではないスケジュール

• 0週目：登録し、ドメインを認証し、サイトマップを送信し、主动推送を組み込む。その前にrobots.txtとCDNのルールを確認する。
• 1週目：抓取频次と抓取异常を見る。エラーレポートに出たものを直す。コンテンツにはまだ手を付けない。
• 2週目から3週目：最初の site: チェック。トップページだけでも普通ですし、それで構いません。
• 6週目：site: がまだ何も返さず、クロールログにも成功した取得が1件もないなら、待つのをやめて技術的な障害として扱ってください。ほぼ間違いなくそれです。
• 8週目から12週目：site: の件数ではなく索引量を追う。簡体字中国語のページを足し始める。
• 以後は四半期ごと：抓取异常を再確認し、新しく何かがスパイダーを止めていないか確認し、カバレッジが伸びているか縮んでいるかを見る。

自分で対応するより任せたい場合は

待ち時間の大半は謎ではありません。クローラーがブロックされているか、北京から見てページが遅いか、中国の読者が読みたいものがサイトにないか。どれも直せます。

多くの欧州企業がつまずくのは登録そのものです。Baiduアカウントの作成には中国本土の携帯電話番号が必要だからです。当社のBaiduサイト登録代行では、ドメインをお預かりして登録の全工程を代行し、Baiduが実際に何を取り込んだかをご報告します。1ドメインあたり定額です。中国の電話番号も、中国法人も、御社名義のBaiduアカウントも必要ありません。登録の前に技術面も直しておきたい場合は、お打ち合わせをご予約ください。範囲を整理いたします。