كم تستغرق فهرسة Baidu، وما الذي يسرّعها فعلًا

قدّمت نطاقك إلى Baidu. مرّ أسبوع ولا شيء. مرّ أسبوعان والوضع كما هو، وبدأت تتساءل إن كان الطلب قد وصل أصلًا.

هذا أكثر سؤال يصلنا عن Baidu، والإجابة في الغالب أن شيئًا لم يفشل بعد. Baidu بطيء مع أي موقع أجنبي جديد، وأبطأ من Google بفارق واسع. السؤال المفيد ليس كم يبلغ متوسط الانتظار، بل أيّ الأمور التي بيدك يضيف أسابيع إليه.

ثلاثة أمور يختلط بعضها ببعض

قبل أن يكون لأي جدول زمني معنى، افصل بينها:

الاكتشاف: أن يعرف Baidu أن الرابط موجود. هذا ما يفعله التقديم، وهو فوري.
الزحف: أن يجلب Baiduspider الصفحة فعليًا. قد يفشل هذا بصمت لشهور.
الإدراج في الفهرس (收录): أن تصبح الصفحة داخل الفهرس وقابلة للظهور في النتائج. وهذا ما يكشفه بحث site:.
الترتيب: أن تنافس الصفحة على كلمة بحث. مشكلة أخرى، وهي في الغالب مشكلة محتوى.

قد تُكتشف صفحة في اليوم الأول، ويُزحف إليها في اليوم التاسع، ولا تُدرج أبدًا. وتقديم مزيد من الروابط لا يعالج ذلك. معظم من يسأل عن المدة التي يستغرقها Baidu عالق في الحقيقة بين الزحف والإدراج.

الجدول الزمني الواقعي

لموقع أوروبي نموذجي: مستضاف في أوروبا، بلا ICP备案، محتواه بالإنجليزية أو بلغة أوروبية، وبلا روابط من مواقع صينية.

أول زيارة من Baiduspider: من يوم واحد إلى ثلاثة أسابيع بعد التقديم. عادةً الصفحة الرئيسية وحدها، ثم لا شيء غيرها لفترة.
ظهور أول صفحة في بحث site:: من أسبوع إلى ستة أسابيع.
تغطية مفيدة لموقع صغير: من شهر إلى ثلاثة أشهر.
تغطية تصمد ولا تتقلص عند إعادة التقييم التالية: من ثلاثة إلى ستة أشهر، وواقعيًا لن يحدث ذلك إلا بوجود صفحات بالصينية المبسطة على الموقع.

قارن ذلك بموقع مستضاف في البر الرئيسي ولديه ICP备案 ومحتوى صيني: الصفحة الرئيسية داخل الفهرس خلال أيام، وبقية الصفحات خلال أسبوعين تقريبًا. الفارق بين هذين المسارين هو موضوع بقية هذا المقال.

لا ينشر Baidu أي التزام زمني بشأن ذلك، ولا توجد جهة دعم تصعّد إليها الأمر. ما لديك مجموعة قنوات بسرعات مختلفة، وميزانية زحف تكبر أو تصغر بحسب سلوك خادمك.

تحقق أولًا مما إذا كنت مفهرسًا أصلًا

افعل ذلك قبل أن تغيّر أي شيء.

ادخل إلى baidu.com وابحث عن site:yourdomain.com. عدد النتائج تقدير يتغير باستمرار، فاقرأه بوصفه نعم أو لا، لا بوصفه قياسًا. إن ظهرت نتائج فأنت مفهرس، ويصبح السؤال عن مدى التغطية. وإن كانت النتيجة صفرًا بعد ستة أسابيع، فهناك عطل، والانتظار الأطول لن يصلحه.

وهناك فحصان آخران يستحقان العناء:

ابحث عن عنوان صفحتك الرئيسية حرفيًا بين علامتي اقتباس. فإذا كان الموقع مفهرسًا لكن معامل site: يتصرف بغرابة، كشف هذا الفحص ذلك في الغالب.
في Baidu Webmaster Tools (百度搜索资源平台) راجع مؤشري 索引量 (حجم الفهرسة) و 抓取频次 (تكرار الزحف). هذه هي الأرقام الصادقة. أما 抓取异常 (أخطاء الزحف) فيخبرك إن كان العنكبوت يصطدم بمهلات منتهية أو أخطاء 403 أو أعطال DNS، وهنا تحديدًا تجد معظم المواقع الأجنبية مشكلتها الحقيقية.

إذا كان تكرار الزحف قريبًا من الصفر وأخطاء الزحف ليست كذلك، فلديك عطل تقني لا مسألة صبر.

قنوات التقديم، وقيمة كل واحدة منها فعليًا

يتيح Baidu عدة طرق لتسليمه رابطًا، وهي ليست متكافئة.

خريطة الموقع

اكتشاف فقط، وهي أبطأ الطوابير جميعًا. يتعامل Baidu مع خريطة الموقع كقائمة اقتراحات يعالجها حين يتفرغ لها. قدّمها وحافظ على دقتها، لكن لا تنتظر منها أثرًا هذا الأسبوع. أهميتها الكبرى للمواقع الكبيرة التي يحتاج Baidu فيها إلى العثور على الصفحات العميقة أصلًا.

التقديم اليدوي للروابط (普通收录)

تلصق الروابط في لوحة التحكم. العدد محدود يوميًا ولكل موقع. إنه تلميح لا أمر. مفيد لعدد قليل من الصفحات التي تهمك حقًا، وعديم الجدوى كاستراتيجية.

الدفع النشط عبر API (主动推送)

أفضل القنوات الاعتيادية. يرسل خادمك الروابط الجديدة والمحدَّثة إلى نقطة نهاية Baidu لحظة تغيّرها، فينزل زمن الاكتشاف إلى الصفر، ويقصر بحسب تجربتنا زمن الانتظار حتى أول زحف بشكل ملحوظ. والحصة اليومية تكبر بمقدار ما هو مفهرس من موقعك أصلًا، وهي مشكلة بيضة ودجاجة في البداية لكنها تزول سريعًا. إذا كنت تنشر بانتظام، فاربط هذه القناة ببيئة البناء أو نظام إدارة المحتوى وانسَ أمرها.

الدفع التلقائي (自动推送)

مقتطف JavaScript يُنبّه Baidu عند عرض الصفحة. يحتاج إلى زوار حقيقيين من الصين كي يفعل شيئًا، وهو ما لا يملكه موقع أجنبي قُدّم للتو. كما أنه يضيف سكربتًا خارجيًا إلى كل صفحة، في موقع يمثل زمن تحميله من داخل الصين نقطة ضعفه أصلًا. تجاهله إلى أن يصلك زوار صينيون.

الإدراج السريع (快速收录)

هذه هي القناة التي يقصدها الجميع حين يسألون عن الفهرسة السريعة، والإجابة الصادقة غير مريحة.

快速收录 قناة منفصلة بحصة محدودة: عدد ثابت من الروابط يوميًا، وما يُدفع عبرها يُعالَج أسرع بكثير من أي شيء في الطابور العادي. والحصة يمنحها Baidu نفسه لكل موقع، بناءً على تقييمه هو لجودة الموقع وتجربته على الهاتف. وقد تغيّر اسم البرنامج أكثر من مرة على مر السنين، وصورته الحالية حصة تُمنح للموقع لا خيار تشغّله بنفسك.

يترتب على ذلك ثلاثة أمور: لا تُباع، ولا تُمنح عند الطلب، ولا يملكها موقع أجنبي حديث لأنه لا يوجد سجل زحف يحكم Baidu من خلاله. وإن أتيحت لنطاقك يومًا، فسيكون ذلك بعد شهور من الزحف النظيف ومحتوى بالصينية يحتفظ به Baidu بدل أن يسقطه. ومن يعرض عليك بيع حصة إدراج سريع فهو يبيعك شيئًا غير الذي تظنه.

الترتيب العملي إذن: الدفع النشط للسرعة، وخريطة الموقع للتغطية، والتقديم اليدوي للصفحات القليلة الأهم، والإدراج السريع فقط إن كان موقعك قد استحقه.

لماذا تكون الاستضافة خارج البر الرئيسي الصيني أبطأ

يزحف Baiduspider من نطاقات عناوين IP داخل البر الرئيسي. وكل طلب إلى خادمك في ألمانيا أو أيرلندا يعبر الحدود، ولذلك ثلاثة آثار يعزز بعضها بعضًا.

زمن الاستجابة وفقد الحزم. رحلات ذهاب وعودة تتراوح بين 200 و400 ميلي ثانية أمر معتاد، وفي ساعات الذروة يكون فقد الحزم على هذا المسار حقيقيًا. صفحة تُحمَّل في 800 ميلي ثانية من فرانكفورت قد تستغرق خمس ثوانٍ أو أكثر من بكين.

ميزانية الزحف تتقلص. Baidu، مثل أي زاحف، يبتعد عن الخوادم البطيئة أو غير المستقرة. المهلات المنتهية واستجابات 5xx تخفض تكرار الزحف، فتُجلب صفحات أقل في كل زيارة، فيتأخر الإدراج. وهذه هي الآلية وراء معظم الشكاوى من نوع «Baidu توقف فجأة عن الزحف إلينا».

الموارد المحجوبة تعلّق الصفحة. Google Fonts وgoogleapis.com وGoogle Analytics ومقاطع YouTube المضمّنة وreCAPTCHA وأدوات Facebook: كلها غير متاحة من داخل الصين. والمتصفح ينتظر كل واحد منها حتى ييأس. وكل ما يجلبه Baidu مع التصيير يصطدم بالجدار نفسه. استضافة الخطوط والسكربتات ذاتيًا هي أرخص إصلاح متاح لشركة أوروبية، ولا يستغرق عادةً أكثر من بعد ظهر واحد.

ودون حضور في البر الرئيسي، فإن الاستضافة من هونغ كونغ أو سنغافورة أو اليابان (أو وضع الموقع خلف واجهة هناك) تقلص زمن الرحلة بشكل ملموس. ليست كالوجود في الداخل، لكنها تحسّن كبير مقارنة بأوروبا، ولا تتطلب كيانًا صينيًا.

ما الذي يغيّره ICP备案 وما الذي لا يغيّره

ICP备案 (تسجيل ICP) هو القيد الذي يجب أن يكون لكل موقع مستضاف على خوادم البر الرئيسي لدى وزارة الصناعة وتكنولوجيا المعلومات. أما ICP许可证 (رخصة ICP) فهي الإذن الأثقل المطلوب للخدمات التجارية عبر الإنترنت. وكلاهما يحتاج إلى كيان قانوني صيني، والتسجيل يحتاج أيضًا إلى مزود استضافة في البر الرئيسي، ولذلك لا تستطيع شركة أجنبية بلا فرع صيني وبلا شريك محلي الحصول على أي منهما.

وهنا الجزء الذي يُنقل خطأً: Baidu لا يشترط تسجيل ICP لفهرسة موقعك. نطاق .com مستضاف في فرانكفورت يمكن أن يُفهرس، وهو يُفهرس فعلًا، ولا توجد قاعدة منشورة تجعل رقم التسجيل عاملًا في الترتيب.

ما يفتحه التسجيل حقًا هو الاستضافة داخل البر الرئيسي، وهذه الاستضافة هي ما يمنحك السرعة وميزانية الزحف. الميزة حقيقية لكنها غير مباشرة. وإن لم يكن لديك كيان صيني، فهذا سبب لإصلاح كل ما تبقى في هذه القائمة، لا سبب للتخلي عن الفهرسة.

سرعة الصفحة، مقيسة من المكان الصحيح

الرقم الذي يهم هو أداء صفحتك على اتصال هاتف محمول داخل الصين، لا ما تقوله لوحة المراقبة الأوروبية. يقول Baidu صراحةً منذ سنوات إن تجربة الصفحة على الهاتف تدخل في تقييمه للموقع، والهدف العملي لصفحة هبوط أقل من ثلاث ثوانٍ حتى ظهور المحتوى الأساسي على شبكة محمول في البر الرئيسي.

ما يمكن لفريق أوروبي فعله اليوم:

صيّر على الخادم. يتعامل Baiduspider مع JavaScript بموثوقية أقل بكثير من Googlebot. وإن كان نصك لا يوجد إلا بعد الترطيب (hydration)، فافترض أن Baidu لا يراه. التصيير من جانب الخادم أو HTML الثابت ليس اختياريًا هنا.
استضف الخطوط والأيقونات وأدوات التحليل ذاتيًا. كل طلب إلى مضيف محجوب توقف إضافي.
اضغط الصور كما ينبغي واضبط ترويسات تخزين مؤقت طويلة للملفات الثابتة.
اجعل إعادة التوجيه قفزة واحدة. كل حلقة في السلسلة تكلفك رحلة إضافية عبر الحدود.
قدّم رابطًا واحدًا لكل صفحة. بلا معاملات جلسة، وبلا معاملات تتبع في الروابط الداخلية، وبصيغة واحدة معتمدة للنطاق.

وقِس ذلك من هناك لا من هنا: عدة خدمات اختبار في البر الرئيسي تجلب رابطك من عشرات المدن الصينية وتعطيك أرقامًا حقيقية.

هل يُسمح لـ Baiduspider بالدخول أصلًا؟

افتح yourdomain.com/robots.txt الآن. لقد فقدنا عدّ المواقع التي قدّمت نفسها إلى Baidu وانتظرت شهرين وهي تحجب الزاحف طوال الوقت.

الأسباب المعتادة:

ملف robots.txt مأخوذ من قالب يسمح لـ Googlebot وBingbot ثم ينتهي بـ User-agent: * وDisallow: /.
حجب صريح بصيغة User-agent: Baiduspider / Disallow: / أضافه أحدهم قبل سنوات لأن Baiduspider كان يزحف بشراهة. وهذا شائع جدًا في المواقع الأوروبية القديمة.
حماية البوتات في جدار حماية التطبيقات أو شبكة توصيل المحتوى، وهي السبب الأكثر تكرارًا والذي لا يفحصه أحد، لأنه لا يظهر في robots.txt إطلاقًا. قواعد البوتات المُدارة تتحدى وكلاء المستخدم غير المألوفين أو ترد عليهم بـ 403، وبعض الإعدادات تحجب نطاقات IP الصينية بالكامل. أما بالنسبة إلى Baidu فموقعك يرد بخطأ.
وسم noindex أو ترويسة X-Robots-Tag بقيت من بيئة الاختبار.
وسم rel="canonical" يشير إلى نطاق آخر.

يعرّف Baiduspider نفسه باسم Baiduspider بنسختين لسطح المكتب والهاتف، إضافة إلى Baiduspider-image وBaiduspider-video وBaiduspider-news. والزاحف الحقيقي يُحَل عكسيًا عبر DNS تحت baidu.com أو baidu.jp. وأي شيء يدّعي أنه Baiduspider من مضيف آخر فهو منتحل، وحجبه لا يكلفك شيئًا.

فحص سريع يمكنك تشغيله في الطرفية:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://yourdomain.com/

الرد 200 هو المطلوب. أما 403 أو إعادة توجيه إلى صفحة تحقق أو CAPTCHA فيعني أن الزاحف يُطرد. لكن هذا الاختبار لا يغطي الحجب الجغرافي، لذا اسأل أيضًا من يدير شبكة توصيل المحتوى لديك عن سلوك القواعد مع الزيارات القادمة من البر الرئيسي الصيني.

لماذا تُفهرس الصفحات ثم تختفي

حجم الفهرسة ينزل كما يصعد، والانخفاض ليس خللًا. يعيد Baidu التقييم ويسقط بهدوء الصفحات التي يرى أنها لا تستحق البقاء: صفحات بالإنجليزية وحدها بلا جمهور صيني، وصفحات هزيلة، وصفحات شبه مكررة بين نسخ اللغات، ونصوص مترجمة آليًا.

هنا يقع السقف الحقيقي لأي موقع أجنبي. كل إصلاح تقني في هذا المقال يشتري لك سرعة زحف. أما ما يقرر بقاء الإدراج فهو وجود محتوى بالصينية المبسطة يرغب قارئ صيني في قراءته فعلًا. الترجمة الآلية لا تبلغ هذا المستوى، وBaidu صار أقدر على كشفها مما كان.

ما تتحكم فيه وما لا تتحكم فيه

تتحكم في: robots.txt، وقواعد جدار حماية التطبيقات وشبكة توصيل المحتوى، والموارد الخارجية، والتصيير من جانب الخادم، وزمن التحميل من الصين، ومكان الاستضافة، ودقة خريطة الموقع، والدفع النشط، ورابط واحد معتمد لكل صفحة، ووجود محتوى صيني من عدمه.

ولا تتحكم في: جدول زحف Baidu، ولا سرعة تقدم الطابور، ولا منح حصة الإدراج السريع يومًا، ولا الحد الذي يستقر عنده حجم الفهرسة. لا شيء من ذلك يُشترى، ولا توجد تذكرة دعم تغيّره.

جدول زمني لا يقوم على التمني

الأسبوع صفر: قدّم الموقع، وتحقق من ملكية النطاق، وأرسل خريطة الموقع، واربط الدفع النشط، وافحص robots.txt وقواعد شبكة توصيل المحتوى قبل أي شيء آخر.
الأسبوع الأول: راجع تكرار الزحف وأخطاء الزحف. أصلح ما يظهره تقرير الأخطاء. ولا تقترب من المحتوى بعد.
الأسبوعان الثاني والثالث: أول فحص بـ site:. ظهور الصفحة الرئيسية وحدها أمر طبيعي ولا بأس به.
الأسبوع السادس: إن كان site: ما زال لا يعيد شيئًا وسجل الزحف لا يظهر أي جلب ناجح، فتوقف عن الانتظار وتعامل مع الأمر كعطل تقني. فهو كذلك في الغالب الأعم.
الأسبوع الثامن إلى الثاني عشر: تابع حجم الفهرسة بدل عدد نتائج site:. وابدأ بإضافة صفحات بالصينية المبسطة.
كل ربع سنة بعد ذلك: أعد فحص أخطاء الزحف، وتأكد أن شيئًا جديدًا لا يحجب العنكبوت، وانظر هل تنمو التغطية أم تتقلص.

إن كنت تفضّل أن نتولى نحن الأمر

معظم الانتظار ليس لغزًا. هو زاحف محجوب، أو صفحة بطيئة من بكين، أو موقع لا يحمل شيئًا يرغب فيه قارئ صيني، وكل ذلك قابل للإصلاح.

التقديم نفسه هو ما يوقف معظم الشركات الأوروبية، لأن إنشاء حساب Baidu يتطلب رقم هاتف محمول من البر الرئيسي الصيني. خدمة التسجيل في بايدو تأخذ نطاقك وتنفّذ عملية التسجيل كاملة، ثم توافيك بما فهرسه بايدو فعليًا، بسعر ثابت لكل نطاق. لا تحتاج إلى رقم هاتف صيني، ولا إلى كيان صيني، ولا إلى حساب خاص بك في بايدو. وإذا أردت إصلاح الجانب التقني قبل التقديم، احجز مكالمة ونحدد معك نطاق العمل.