Back to Articles不想自己折腾?我们以固定价格代为提交您的网站。查看百度收录提交服务

百度收录要等多久,以及什么才真正能提速

Beijing central business district skyline at dusk

您把域名提交给了百度。一周过去,没有动静。两周过去,还是没有动静,您开始怀疑提交到底有没有成功。

这是我们收到最多的百度相关问题,而答案通常是:目前还没有出错。面对一个新的境外站点,百度就是慢,比 Google 慢得多。真正有用的问题不是平均要等多久,而是您能控制的那些因素里,哪一项正在把等待时间拉长好几周。

三件常被混为一谈的事

在讨论时间表之前,先把它们分开:

  • 发现:百度知道这个网址存在。提交做的就是这件事,而且是即时的。
  • 抓取:百度蜘蛛真的把页面拉下来了。这一步可以悄无声息地失败好几个月。
  • 收录:页面进入索引,可以出现在结果里。这正是 site: 查询能看到的东西。
  • 排名:页面开始争夺某个关键词。这是另一个问题,而且主要是内容问题。

一个页面可以第一天被发现、第九天被抓取,却始终不被收录。继续提交更多网址并不能解决这一点。大多数问“百度要等多久”的人,其实卡在抓取和收录之间。

现实中的时间表

以一个典型的欧洲站点为例:服务器在欧洲、没有ICP备案、内容是英文或某种欧洲语言、没有来自中国站点的外链。

  • 百度蜘蛛首次来访:提交后一天到三周。通常只抓首页,而且往往有一段时间不会再抓别的。
  • 首个页面出现在 site: 查询中:一到六周。
  • 小站点获得可用的收录量:一到三个月。
  • 收录量稳得住、下一轮重新评估时不缩水:三到六个月,而且实事求是地说,只有站上有简体中文页面才做得到。

对比一下:一个放在中国大陆、有ICP备案、内容是中文的站点,首页几天内进索引,其余内容两周左右。这两份清单之间的差距,就是本文余下要讲的东西。

百度对这些不承诺任何时效,也没有可以升级投诉的支持通道。您手上有的,是几条吞吐量不同的提交通道,以及一个会随着服务器表现而增减的抓取配额。

第一步:先确认自己到底有没有被收录

在改动任何东西之前,先做这一步。

打开 baidu.com,搜索 site:yourdomain.com。结果数量只是估算,波动很大,所以把它当成“有”或“没有”来读,而不是当成一个测量值。有结果,说明已被收录,接下来讨论的就只是收录量。六周之后仍然是零,那就是有东西坏了,再等下去也不会好。

另外两项检查也值得做:

  • 用引号搜索首页的完整标题。如果站点其实已被收录、只是 site: 表现异常,这一招通常能把它翻出来。
  • 在百度搜索资源平台里看索引量和抓取频次,这两个才是老实数字。抓取异常会告诉您蜘蛛遇到的是超时、403 还是 DNS 解析失败,大多数境外站点的真正问题就是在这里被找出来的。

如果抓取频次接近零、抓取异常却不是零,那您面对的是技术故障,不是耐心问题。

各条提交通道,以及它们各自值多少

百度提供了好几种把网址交给它的方式,而这些方式并不等价。

sitemap(站点地图)

只解决发现问题,而且是所有通道里最慢的一条队列。百度把 sitemap 当成一份“有空再处理”的建议清单。提交它、保持它准确,但别指望它这周能推动什么。它最有价值的场景是大站点:没有它,百度根本找不到层级较深的页面。

手动提交网址(普通收录)

在后台里把网址贴进去。每个站点每天有上限。这是提示,不是命令。适合少数几个您真正在意的页面,当成策略就没什么用。

主动推送(API 接口)

普通通道里最好的一条。您的服务器在内容新增或更新的当下,就把网址推到百度的接口,发现环节的延迟直接归零,按我们的观察,等待首次抓取的时间也明显缩短。每日配额会随着站点已收录的量而增长,起步阶段确实有点先有鸡还是先有蛋,但这个阶段不会持续太久。如果您固定更新,把它接进构建流程或内容管理系统,然后就可以不用再管了。

自动推送

一段 JavaScript,在页面被访问时通知百度。它需要真实的中国访客才起作用,而这恰恰是一个刚提交的境外站点没有的。它还会在每个页面上多加一个第三方脚本,而这个站点从中国访问的加载速度本来就是弱项。等有了中国流量再说。

快速收录

所有人问“怎么才能快点被收录”时,心里想的都是这条通道,而诚实的回答并不好听。

快速收录是一条独立的、有配额的通道:每天固定条数的网址,处理速度远快于普通队列里的任何东西。配额由百度按站点发放,依据是它自己对站点质量和移动端体验的判断。这些年这个项目换过几次名字,如今的形态是按站点分配的额度,而不是一个可以自己打开的开关。

由此有三点结论。它不出售。它不会因为您申请就发放。而一个全新的境外站点没有它,因为百度手上根本没有可供判断的抓取历史。如果它有朝一日对您的域名开放,那也是在数月的干净抓取之后,是在站上有百度愿意留着而不是清掉的中文内容之后。谁要卖给您快速收录的配额,卖的就不是您以为的那个东西。

所以务实的排序是:主动推送求速度,sitemap 求覆盖,手动提交留给最要紧的那几个页面,快速收录则只有站点自己挣来了才谈得上。

为什么服务器放在中国大陆之外会更慢

百度蜘蛛是从中国大陆的 IP 段发起抓取的。每一次访问您在德国或爱尔兰的服务器,请求都要跨境,而这会带来三个叠加的影响。

延迟与丢包。 200 到 400 毫秒的往返时间很常见,高峰时段这条链路上的丢包也是真实存在的。一个从法兰克福 800 毫秒就能打开的页面,从北京看可能要五秒甚至更久。

抓取配额会缩水。 百度和任何搜索引擎的爬虫一样,会从慢的、不稳定的主机上退开。超时和 5xx 会拉低您的抓取频次,也就意味着每次来访抓的页面更少,收录也就更慢。绝大多数“百度突然不来抓我们了”的情况,机制就在这里。

被墙的资源会把页面拖住。 Google Fonts、googleapis.com、Google Analytics、嵌入的 YouTube 视频、reCAPTCHA、Facebook 组件:这些在中国境内都访问不到。浏览器会一个个等到超时才放弃。百度渲染页面时撞的是同一堵墙。把字体和脚本改成自己托管,是欧洲公司手边最便宜的一项修复,通常一个下午就能做完。

如果没有中国大陆的落地条件,把站点放在香港、新加坡或日本(或者在这些地方加一层前置节点),能把这段路程缩短不少。这和真正落在境内不是一回事,但相比欧洲已经是很大的改善,而且不需要中国主体。

ICP备案改变了什么,又没有改变什么

ICP备案是每一个托管在中国大陆服务器上的站点都必须在工业和信息化部完成的登记。ICP许可证则是经营性互联网服务需要的那张更重的牌照。两者都要求中国的法律主体,备案还额外要求中国境内的主机服务商,因此没有中国子公司也没有本地合作方的境外企业,两样都拿不到。

而这里有一点经常被讲错:百度并不要求有ICP备案才收录您的站点。托管在法兰克福的 .com 可以被收录,而且确实会被收录,也没有任何公开规则把备案号当成排名因素。

备案真正解锁的是在中国大陆落地托管,而带来速度和抓取配额的正是这个托管。好处是真实的,但它是间接的。如果您没有中国主体,那这是把本文清单上其他事情做好的理由,而不是放弃被收录的理由。

页面速度,要在正确的位置上测

有意义的数字,是您的页面在中国境内的移动网络上表现如何,而不是欧洲那块监控面板上写着什么。百度多年来一直明说,移动端页面体验会影响它对一个站点的处理方式,而落地页的工作目标是:在中国的移动网络上,三秒之内呈现出有意义的内容。

欧洲团队今天就能动手的事:

  • 在服务端渲染。 百度蜘蛛处理 JavaScript 的可靠程度远不如 Googlebot。如果您的正文要等到前端注水之后才存在,就当百度看不见它。在这里,服务端渲染或者静态 HTML 不是可选项。
  • 字体、图标和统计脚本都自己托管。 每一个指向被墙主机的请求都是一次卡顿。
  • 认真压缩图片,并给静态资源设置较长的缓存头。
  • 跳转最多一跳。 跳转链上每多一环,就多一次跨境往返。
  • 一个页面只用一个网址。 内部链接里不要带会话参数和跟踪参数,域名也只保留一种规范形式。

而且要从那边测,不要从这边测:有好几家中国的测速服务可以从十几个城市抓取您的网址,给出真实数据。

百度蜘蛛究竟被允许进来吗

现在就打开 yourdomain.com/robots.txt 看一眼。我们已经数不清有多少站点提交给百度、干等了两个月,而这两个月里一直把爬虫挡在门外。

常见原因:

  • 从模板里带来的 robots.txt:按名字放行了 Googlebot 和 Bingbot,最后却收在 User-agent: *Disallow: /
  • 明确写着的 User-agent: Baiduspider / Disallow: /,多年前有人因为百度蜘蛛抓得太凶而加上去的。在年头较久的欧洲站点上非常常见。
  • WAF 或 CDN 的机器人防护,这是最常见的原因,也是没有人会去查的一项,因为它在 robots.txt 里根本看不到。托管型的机器人规则会对不认识的 User-Agent 抛出验证或者直接返回 403,有些配置干脆按地理位置把中国大陆的 IP 段整个挡掉。在百度看来,您的站点返回的就是一个错误。
  • 从测试环境留下来的 noindex 标签或 X-Robots-Tag 响应头。
  • 指向另一个域名的 rel="canonical"

百度蜘蛛的 User-Agent 标识为 Baiduspider,有桌面和移动两种形态,另外还有 Baiduspider-imageBaiduspider-videoBaiduspider-news。真正的蜘蛛做反向 DNS 解析会落在 baidu.combaidu.jp 下。任何从别的主机冒称百度蜘蛛的访问都是伪造的,把它们挡掉不会有任何损失。

在终端里可以跑的一个快速检查:

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://yourdomain.com/

您想看到的是 200。返回 403、跳到验证页或者出现验证码,就说明爬虫被挡在门外了。不过这个测试覆盖不到按地区的封锁,所以也要问一下负责 CDN 的人:现有规则会怎么处理来自中国大陆的流量。

为什么页面收录了又消失

索引量既会涨也会跌,跌了并不是故障。百度会重新评估,并悄悄清掉它认为不值得留的页面:只有英文、没有中文读者的页面,内容单薄的页面,各语言版本之间近乎重复的页面,机器翻译出来的文字。

这才是境外站点真正的天花板。本文里所有技术上的修复,买到的都是抓取速度。收录能不能稳住,取决于站上有没有中国读者真正想看的简体中文内容。机器翻译过不了这道线,而百度识别它的能力比以前明显强了。

哪些在您手上,哪些不在

在您手上的:robots.txt、WAF 和 CDN 规则、第三方资源、服务端渲染、从中国访问的加载时间、托管位置、sitemap 是否准确、主动推送、每个页面只有一个规范网址,以及站上到底有没有中文内容。

不在您手上的:百度的抓取节奏、队列推进的快慢、会不会给到快速收录配额、索引量最终稳定在什么水平。这些都买不到,也没有哪张工单能改变。

一份不靠幻想的时间安排

  • 第 0 周:提交、验证域名归属、提交 sitemap、接好主动推送,并且在做这一切之前先查 robots.txt 和 CDN 规则。
  • 第 1 周:看抓取频次和抓取异常。把异常报告里指出来的问题修掉。内容先别动。
  • 第 2 到 3 周:第一次做 site: 检查。只出现首页是正常的。
  • 第 6 周:如果 site: 仍然一无所获、抓取日志里也没有成功记录,就别再等了,按技术故障来处理。绝大多数情况下它就是故障。
  • 第 8 到 12 周:跟踪索引量,而不是 site: 的那个数字。开始往站上加简体中文页面。
  • 此后每个季度:重新检查抓取异常,确认没有新的东西把蜘蛛挡住,再看收录量是在涨还是在缩。

如果您更愿意交出去做

这段等待里的大部分并不神秘。要么是爬虫被挡住了,要么是从北京看页面太慢,要么是站上没有中国读者想看的东西,这三件事都是能修的。

真正卡住多数欧洲企业的,是提交这一步本身:注册百度账号需要中国大陆的手机号。我们的百度收录提交服务接过域名,代为跑完整套提交流程,并说明百度实际收录了哪些页面,每个域名固定价格。您不需要中国大陆手机号、中国主体,也不需要自己的百度账号。如果您还想在提交之前把技术这一块一并理顺,请预约通话,我们再把范围定下来。

服务

这些工作可以交给我们

域名归属验证、站点地图与 URL 提交,两周后附收录报告。单域名,固定价格,无需中国大陆手机号、中国主体或您自己的百度账号。

查看百度收录提交服务