Baidu 색인은 얼마나 걸리고, 무엇이 실제로 속도를 높이는가

도메인을 Baidu에 제출했습니다. 일주일이 지나도 아무 일도 없습니다. 2주가 지나도 그대로이고, 제출이 접수되기는 한 것인지 슬슬 의심이 들기 시작합니다.

저희가 Baidu에 대해 가장 많이 받는 질문이 이것입니다. 답은 대개 "아직 잘못된 것은 없습니다"입니다. Baidu는 해외의 새 사이트에 느립니다. Google과는 비교가 되지 않을 만큼 느립니다. 평균 대기 기간이 얼마인지는 쓸모 있는 질문이 아닙니다. 정작 중요한 것은, 내가 통제할 수 있는 것들 가운데 무엇이 그 기간을 몇 주씩 늘리고 있느냐입니다.

서로 혼동되는 단계들

어떤 일정표든 의미를 가지려면 먼저 이것부터 구분해야 합니다.

발견(Discovery): Baidu가 해당 URL의 존재를 아는 상태입니다. 제출이 여기에 해당하며, 즉시 이루어집니다.
크롤링: Baiduspider가 실제로 페이지를 가져갑니다. 여기서 몇 달씩 조용히 실패할 수 있습니다.
수록(收录): 페이지가 색인에 들어가 검색 결과로 반환될 수 있는 상태입니다. site: 검색으로 확인되는 것이 바로 이것입니다.
순위: 페이지가 특정 검색어를 두고 경쟁하는 단계입니다. 이는 별개의 문제이고, 대부분 콘텐츠의 문제입니다.

첫날 발견되고, 아흐레째에 크롤링되고, 끝내 수록되지 않는 페이지도 있습니다. URL을 더 밀어 넣는다고 해결되지 않습니다. "Baidu는 얼마나 걸리나요"라고 묻는 분들 대부분은 사실 크롤링과 수록 사이에 멈춰 있습니다.

현실적인 일정

전형적인 유럽 사이트를 기준으로 보겠습니다. 유럽에서 호스팅하고, ICP备案이 없고, 콘텐츠는 영어나 유럽 언어이며, 중국 사이트에서 들어오는 링크가 없는 경우입니다.

Baiduspider의 첫 방문: 제출 후 하루에서 3주. 보통 첫 페이지 하나뿐이고, 한동안 다른 페이지에는 오지 않는 일이 흔합니다.
site: 검색에 첫 페이지가 보이기까지: 1주에서 6주.
작은 사이트에서 쓸 만한 커버리지가 나오기까지: 1개월에서 3개월.
커버리지가 자리를 잡고 다음 재평가에서 줄지 않기까지: 3개월에서 6개월. 현실적으로는 사이트에 간체 중국어 페이지가 있어야 가능합니다.

중국 본토에서 호스팅하고 ICP备案을 마쳤으며 중국어 콘텐츠를 갖춘 사이트와 비교해 보십시오. 그런 사이트는 첫 페이지가 며칠 안에 색인에 들어가고, 나머지도 2주 안팎이면 들어갑니다. 이 두 선 사이의 간격이 이 글에서 다루는 전부입니다.

Baidu는 이에 대해 어떤 서비스 수준도 공표하지 않으며, 문제를 올릴 지원 창구도 없습니다. 있는 것은 처리량이 제각각인 몇 가지 제출 경로, 그리고 서버가 어떻게 반응하느냐에 따라 늘거나 주는 크롤링 예산뿐입니다.

먼저, 색인이 되기는 했는지 확인하십시오

무엇을 바꾸기 전에 이것부터 확인하십시오.

baidu.com에서 site:yourdomain.com을 검색합니다. 표시되는 건수는 추정치이고 계속 흔들리므로, 숫자가 아니라 있느냐 없느냐로 읽으십시오. 결과가 나오면 색인은 된 것이고, 문제는 커버리지로 넘어갑니다. 6주가 지나도 0건이라면 어딘가 고장 난 것이며, 더 기다린다고 해결되지 않습니다.

함께 해 볼 만한 확인이 두 가지 더 있습니다.

첫 페이지의 제목을 따옴표로 묶어 그대로 검색해 보십시오. 사이트는 색인되어 있는데 site: 연산자만 이상하게 동작하는 경우, 이렇게 하면 드러나는 일이 많습니다.
百度搜索资源平台(Baidu Webmaster Tools)에서 索引量(색인 수)과 抓取频次(크롤링 빈도)를 확인하십시오. 정직한 숫자는 이쪽입니다. 抓取异常(크롤링 오류)을 보면 스파이더가 타임아웃이나 403, DNS 실패를 겪고 있는지 알 수 있고, 해외 사이트가 진짜 원인을 찾아내는 곳도 대개 여기입니다.

크롤링 빈도는 0에 가까운데 크롤링 오류는 그렇지 않다면, 인내심의 문제가 아니라 기술적 결함입니다.

제출 경로와 각각의 실제 가치

Baidu에 URL을 건네는 방법은 여러 가지이고, 가치는 서로 같지 않습니다.

발견만 담당하며, 그중에서도 가장 느린 줄입니다. Baidu는 사이트맵을 여유가 생기면 처리할 제안 목록 정도로 취급합니다. 제출해 두고 정확하게 유지하되, 이번 주에 무언가 움직이리라고 기대하지는 마십시오. 정말 필요한 쪽은 깊숙한 페이지를 아예 찾아내게 만들어야 하는 대규모 사이트입니다.

수동 URL 제출(普通收录)

대시보드에 URL을 붙여 넣습니다. 사이트당 하루 한도가 있습니다. 명령이 아니라 힌트입니다. 정말 중요한 몇 페이지에는 쓸모가 있지만, 전략은 되지 못합니다.

API를 통한 主动推送(액티브 푸시)

일반 경로 가운데는 가장 낫습니다. 페이지가 새로 생기거나 바뀌는 즉시 서버가 Baidu 엔드포인트로 URL을 보내므로 발견까지의 지연이 사라지고, 저희 경험으로는 첫 크롤링까지의 대기도 눈에 띄게 짧아집니다. 하루 한도는 사이트에서 이미 수록된 비중에 따라 늘어납니다. 시작 시점에는 닭이 먼저냐 달걀이 먼저냐 하는 문제지만, 오래가지는 않습니다. 정기적으로 발행한다면 빌드나 CMS에 붙여 두고 잊어버리는 편이 좋습니다.

自动推送(자동 푸시)

페이지가 조회될 때 Baidu에 알리는 JavaScript 스니펫입니다. 효과를 보려면 중국에서 들어오는 실제 방문자가 있어야 하는데, 이제 막 제출한 해외 사이트에는 그런 방문자가 없습니다. 게다가 모든 페이지에 서드파티 스크립트가 하나 더 붙습니다. 중국 안에서의 로딩 속도가 이미 약점인 사이트에 말입니다. 중국 트래픽이 생길 때까지는 건너뛰십시오.

快速收录(빠른 수록)

빨리 색인시킬 방법이 없느냐고 물을 때 다들 떠올리는 경로가 이것이고, 솔직한 답은 그리 유쾌하지 않습니다.

快速收录는 할당량이 정해진 별도의 경로입니다. 하루에 보낼 수 있는 URL 수가 정해져 있고, 이 경로로 들어간 URL은 일반 대기열보다 훨씬 빠르게 처리됩니다. 할당량은 Baidu가 사이트별로 부여하며, 기준은 사이트 품질과 모바일 경험에 대한 Baidu 자체의 평가입니다. 프로그램 이름은 그동안 몇 차례 바뀌었고, 지금의 형태는 켜고 끄는 기능이 아니라 사이트별 한도에 가깝습니다.

여기서 세 가지가 따라 나옵니다. 파는 물건이 아닙니다. 요청한다고 주어지는 것도 아닙니다. 그리고 이제 막 만든 해외 호스팅 사이트에는 없습니다. Baidu가 판단할 크롤링 이력 자체가 없기 때문입니다. 언젠가 해당 도메인에서 쓸 수 있게 된다 해도, 그것은 몇 달에 걸친 깨끗한 크롤링과 Baidu가 버리지 않고 유지하는 중국어 콘텐츠가 쌓인 뒤의 일입니다. 快速收录 할당량을 팔겠다는 사람은 여러분이 생각하는 것과 다른 무언가를 팔고 있습니다.

그래서 실무 순서는 이렇게 됩니다. 속도는 主动推送, 커버리지는 사이트맵, 가장 중요한 몇 페이지는 수동 제출. 快速收录는 사이트가 그럴 자격을 갖춘 뒤의 이야기입니다.

중국 본토 밖에서 호스팅하면 느린 이유

Baiduspider는 중국 본토 IP 대역에서 크롤링합니다. 독일이나 아일랜드 서버로 가는 요청은 매번 국경을 넘고, 그 영향은 세 가지로 겹쳐 나타납니다.

지연과 패킷 손실. 왕복 200에서 400밀리초는 흔하고, 피크 시간대에는 이 경로에서 실제로 패킷 손실이 발생합니다. 프랑크푸르트에서 800밀리초면 열리는 페이지가 베이징에서는 5초 넘게 걸리기도 합니다.

크롤링 예산이 줄어듭니다. Baidu도 다른 크롤러와 마찬가지로 느리거나 불안정한 호스트에서는 물러섭니다. 타임아웃과 5xx 응답은 크롤링 빈도를 떨어뜨리고, 그러면 방문 한 번에 가져가는 페이지가 줄고, 수록도 느려집니다. "Baidu가 갑자기 크롤링을 멈췄다"는 이야기 대부분이 이 구조로 설명됩니다.

차단된 리소스가 페이지를 붙잡습니다. Google Fonts, googleapis.com, Google Analytics, YouTube 임베드, reCAPTCHA, Facebook 위젯. 모두 중국 안에서는 닿지 않습니다. 브라우저는 포기할 때까지 하나씩 기다립니다. Baidu가 렌더링을 거쳐 가져갈 때도 같은 벽에 부딪힙니다. 폰트와 스크립트를 자체 호스팅하는 것은 유럽 기업이 쓸 수 있는 가장 값싼 해결책이고, 보통 반나절이면 끝납니다.

본토에 거점이 없다면 홍콩, 싱가포르, 일본에서 사이트를 서비스하거나 앞단에 두는 것만으로도 왕복 시간이 상당히 줄어듭니다. 본토에 있는 것과 같지는 않지만 유럽보다는 크게 낫고, 중국 법인도 필요하지 않습니다.

ICP备案이 바꾸는 것과 바꾸지 못하는 것

ICP备案은 중국 본토 서버에서 호스팅하는 모든 사이트가 공업정보화부에 해 두어야 하는 신고입니다. ICP许可证은 상업적 온라인 서비스에 요구되는 더 무거운 허가입니다. 둘 다 중국 본토 법인이 있어야 하고, 备案에는 본토 호스팅 사업자도 필요합니다. 중국 자회사도 현지 파트너도 없는 해외 기업은 어느 쪽도 받을 수 없습니다.

여기가 잘못 알려진 대목입니다. Baidu는 사이트를 색인하는 데 ICP备案을 요구하지 않습니다. 프랑크푸르트에서 호스팅되는 .com도 색인될 수 있고, 실제로 색인됩니다. 备案 번호를 순위 요소로 취급한다는 공개된 규정도 없습니다.

备案이 실제로 열어 주는 것은 본토 호스팅이고, 속도와 크롤링 예산을 가져다주는 것은 그 본토 호스팅입니다. 이점은 분명하지만 간접적입니다. 중국 법인이 없다면 그것은 이 목록의 나머지를 전부 손보아야 할 이유이지, 색인을 포기할 이유가 아닙니다.

페이지 속도는 제대로 된 곳에서 재십시오

의미 있는 숫자는 중국 안의 모바일 회선에서 페이지가 어떻게 동작하느냐이지, 유럽의 모니터링 대시보드가 보여 주는 값이 아닙니다. 모바일 페이지 경험이 사이트를 대하는 방식에 반영된다는 점을 Baidu는 몇 년째 분명히 밝혀 왔고, 랜딩 페이지의 실무 기준은 본토 모바일 네트워크에서 의미 있는 콘텐츠가 3초 안에 나오는 것입니다.

유럽 팀이 오늘 당장 손댈 수 있는 것들입니다.

서버에서 렌더링하십시오. Baiduspider의 JavaScript 처리는 Googlebot보다 훨씬 미덥지 못합니다. 텍스트가 하이드레이션 이후에만 존재한다면 Baidu에는 보이지 않는다고 보아야 합니다. 서버 사이드 렌더링이나 정적 HTML은 여기서 선택 사항이 아닙니다.
폰트, 아이콘, 분석 스크립트를 자체 호스팅하십시오. 차단된 호스트로 가는 요청은 그대로 멈춤 시간이 됩니다.
이미지를 제대로 압축하고 정적 자산에는 긴 캐시 헤더를 설정하십시오.
리다이렉트는 한 번까지. 사슬이 하나 늘 때마다 국경을 넘는 왕복이 한 번 더 생깁니다.
페이지 하나에 URL 하나. 세션 파라미터 없이, 내부 링크에 추적 파라미터 없이, 도메인의 정규 형태는 하나로.

측정도 여기가 아니라 그쪽에서 하십시오. 중국 본토의 테스트 서비스 여러 곳이 십여 개 도시에서 URL을 불러와 실제 수치를 알려 줍니다.

Baiduspider가 들어오기는 하는 걸까요

지금 바로 yourdomain.com/robots.txt를 열어 보십시오. Baidu에 제출해 놓고 두 달을 기다리는 동안 내내 크롤러를 막고 있던 사이트를, 저희는 셀 수 없이 보았습니다.

흔한 원인은 이렇습니다.

Googlebot과 Bingbot은 허용해 놓고 마지막이 User-agent: *와 Disallow: /로 끝나는 템플릿 robots.txt.
몇 년 전 누군가 Baiduspider가 너무 공격적으로 긁어 간다며 넣어 둔 User-agent: Baiduspider / Disallow: / 블록. 오래된 유럽 사이트에서 아주 흔합니다.
WAF나 CDN의 봇 차단. 가장 잦은 원인이면서 아무도 확인하지 않는 곳입니다. robots.txt에는 전혀 나타나지 않기 때문입니다. 관리형 봇 규칙은 낯선 사용자 에이전트에 챌린지를 걸거나 403을 돌려주고, 설정에 따라서는 중국 본토 IP 대역을 통째로 지역 차단하기도 합니다. Baidu 쪽에서 보면 사이트가 오류를 반환하는 셈입니다.
스테이징에서 남은 noindex 메타 태그나 X-Robots-Tag 헤더.
다른 도메인을 가리키고 있는 rel="canonical".

Baiduspider는 Baiduspider라는 이름으로 자신을 밝히며 데스크톱과 모바일 변종이 있고, Baiduspider-image, Baiduspider-video, Baiduspider-news도 있습니다. 진짜라면 역방향 DNS 조회에서 baidu.com 또는 baidu.jp 아래로 확인됩니다. 다른 호스트에서 Baiduspider를 자처하는 것은 위장이므로, 차단해도 잃을 것이 없습니다.

터미널에서 바로 해 볼 수 있는 확인이 있습니다.

curl -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" -I https://yourdomain.com/

200이면 됩니다. 403이나 챌린지 페이지로의 리다이렉트, CAPTCHA가 나온다면 크롤러가 문 앞에서 돌아서고 있는 것입니다. 다만 이 테스트로 지역 차단까지 알 수는 없으니, CDN을 운영하는 담당자에게 중국 본토에서 오는 트래픽을 규칙이 어떻게 처리하는지도 확인하십시오.

색인되었던 페이지가 사라지는 이유

색인 수는 늘기도 하고 줄기도 하며, 줄어드는 것 자체는 오류가 아닙니다. Baidu는 다시 평가하고, 유지할 가치가 없다고 판단한 페이지를 조용히 걷어냅니다. 중국 독자가 없는 영어 전용 페이지, 내용이 얕은 페이지, 언어판끼리 사실상 중복인 페이지, 자동 번역된 텍스트가 그렇습니다.

해외 사이트의 진짜 한계선이 여기에 있습니다. 이 글의 기술적 조치는 모두 크롤링 속도를 사는 일입니다. 수록이 유지되느냐를 결정하는 것은, 중국 독자가 실제로 읽고 싶어 할 간체 중국어 콘텐츠가 사이트에 있느냐입니다. 기계 번역으로는 그 기준을 넘지 못하고, Baidu는 예전보다 눈에 띄게 잘 가려냅니다.

통제할 수 있는 것과 없는 것

통제할 수 있는 것: robots.txt, WAF와 CDN 규칙, 서드파티 리소스, 서버 사이드 렌더링, 중국에서의 로딩 시간, 호스팅 위치, 사이트맵의 정확성, 主动推送, 페이지당 하나의 정규 URL, 그리고 중국어 콘텐츠가 존재하는지 여부.

통제할 수 없는 것: Baidu의 크롤링 일정, 대기열이 움직이는 속도, 快速收录 할당량이 언젠가 주어질지 여부, 색인 수가 어디에서 안정될지. 어느 것도 돈으로 살 수 없고, 이를 바꿔 줄 지원 티켓도 없습니다.

희망 사항이 아닌 일정표

0주차: 제출하고, 도메인을 인증하고, 사이트맵을 내고, 主动推送을 붙입니다. 그 전에 robots.txt와 CDN 규칙부터 확인합니다.
1주차: 抓取频次와 抓取异常을 봅니다. 오류 보고서에 나온 것을 고칩니다. 콘텐츠는 아직 건드리지 않습니다.
2주차에서 3주차: 첫 site: 확인. 첫 페이지만 나와도 정상이고, 그것으로 충분합니다.
6주차: site:가 여전히 아무것도 반환하지 않고 크롤링 기록에도 성공한 요청이 없다면, 기다리기를 멈추고 기술적 결함으로 다루십시오. 거의 언제나 그렇습니다.
8주차에서 12주차: site: 건수 대신 索引量을 추적합니다. 간체 중국어 페이지를 늘리기 시작합니다.
그 이후 분기마다: 抓取异常을 다시 확인하고, 새로 스파이더를 막는 것이 생기지 않았는지 확인하고, 커버리지가 늘고 있는지 줄고 있는지 봅니다.

직접 하기보다 맡기고 싶으시다면

기다림의 대부분은 신비로운 일이 아닙니다. 크롤러가 막혀 있거나, 베이징에서 볼 때 페이지가 느리거나, 중국 독자가 원할 만한 것이 사이트에 없거나입니다. 모두 고칠 수 있습니다.

유럽 기업 대부분이 걸려 넘어지는 지점은 제출 그 자체입니다. Baidu 계정을 만들려면 중국 본토 휴대전화 번호가 필요하기 때문입니다. 저희 바이두 사이트 등록 대행은 도메인을 받아 등록 전 과정을 진행하고, 바이두가 실제로 무엇을 색인했는지 보고해 드립니다. 도메인당 정액 요금입니다. 중국 전화번호도, 중국 법인도, 고객사 명의의 바이두 계정도 필요하지 않습니다. 제출 전에 기술적인 부분까지 정리하고 싶으시면 상담을 예약해 주십시오. 범위를 함께 잡아 드리겠습니다.