색인이 안 되는 페이지를 찾는 체크리스트

먼저 현재 상태를 확인합니다

검색창에 site: 뒤에 도메인을 넣으면 대략 몇 개가 색인돼 있는지 볼 수 있습니다. 사이트의 실제 페이지 수와 비교해 큰 차이가 있으면 색인 문제입니다. 정확한 진단은 Search Console 의 색인 커버리지 보고서에서 합니다.

1단계 — 크롤러가 도달할 수 있는가

• robots.txt 가 해당 경로를 막고 있지 않은지 확인합니다. 와일드카드 패턴이 의도보다 넓게 잡히는 경우가 많습니다.
• 어디에서도 링크되지 않은 고아 페이지가 아닌지 확인합니다. 사이트맵에만 있는 페이지는 발견이 늦습니다.
• 로그인이나 쿠키가 있어야 보이는 페이지는 크롤러가 볼 수 없습니다.
• 리다이렉트 체인 끝에 있는지 확인합니다. 여러 단계를 거치면 중간에 끊길 수 있습니다.

2단계 — 크롤러가 내용을 읽을 수 있는가

브라우저에서 보이는 것과 크롤러가 받는 HTML 은 다를 수 있습니다. 페이지 소스 보기에서 본문 텍스트가 실제로 들어 있는지 확인합니다. 비어 있고 스크립트만 있다면 클라이언트 렌더링에 의존하는 구조입니다.

• 중요한 텍스트가 이미지 안에 들어 있지 않은지 확인합니다.
• 탭이나 아코디언 안의 내용이 클릭 후에만 DOM 에 추가되는 구조가 아닌지 봅니다.
• 무한 스크롤로만 접근되는 목록은 크롤러가 끝까지 못 갑니다. 페이지네이션 링크를 함께 둡니다.

3단계 — 색인해도 된다고 말하고 있는가

• meta robots 에 noindex 가 없는지 확인합니다. CMS 설정이나 스테이징 설정이 남아 있는 경우가 흔합니다.
• canonical 이 다른 페이지를 가리키고 있지 않은지 확인합니다. 이 경우 검색엔진은 그 페이지를 대표로 보고 이 페이지는 색인하지 않습니다.
• X-Robots-Tag 헤더가 설정돼 있지 않은지 확인합니다. HTML 에는 안 보이므로 놓치기 쉽습니다.
• robots.txt 로 막힌 페이지의 noindex 는 읽히지 않습니다. 색인을 막으려면 크롤은 허용해야 합니다.

4단계 — 색인할 가치가 있는가

기술적으로 문제가 없는데도 색인되지 않는다면 품질 판단입니다. "검색됨 - 현재 색인되지 않음"으로 표시되는 경우가 대표적입니다. 이때는 페이지가 다른 페이지와 얼마나 다른지, 그 페이지에만 있는 정보가 있는지를 봅니다.

프로그래매틱하게 만든 페이지가 많다면 이 문제가 대량으로 발생합니다. 변수만 치환한 페이지는 색인 대상이 되지 않습니다. 만들기 전에 색인 자격을 점수로 판정하고, 자격이 없는 페이지는 noindex 로 내보내는 편이 사이트 전체 평가에 유리합니다.

색인되지 않는 페이지를 계속 만드는 것은, 사이트 전체의 평가를 조금씩 떨어뜨리는 일입니다.

색인 요청을 반복하는 것은 해법이 아닙니다

같은 URL 을 여러 번 색인 요청한다고 우선순위가 올라가지 않습니다. 색인되지 않는 원인을 찾아 없애는 것이 유일한 방법입니다. 요청은 원인을 고친 뒤 한 번이면 충분합니다.

증상별로 확인할 곳이 다릅니다

두 번째 줄이 가장 흔합니다. 페이지가 이미지 한 장으로 되어 있으면 검색엔진에는 빈 페이지입니다. 디자인된 상세페이지를 그대로 올린 경우가 여기 해당하고, 색인은 되지만 어떤 검색어와도 연결되지 않습니다.

색인이 되었는지 확인하는 방법

1. 검색창에 site: 뒤에 도메인을 넣어 검색합니다. 대략 몇 개가 색인됐는지 보입니다.
2. Search Console 의 색인 보고서에서 제외된 페이지와 사유를 봅니다.
3. 특정 페이지가 궁금하면 URL 검사 도구에 주소를 넣습니다.
4. 네이버는 서치어드바이저의 수집 현황에서 확인합니다.

1번은 대략적인 확인이고 정확한 숫자가 아닙니다. 실제 진단은 2번과 3번으로 해야 합니다. 특히 3번은 그 페이지가 왜 색인되지 않았는지 사유를 알려 주므로 가장 빠릅니다.