먼저 호스트와 배포 맥락을 구분합니다
운영 주소, 브랜치 주소, 미리보기 주소를 목록으로 나눕니다. 같은 빌드 파일이라도 호스트의 헤더 정책이나 배포 환경변수에 따라 응답이 달라질 수 있습니다. 개발자가 로컬 HTML에 noindex가 없다는 사실만 보여 주면 호스팅 계층의 차단을 놓칩니다. 실제 운영 URL을 로그인하지 않은 상태로 요청한 결과를 기준으로 삼습니다.
메타와 헤더를 한 기록에 남깁니다
원본 HTML에서 robots와 googlebot 메타의 내용을 찾고 응답 헤더에서 X-Robots-Tag를 확인합니다. 대소문자 표기나 헤더가 여러 번 존재하는 경우도 원문을 보존합니다. 리다이렉트가 있으면 최초 응답과 최종 200 응답을 구분합니다. 브라우저 개발자 도구의 문서 요청을 확인할 때도 정적 이미지 요청의 헤더를 잘못 읽지 않도록 요청 종류를 먼저 고릅니다.
설정의 출처를 추적하는 순서
- 애플리케이션 메타데이터의 index 설정을 확인합니다.
- 정적 호스팅의 헤더 파일, 프로젝트 설정과 배포 맥락별 설정을 확인합니다.
- CDN 또는 프록시가 추가하는 응답 헤더가 있는지 확인합니다.
- 운영 산출물을 재사용하는 과정에서 이전 미리보기 헤더 파일이 남는지 검사합니다.
가정한 예로, 운영 빌드 스크립트가 미리보기용 _headers 파일을 그대로 복사하면 화면과 canonical이 정상이더라도 색인 차단이 남을 수 있습니다. 수정은 운영에서 해당 지시가 생성되지 않게 하고, 미리보기에서는 계속 생성되도록 조건을 나누는 방식으로 합니다. 전역 파일을 사용 환경을 구분하지 않고 지우면 다음 미리보기가 공개 색인 대상이 되는 반대 문제가 생깁니다.
통과·실패 사례를 함께 검사합니다
운영 주소의 정상 공개 페이지에는 의도하지 않은 noindex가 없어야 합니다. 동시에 미리보기 주소에는 의도한 차단이 유지되는지 검사합니다. 비공개·완료·내부 검색처럼 원래 제외할 페이지를 공개 페이지와 섞어 일괄 허용하지 않습니다. 최소한 홈, 상세 문서, 문의 화면, 의도된 제외 페이지를 각각 표본으로 고릅니다.
수정 뒤 확인할 한계
차단 지시를 제거한 결과와 검색엔진이 다시 수집한 결과는 같은 시점에 바뀌지 않을 수 있습니다. 소유확인된 검색도구에서 실제 URL의 상태를 확인하고 변경 배포와 검사 시간을 기록합니다. 본문이 비어 있거나 오류 화면이 200으로 열리는 문제는 noindex 제거와 별도로 수정해야 합니다.
자주 묻는 질문
- robots.txt에서 허용하면 noindex가 무시되나요?
- 크롤링 허용과 색인 지시는 다른 항목입니다. 허용 상태를 색인 허용의 증거로 사용하지 말고 실제 페이지 응답과 robots 메타를 함께 확인합니다.
- 미리보기는 robots.txt로만 막아도 되나요?
- 공개 미리보기의 검색 노출 통제와 비공개 자료 보호를 구분해야 합니다. 색인 차단 결과를 응답에서 확인하고, 민감한 자료라면 로그인 등 접근 통제도 별도로 설계합니다.
공식 참고자료와 작성 기준
공식 문서는 도구·검색 기능의 근거이며, 위의 점검 순서와 완료 기준은 현랩의 실무 설계 제안입니다. 예시를 실제 고객의 성과나 검색엔진의 보장으로 해석하지 않습니다.