robots.txt와 sitemap.xml 설정 가이드
robots.txt와 sitemap.xml은 검색엔진에게 사이트 구조를 알려주는 가장 기본적인 공개 신호입니다.
robots.txt의 역할
robots.txt는 검색엔진 크롤러에게 접근을 제한할 경로를 알려줍니다. 관리자, 로그인, 회원가입, 결제, 비밀번호 재설정 같은 행동 목적 페이지는 검색 결과에 노출될 필요가 없으므로 차단하는 편이 좋습니다.
다만 중요한 공개 콘텐츠를 실수로 Disallow하면 검색엔진이 내용을 확인하지 못합니다. 가이드, 예시 리포트, 공개 도구처럼 사용자가 읽을 수 있는 콘텐츠는 robots.txt로 막지 않아야 합니다.
사이트맵에 넣을 URL
사이트맵에는 색인되기를 원하는 대표 URL만 넣는 것이 좋습니다. 로그인, 회원가입, 빈 목록, 오류 페이지, 리다이렉트 전용 페이지는 사이트맵에서 제외해야 합니다.
콘텐츠 페이지를 새로 만들었다면 사이트맵에 추가하고, 페이지 내부에서도 서로 연결되도록 메뉴나 관련 글 링크를 넣어야 합니다. 검색엔진은 사이트맵뿐 아니라 내부 링크 구조도 함께 봅니다.
검토 전 확인 순서
먼저 robots.txt에서 차단할 경로와 허용할 경로를 구분합니다. 다음으로 sitemap.xml에 공개 콘텐츠 URL만 남겼는지 확인합니다. 마지막으로 각 페이지의 meta robots가 index,follow인지 noindex,nofollow인지 실제 HTML에서 확인합니다.
광고 심사를 앞둔 사이트라면 특히 빈 화면이나 이동 목적 화면이 사이트맵에 들어가지 않도록 정리해야 합니다. 검색엔진과 광고 심사자는 로그인하지 않은 상태에서 볼 수 있는 공개 화면을 중심으로 판단합니다.