SEO에서 가장 무서운 실수는 순위가 안 오르는 게 아니라, 잘 나오던 사이트가 통째로 검색에서 사라지는 것입니다. 그리고 그 사고의 상당수는 robots.txt 한 줄, 혹은 meta robots 태그 하나에서 시작됩니다. 두 가지는 이름이 비슷해 자주 혼동되지만, 하는 일이 정반대에 가깝습니다. 이 차이를 모르면 "색인을 지우려다 오히려 색인에 남기고", "크롤링을 막으려다 순위를 통째로 날리는" 일이 벌어집니다. 이 글은 두 도구가 실제로 무엇을 하고, 상황별로 무엇을 써야 하며, 어떻게 점검하는지를 실무 기준으로 정리합니다.
robots.txt와 meta robots는 하는 일이 다릅니다
이름이 비슷해 헷갈리지만 역할이 다릅니다. robots.txt의 Disallow는 "이 경로를 크롤링하지 말라"는 요청입니다. meta robots의 noindex는 "이 페이지를 검색 결과에 넣지 말라"는 지시입니다.
즉 하나는 "가져가지 마", 다른 하나는 "보여주지 마"입니다. 이 둘은 완전히 다른 층위의 명령이고, 심지어 서로 충돌하기도 합니다. 여기서 대부분의 사고가 납니다.
가장 위험한 오해 — "Disallow하면 색인에서 빠진다"
많은 사람이 "검색에서 안 보이게 하려면 robots.txt로 막으면 된다"고 생각합니다. 그런데 Disallow는 크롤링만 막을 뿐, 색인을 지우지 않습니다.
오히려 문제가 생깁니다. 외부에서 그 페이지로 링크가 걸려 있으면, 구글은 내용을 못 읽은 채로 URL만 색인해 버릴 수 있습니다. 검색 결과에 설명 없는 링크로 남는 것입니다. 지우려다 더 이상하게 남기는 셈입니다.
더 위험한 조합 — noindex를 robots.txt로 막기
정말 색인에서 빼려면 noindex를 써야 합니다. 그런데 여기 함정이 있습니다. 구글이 noindex를 보려면 그 페이지를 크롤링할 수 있어야 합니다.
만약 robots.txt로 그 경로를 Disallow해 두면, 구글은 페이지에 접근하지 못해 noindex 태그를 읽지도 못합니다. 결과적으로 "색인에서 빼려고 noindex를 걸었는데, robots.txt가 그걸 못 읽게 막아서 계속 색인에 남는" 최악의 조합이 됩니다. noindex를 쓸 페이지는 robots.txt로 막으면 안 됩니다.
상황별로 무엇을 써야 하나
정리하면 목적에 따라 도구가 달라집니다.
- 검색 결과에서 완전히 빼고 싶다 → 페이지에 noindex, robots.txt는 열어둠(크롤 가능해야 함)
- 크롤 낭비를 막고 싶다(관리자·내부 검색결과 페이지 등) → robots.txt Disallow(애초에 색인 대상이 아닌 경로)
- 중복 페이지를 정리하고 싶다 → noindex가 아니라 canonical이 대개 맞음
- 민감 정보를 감추고 싶다 → robots·noindex가 아니라 접근 제한(로그인·인증)
특히 마지막이 중요합니다. robots.txt는 누구나 열어볼 수 있는 공개 파일이라, 거기 적은 경로는 오히려 "여기 뭔가 있다"고 알려주는 꼴입니다. 진짜 숨겨야 할 건 서버 단에서 막아야 합니다.
현장에서 반복되는 실전 사고 3가지
실무에서 반복적으로 보이는 사고 패턴입니다.
- 오픈 시 개발용 차단이 안 풀림 — 제작 중 걸어둔 전체 차단(robots.txt의 "Disallow: /" 한 줄)이나 사이트 전체 noindex가 오픈 후에도 남음. 사이트가 통째로 검색에서 사라집니다.
- 리뉴얼·이전 시 스테이징 설정이 그대로 배포 — 개발 서버의 차단 설정이 운영 서버에 딸려 옴.
- CSS·JS를 Disallow — 렌더링에 필요한 자원을 막아 구글이 페이지를 제대로 못 그림.
세 가지 모두 "의도치 않게" 벌어지는데, 피해는 사이트 전체 규모입니다. 색인이 안 되는 사이트의 원인 진단은 사이트가 검색에 안 나올 때 확인할 7가지와 이어집니다.
배포할 때 꼭 확인하는 점검법
사고 대부분은 점검 한 번으로 막을 수 있습니다. 오픈·리뉴얼·배포 직후 다음을 확인하세요.
- robots.txt 직접 열어보기 — 도메인 뒤에 /robots.txt 를 붙여 접속해, "Disallow: /" 같은 전체 차단이 없는지 확인
- 서치콘솔 URL 검사 — 핵심 페이지가 "색인 생성 가능"으로 나오는지, 차단·noindex가 걸려 있지 않은지 확인
- 페이지 소스 점검 — 각 페이지 소스의 meta robots에 noindex가 남아 있지 않은지 확인
이 점검은 서치콘솔을 연결해 두면 훨씬 쉬워집니다. 도구 활용은 서치콘솔 첫 세팅에서 다뤘습니다.
한 줄이 사이트 전체를 좌우합니다
robots.txt와 meta robots는 코드 몇 글자지만 영향 범위는 사이트 전체입니다. 그래서 "잘 모르면 건드리지 않는다"가 안전한 기본값입니다. 특히 "Disallow: /"와 사이트 전역 noindex는 손댈 때 가장 조심해야 하는 설정입니다.
정리하면 하나만 기억하면 됩니다. 색인에서 빼려면 noindex(크롤 가능한 상태에서), 크롤을 아끼려면 Disallow, 숨기려면 서버 접근 제한. 이 세 가지를 섞지 않는 것만으로 큰 사고 대부분을 피할 수 있습니다.