robots.txt 란? 검색봇과 AI 봇에게 "어디를 긁지 말라"고 알리는 사이트 루트의 규칙 파일

robots.txt 란 무엇인가

robots.txt 란 웹사이트 루트(https://www.example.com/robots.txt)에 두는 텍스트 파일로, 크롤러 이름(User-agent)별로 가져가도 되는 경로(Allow)와 가져가지 말아야 할 경로(Disallow)를 적어 두는 규칙이다. 2022년 RFC 9309 로 표준화됐으며 구글·네이버·주요 AI 회사의 봇이 준수한다고 밝혔다.

역할은 "크롤링 제한"이지 "검색 결과에서 숨기기"가 아니다. 차단된 페이지도 다른 곳에서 링크되면 URL 만 색인될 수 있다. 검색 결과에서 빼려면 noindex 메타 태그를 쓰고, 그 페이지는 robots.txt 로 막지 말아야 봇이 noindex 를 읽는다.

문법은 어떻게 되는가?

• User-agent: 규칙을 적용할 봇 이름. * 는 모든 봇. 그룹마다 빈 줄로 구분.
• Disallow: 막을 경로. 값이 비어 있으면 "모두 허용", / 이면 "모두 차단".
• Allow: 막힌 경로 안에서 예외로 열 경로(구글·네이버 지원).
• Sitemap: 사이트맵 절대 주소. 여러 줄 가능.
• 경로는 대소문자를 구분하고, * 와 $ 와일드카드를 쓸 수 있다. 봇 이름 오타(GPTbot 등)는 무시돼 규칙이 적용되지 않는다.

우리 회사 사이트의 기본 예시는 무엇인가?

가상의 "우리 회사" 사이트에서 관리자·검색결과·장바구니만 막고 나머지는 모두 여는 최소 구성이다.

• User-agent: *
• Disallow: /admin/
• Disallow: /search
• Disallow: /cart/
• Sitemap: https://www.example.com/sitemap.xml

검색봇과 AI 봇은 어떻게 구분해 적는가?

검색 색인용 봇(Googlebot·Bingbot·네이버 Yeti)과 AI 학습용 봇(GPTBot·ClaudeBot 등), AI 검색용 봇(OAI-SearchBot·PerplexityBot 등)은 이름이 다르다. "AI 봇 전부 차단"을 걸면 AI 인용에서도 빠지므로, 학습만 거부하고 검색·인용은 받으려면 이름별로 나눠 적는다. 봇 이름표와 조합 예시는 AI 검색봇 항목에 있다.

흔한 사고는 무엇인가?

robots.txt 는 어떻게 확인하는가?

브라우저에서 /robots.txt 를 직접 열어 운영 값인지 본다. 구글 서치콘솔의 robots.txt 보고서에서 구글이 마지막으로 읽은 버전과 오류를 확인하고, 네이버 서치어드바이저에서도 robots.txt 검증을 제공한다. 리뉴얼·이전 직후에는 반드시 다시 확인한다. 어딧지 무료 점검은 robots.txt 를 읽어 검색봇·AI 봇별 허용 상태를 표로 보여 준다.

자주 묻는 질문