llms.txt 란? AI 에게 사이트 요약을 건네는 제안 규격과 그 실제 효과
llms.txt 는 사이트 루트에 두는 마크다운 파일로, AI(LLM)가 사이트의 핵심 내용과 중요한 페이지 목록을 빠르게 파악하도록 돕자는 제안 규격이다. robots.txt 와의 차이, 형식, 작성 예시, 그리고 "확정된 순위 신호가 아니다"라는 정직한 평가까지.
llms.txt 란 무엇인가
llms.txt 란 웹사이트 루트(예: https://www.example.com/llms.txt)에 두는 마크다운 형식의 텍스트 파일로, 대규모 언어 모델(LLM)이 사이트가 무엇에 관한 것인지와 어떤 페이지가 중요한지를 짧게 파악할 수 있도록 요약과 링크 목록을 제공하자는 제안 규격이다. 2024년 llmstxt.org 에서 제안됐으며, 표준 기구가 채택한 규격은 아니다.
배경은 단순하다. AI 가 HTML 페이지를 읽으려면 메뉴·광고·스크립트를 걷어내야 하고 문맥 창(context window)도 한정돼 있다. 그래서 "사람용 홈페이지" 대신 "AI 용 목차"를 따로 주자는 발상이다.
robots.txt 와는 무엇이 다른가?
이름이 비슷해 혼동되지만 robots.txt 와는 역할이 정반대에 가깝다.
| 항목 | robots.txt | llms.txt |
|---|---|---|
| 목적 | 크롤러에게 "어디를 긁지 말라"고 제한 | AI 에게 "무엇이 중요하니 여기를 보라"고 안내 |
| 형식 | User-agent / Disallow 규칙 | 마크다운(H1·인용문·링크 목록) |
| 지위 | 사실상 표준, 주요 크롤러가 준수 | 제안 단계, 준수 의무 없음 |
| 영향 | 차단하면 검색·AI 답변에서 실제로 빠짐 | 있어도 없어도 검색 순위에는 영향 없음 |
| 대상 | 검색봇·AI 봇 모두 | AI(LLM) 도구 |
따라서 llms.txt 를 만들었다고 robots.txt 의 AI 봇 차단이 풀리는 것이 아니다. 크롤러가 막혀 있으면 llms.txt 도 읽히지 않는다.
llms.txt 의 형식은 어떻게 되는가?
llmstxt.org 제안 형식은 다음 순서를 따른다. 필수는 H1 하나뿐이고 나머지는 선택이다.
- H1(필수): 사이트 또는 프로젝트 이름. 파일에 H1 은 하나만.
- 인용문(blockquote, 권장): 사이트를 한두 문장으로 요약. AI 가 가장 먼저 읽는 부분.
- 자유 문단(선택): 사업 영역·대상 고객·주의 사항 등 짧은 설명.
- H2 섹션 + 링크 목록: "- [페이지 제목](URL): 한 줄 설명" 형식. 서비스·가격·FAQ·문서처럼 묶어서.
- "## Optional" 섹션(선택): 문맥이 부족할 때만 읽어도 되는 부수 페이지. 이 이름은 규격에서 특별히 취급된다.
- 변형: 사이트 전체 본문을 하나의 마크다운으로 합친 llms-full.txt 를 함께 두는 곳도 있다(규격 확장 관행).
우리 회사 llms.txt 는 어떻게 쓰는가?
홍길동 대표가 운영하는 가상의 "우리 회사"를 예로 든 최소 구성이다. 실제 파일에는 마크다운 문법(#, >, -)을 그대로 쓴다.
- # 우리 회사
- > 서울에서 중소기업 대상 사무용 가구를 제작·납품하는 회사. 주문 제작, 사무실 이전, 렌탈 서비스를 제공한다.
- ## 서비스
- - [주문 제작 안내](https://www.example.com/custom): 규격·소재·납기 안내
- - [사무실 이전 패키지](https://www.example.com/relocation): 견적 기준과 절차
- ## 가격과 FAQ
- - [가격표](https://www.example.com/pricing): 품목별 기준 가격
- - [자주 묻는 질문](https://www.example.com/faq): 납기·AS·결제
- ## Optional
- - [회사 연혁](https://www.example.com/about/history)
llms.txt 는 실제로 효과가 있는가?
정직하게 말하면 "아직 확인된 효과는 없다"가 맞다. 2026년 현재 구글·네이버는 llms.txt 를 검색이나 AI 답변의 신호로 쓴다고 밝힌 적이 없고, 주요 AI 검색 서비스도 공식 지원을 발표하지 않았다. 구글 담당자들은 여러 차례 "현재 어떤 AI 시스템도 이 파일을 사용하지 않는다"는 취지로 언급했다.
그렇다면 왜 만드는가. ① 비용이 거의 0 이다(텍스트 파일 하나). ② 개발 문서·API 문서처럼 AI 코딩 도구가 직접 읽는 영역에서는 채택 사례가 늘고 있다. ③ 사이트의 핵심 페이지를 한 번 정리해 보는 계기가 되고, 그 결과는 사이트맵·내부 링크(주제 클러스터) 정비에 그대로 쓰인다. 즉 "해서 손해는 없고, 기대는 낮게" 가 적절한 태도다.
반대로 llms.txt 를 넣었으니 AI 검색 대응이 끝났다고 여기는 것이 가장 흔한 오해다. 인용 여부를 좌우하는 것은 크롤러 허용, 인용 가능한 본문(AEO), 브랜드 언급(엔티티 SEO)이며, 이는 어딧지 무료 점검에서 확인할 수 있다.
llms.txt 를 만들 때 무엇을 주의해야 하는가?
- 본문 페이지와 다른 말을 쓰지 않는다. 사이트에 없는 서비스나 과장된 표현을 넣으면 AI 가 잘못된 답을 만들 수 있다.
- 링크는 실제로 접근 가능한 공개 URL 만. 로그인 필요 페이지·삭제된 페이지는 제외.
- 파일 인코딩은 UTF-8, 응답 Content-Type 은 text/plain 또는 text/markdown. 서버가 .txt 를 다운로드로 처리하지 않는지 확인.
- 짧게 유지한다. 수백 줄이면 목차의 의미가 사라진다. 핵심 20~40개 링크가 적당하다.
- 갱신 주기를 정한다. 가격·서비스가 바뀌면 함께 수정. 방치된 llms.txt 는 없는 것보다 나쁠 수 있다.
자주 묻는 질문
llms.txt 를 만들면 AI 검색에 더 잘 나오나요?
현재로서는 확인된 효과가 없습니다. 주요 검색엔진과 AI 서비스가 공식 신호로 쓴다고 밝힌 바 없습니다. 비용이 거의 없으니 만들어 두되, 크롤러 허용과 본문 정비가 우선입니다.
robots.txt 에서 AI 봇을 막아 두고 llms.txt 만 열어 두면 되나요?
안 됩니다. 봇이 사이트에 접근하지 못하면 llms.txt 도 읽지 못합니다. 두 파일은 역할이 다르며 서로를 대체하지 않습니다.
sitemap.xml 이 있는데도 필요한가요?
사이트맵은 "모든 URL 의 목록"이고 llms.txt 는 "중요한 페이지의 요약 목차"입니다. 목적이 다르므로 둘 다 두어도 무방하지만, 하나만 고른다면 검색엔진이 실제로 쓰는 사이트맵이 우선입니다.
llms-full.txt 도 만들어야 하나요?
문서 사이트가 아니라면 필요성이 낮습니다. 사이트 전체 본문을 하나로 합치는 것이라 유지 비용이 크고, 일반 기업 사이트에서 효과가 확인된 바도 없습니다.
연결된 문서
이 글이 참조하는 문서 6편 · 이 글을 참조하는 문서 3편 · 관련 용어 3편
- AI 인용AI 인용(citation)은 ChatGPT·Perplexity·구글 AI 오버뷰·네이버 AI 브리핑 같은 생성형 검색이 답을…이 글이 참조
- GEO(생성형 엔진 최적화)GEO(Generative Engine Optimization, 생성형 엔진 최적화)는 ChatGPT·Perplexity·구글…이 글을 참조 · 관련 용어
- 구조화 데이터(JSON-LD)구조화 데이터(structured data)는 schema.org 어휘를 JSON-LD 형식으로 페이지에 넣어 "이 페이지는 …관련 용어
- AEO(답변 엔진 최적화)AEO(Answer Engine Optimization, 답변 엔진 최적화)는 사용자의 질문에 검색엔진·AI 가 그대로 가져다…이 글이 참조
- 엔티티 SEO(지식 그래프)엔티티 SEO(entity SEO)는 검색엔진과 AI 가 우리 회사를 키워드 뭉치가 아니라 이름·업종·위치·관계가 확정된 고유…이 글이 참조
- AI 검색봇(AI 크롤러)AI 검색봇(AI crawler)은 AI 서비스가 학습 데이터 수집이나 검색 답변 생성을 위해 웹페이지를 가져가는 크롤러다. …이 글이 참조 · 이 글을 참조 · 관련 용어
- 토피컬 어소리티(주제 권위)토피컬 어소리티(topical authority, 주제 권위)는 한 주제에 대해 사이트가 얼마나 깊고 넓게, 일관되게 다루는가…이 글이 참조
- robots.txtrobots.txt 는 사이트 루트에 두는 텍스트 파일로, 크롤러(User-agent)별로 접근을 허용·차단할 경로를 적는 규…이 글이 참조 · 이 글을 참조
- GEO 본문 1곳
- AI 검색봇 본문 1곳
- robots.txt 본문 1곳 · 자동 1곳