스크랩

가짜 '고양이 표준' cats.txt가 밝혀낸 llms.txt의 불편한 진실

가짜 '고양이 표준' cats.txt가 밝혀낸 llms.txt의 불편한 진실

한눈에 보는 핵심 요약

  • 어떤 팀이 **가짜 표준 cats.txt**를 만들어 고양이의 직책, 품종, '가르랑 지수(PurrLevel)' 같은 허무맹랑한 정보를 선언했습니다.
  • 놀랍게도 이 장난 파일이 llms.txt의 효과를 증명한다고 알려진 네 가지 기준을 전부 통과해버렸습니다.
  • 즉, 지금까지 "llms.txt가 AI 검색에 효과 있다"는 근거로 쓰이던 논리 구조 자체에 큰 구멍이 있다는 뜻입니다.

cats.txt, 대체 뭘 실험한 걸까요?

업계에서는 llms.txt(웹사이트가 LLM에게 자기 콘텐츠를 요약해서 알려주는 텍스트 파일)가 AI 검색 노출에 도움이 된다는 근거로 늘 아래 네 가지를 반복해서 언급해왔습니다.

  1. AI 봇이 파일을 크롤링했다
  2. Google이 파일을 색인했다
  3. LLM이 파일 안에만 있던 정보를 답변에 인용했다
  4. ChatGPT에게 물어보니 "도움이 된다"고 답했다

이 네 가지가 정말 '증거'로서 타당한지 검증하기 위해, 연구자는 완전히 허구인 cats.txt라는 파일을 만들어 도메인 루트에 올렸습니다. 고양이의 이름·직책·품종을 선언하고, 심지어 가르랑거리는 정도를 10점 만점으로 매기는 PurrLevel이라는 필수 지표까지 진지하게 설계했죠. LinkedIn에는 이를 "SEO와 GEO를 위한 누락된 표준"이라며 그럴듯하게 소개했고, 실제로 SEO 커뮤니티의 몇몇 사람들이 자기 사이트에 이 파일을 추가하거나 별도의 catstxt.org 사이트까지 만들며 판을 키웠습니다.

결과: 고양이 파일도 '증거'를 다 통과했다

결과는 예상대로(?) 충격적이었습니다.

  • 크롤링: PerplexityBot, GPTBot, ClaudeBot, Googlebot이 모두 cats.txt를 가져갔습니다.
  • 색인: Google이 이 파일을 색인했고, Search Console에서 순위 데이터까지 확인할 수 있었습니다.
  • 정보 인용: Google AI Overview는 실존하지 않는 고양이 'Odd'의 직책이 'Render Cat'이고 품종은 턱시도, PurrLevel은 5/7이라는 정보를 자신 있게 나열했습니다. 전부 장난으로 지어낸 내용인데도요.
  • ChatGPT의 인정: 공개 2주 뒤 ChatGPT에게 cats.txt가 검색·LLM 노출에 도움이 되냐고 물으니 "기계를 위한 구조화된 신호"라며 긍정적으로 답했습니다. llms.txt를 팔 때 쓰이던 논리와 토씨 하나 다르지 않았죠.

왜 이 네 가지는 '증거'가 될 수 없을까

핵심 문제는 이 네 가지 관찰이 해당 기술이 실제로 아무 효과가 없어도 똑같이 발생할 수 있다는 점입니다.

  • 크롤러가 파일을 가져왔다는 건 그냥 크롤러의 기본 동작일 뿐, 내용을 신뢰하거나 가중치를 부여했다는 뜻이 아닙니다.
  • Google의 색인도 마찬가지입니다. 색인은 "이 URL과 단어가 존재한다"는 뜻이지, 진실성이나 중요성에 대한 판정이 아닙니다.
  • LLM이 파일 속 정보를 인용한 것도, 사실은 색인된 페이지를 읽고 답을 생성하는 평범한 검색 증강 생성(RAG) 작동 방식일 뿐, llms.txt라는 '표준'을 특별 대우한 게 아니었습니다.
  • 그리고 가장 흥미로운 지점은 ChatGPT의 태도 변화입니다. 처음엔 cats.txt가 도움이 된다고 답했지만, 온라인에 "이거 사실 농담으로 만든 실험 파일이다"라는 설명이 퍼지자 곧바로 "이건 SEO 업계가 논점을 증명하려고 만든 풍자 파일"이라고 답을 바꿨습니다. 파일 자체는 하나도 바뀌지 않았는데 말이죠. 이는 LLM이 직접 실험하거나 근거를 평가하는 게 아니라, 그 순간 인터넷에 가장 많이 퍼져 있는 서술로 수렴해서 답한다는 것을 보여줍니다.

비유하자면 우산을 접었더니 비가 그쳤다고 해서 "우산이 비를 멈췄다"고 결론 내리는 것과 같은 오류입니다.

그럼 llms.txt는 진짜 효과가 없는 걸까?

실제로 OpenAI, Anthropic, Google 중 어느 곳도 검색이나 정보 발견에 llms.txt를 사용한다고 공식 문서화한 적이 없습니다. Google의 John Mueller는 "소비자용 LLM과 챗봇이 웹페이지는 가져오지만 llms.txt는 가져오지 않는다"고 직접 밝히기도 했고, Ahrefs가 10만 개 도메인을 분석한 결과에서도 이 파일은 대상 크롤러에게 대부분 무시당했습니다.

다만 핵심 비판은 "llms.txt가 앞으로도 절대 효과가 없을 것"이라는 게 아닙니다. 문제는 지금 그 효과를 방어하고 판매하는 근거의 품질이 너무 허술하다는 점입니다.

실무자라면 어떻게 해야 할까

  • 검증되지 않은 llms.txt나 최신 GEO(생성형 엔진 최적화) 유행에 시간과 비용을 쏟기 전에, 그게 정말 효과가 확인된 작업인지부터 따져보세요.
  • 미래를 대비해 llms.txt를 미리 추가해두는 것 자체는 비용이 낮으니 나쁘지 않은 선택입니다. 나중에 공급자가 실제 지원을 공식화하면 먼저 준비한 게 이득이 될 수 있으니까요.
  • 다만 지금 이걸 "검증된 AI 답변 최적화 수단"이라고 판매하거나 확신을 갖고 투자하는 건 위험합니다.
  • SEO의 본질은 결국 작고 검증 가능한 작업을 경쟁자보다 꾸준히 더 잘 반복해서 누적 우위를 쌓는 과정이라는 걸 잊지 마세요.

결국 cats.txt 실험이 우리에게 남긴 교훈은 단순합니다. "봇이 크롤링했다", "AI가 언급했다"는 관찰만으로는 아무것도 증명되지 않는다는 것, 그리고 그런 근거로 GEO 전략을 파는 사람이 있다면 한 번쯤 의심해봐야 한다는 것입니다.


원문: https://news.hada.io/topic?id=33017