AI 에이전트 웹사이트 최적화: llms.txt와 MCP
한 줄 요약: AI 에이전트 시대의 웹 최적화는 HTML 용량을 줄이는 일이 아니라, 어떤 데이터를 어떤 비용과 권한으로 읽게 할지 정하는 인터페이스 설계에 가깝다. 왜 지금 이슈인가 AI 에이전트가 웹사이트를 읽을 때 쓰는 토큰 비용은 이제 에이전트 개발자만의 문제가 아니다. 페이지가 무거우면 에이전트는 내비게이션, 스타일, 스크립트, 구조화 데이터까지 함께 읽고, 그만큼 토큰 예산을 쓴다. 원문은 이 문제를 웹사이트 소유자의 책임으로 돌려본다. 브라우저에는 기존 HTML을 주고, 에이전트가 요청하면 같은 URL에서 마크다운(Markdown) 형태를 주는 콘텐츠 협상(Content Negotiation)을 제안한다. llms.txt는 사이트 구조를 한 번에 알려주는 지도 역할을 한다. ...