AI 크롤러 보안 이슈, Crawl4AI가 뜬 이유
한 줄 요약: Crawl4AI가 GitHub Trending에 오른 일은 웹 크롤러 하나의 인기보다, AI 제품에서 데이터 수집을 누가 통제하고 책임질 것인지 묻는 사례에 가깝다. 무슨 일이 있었나 Crawl4AI는 LLM에 넣기 쉬운 웹 크롤러와 스크레이퍼를 내세우는 오픈소스 Python 프로젝트다. 제공된 GitHub Trending 스냅샷 기준으로 별은 71,680개, 하루 증가분은 195개다. 프로젝트 설명은 웹페이지를 RAG, 에이전트, 데이터 파이프라인에 넣기 쉬운 Markdown으로 바꿔주는 도구라는 점에 맞춰져 있다. 관련된 쪽은 unclecode/crawl4ai 프로젝트와 이를 쓰는 개발자 커뮤니티다. 범위도 단순 CLI 도구에 그치지 않는다. Python 패키지, Docker API 서버, 브라우저 자동화, 프록시, 세션, 쿠키, LLM 기반 추출, CSS/XPath 기반 추출까지 묶여 있다. ...