AI-스크래퍼

한 줄 요약: 주거용 프록시와 AI 스크래퍼 문제는 트래픽 증가만의 문제가 아니다. 남의 기기와 독립 웹사이트에 훈련 데이터 경쟁의 비용을 떠넘기는 구조가 문제다. 무슨 일이 있었나 2026년 7월 10일 LWN은 주거용 프록시(Residential Proxy)를 통한 대규모 스크래퍼 트래픽이 다시 강해졌다고 썼다. LWN이 문제 삼은 것은 검색엔진 크롤러처럼 출처가 분명한 자동 접근이 아니다. 수많은 가정용·모바일 네트워크 IP에서 몇 번씩만 접속하고 사라지는 트래픽이다. 사이트 운영자 입장에서는 훨씬 다루기 어렵다. 몇 시간 동안 수백만 개의 고유 IP에서 요청이 오고, 각 IP는 페이지를 두세 번만 가져간 뒤 사라진다. 사용자 에이전트(User-Agent)는 믿기 어렵다. 이미지나 CSS를 가져가지 않는 패턴으로 봇을 의심할 수는 있지만, 그때는 이미 해당 IP가 다시 쓰이지 않는 경우가 많다. ...

한 줄 요약: AI 스크래퍼와 주거용 프록시는 웹 크롤링 차단만의 문제가 아니다. 익명 트래픽, 봇 방어, 검색 접근성, 운영 비용이 한꺼번에 얽힌 인프라 문제다. 왜 지금 이슈인가 AI 스크래퍼, 주거용 프록시, 봇 방어는 이제 작은 웹사이트 운영자만의 고민이 아니다. LWN 사례에서 까다로운 지점은 트래픽 양보다 출처를 식별하기 어려운 방식이었다. 몇 시간 동안 수백만 개의 고유 IP에서 요청이 들어오고, 각 IP는 두세 번만 접근한 뒤 사라진다. 사용자 에이전트(User-Agent)는 믿기 어렵다. CSS나 이미지를 요청하지 않는 패턴을 보고 봇으로 판단할 즈음에는 이미 그 주소가 다시 쓰이지 않는다. ...