주거용 프록시와 AI 스크래퍼 논란
한 줄 요약: 주거용 프록시와 AI 스크래퍼 문제는 트래픽 증가만의 문제가 아니다. 남의 기기와 독립 웹사이트에 훈련 데이터 경쟁의 비용을 떠넘기는 구조가 문제다. 무슨 일이 있었나 2026년 7월 10일 LWN은 주거용 프록시(Residential Proxy)를 통한 대규모 스크래퍼 트래픽이 다시 강해졌다고 썼다. LWN이 문제 삼은 것은 검색엔진 크롤러처럼 출처가 분명한 자동 접근이 아니다. 수많은 가정용·모바일 네트워크 IP에서 몇 번씩만 접속하고 사라지는 트래픽이다. 사이트 운영자 입장에서는 훨씬 다루기 어렵다. 몇 시간 동안 수백만 개의 고유 IP에서 요청이 오고, 각 IP는 페이지를 두세 번만 가져간 뒤 사라진다. 사용자 에이전트(User-Agent)는 믿기 어렵다. 이미지나 CSS를 가져가지 않는 패턴으로 봇을 의심할 수는 있지만, 그때는 이미 해당 IP가 다시 쓰이지 않는 경우가 많다. ...