AI 스크래퍼 트래픽 방어 전략
한 줄 요약: AI 스크래퍼와 주거용 프록시는 웹 크롤링 차단만의 문제가 아니다. 익명 트래픽, 봇 방어, 검색 접근성, 운영 비용이 한꺼번에 얽힌 인프라 문제다. 왜 지금 이슈인가 AI 스크래퍼, 주거용 프록시, 봇 방어는 이제 작은 웹사이트 운영자만의 고민이 아니다. LWN 사례에서 까다로운 지점은 트래픽 양보다 출처를 식별하기 어려운 방식이었다. 몇 시간 동안 수백만 개의 고유 IP에서 요청이 들어오고, 각 IP는 두세 번만 접근한 뒤 사라진다. 사용자 에이전트(User-Agent)는 믿기 어렵다. CSS나 이미지를 요청하지 않는 패턴을 보고 봇으로 판단할 즈음에는 이미 그 주소가 다시 쓰이지 않는다. ...