AI 코딩 벤치마크 오류, SWE-Bench Pro 논란
한 줄 요약: SWE-Bench Pro 과제의 약 30%가 깨졌다는 OpenAI 감사 결과는 AI 코딩 에이전트의 성능 지표를 그대로 믿기 어렵다는 사례다. 실제 업무에 쓰기 전에 점수가 무엇을 재는지부터 확인해야 한다. 무슨 일이 있었나 2026년 7월 8일, OpenAI는 코딩 평가 벤치마크 SWE-Bench Pro를 감사한 결과를 공개했다. SWE-Bench Pro는 실제 저장소의 변경 이력에서 과제를 만들고, 모델이 기능을 구현해 숨겨진 테스트를 통과하는지 보는 평가다. OpenAI는 이전에 SWE-bench Verified의 설계와 오염 문제를 지적하며 SWE-Bench Pro 사용을 권한 적이 있다. 이번 글에서는 그 추천을 철회했다. 731개 공개 과제 중 상당수가 모델 능력을 제대로 재는 과제가 아니었다는 이유다. ...