코딩 에이전트 비용 비교가 불붙인 논쟁
한 줄 요약: AI 코딩 에이전트 벤치마크를 볼 때는 어느 모델이 1등인지보다, 같은 코드베이스에서 어떤 권한과 도구, 비용 구조로 실패를 줄였는지를 봐야 한다. 무슨 일이 있었나 Reddit LocalLLaMA에서 Databricks의 코딩 에이전트 벤치마크가 화제가 됐다. 게시글의 핵심은 Databricks가 자사 대규모 코드베이스에서 여러 AI 코딩 에이전트를 비교했고, pi-coding-agent가 Claude Code나 Codex 계열보다 비용 면에서 약 2배 유리하면서도 높은 통과율을 보였다는 해석이다. 같은 글에는 GLM 5.2가 고성능 폐쇄형 모델과 비슷한 수준의 코딩 성능을 보였다는 주장도 붙었다. 다만 이 수치는 범용 지능 순위가 아니다. Databricks의 코드베이스, 태스크 구성, 평가 방식, 도구 사용 방식 안에서 나온 결과다. ...