비공개 LLM 토크나이저 역추출 논란
한 줄 요약: 폐쇄형 LLM 토크나이저를 Chat API만으로 재구성할 수 있을까. 이 질문이 눈길을 끈 건 해킹 놀이여서가 아니다. 모델 API가 내부 동작을 어디까지 새어 나오게 하는지, 플랫폼이 어느 선까지 예측 가능성을 책임져야 하는지 건드렸기 때문이다. 무슨 일이 있었나 Reddit LocalLLaMA에 폐쇄형 LLM 토크나이저를 Chat API만으로 재구성할 수 있는지 묻는 글이 올라왔다. 제공된 자료만으로는 게시 날짜를 확인할 수 없다. 논의의 초점은 꽤 분명하다. 작성자는 Chat API에서 두 가지 관찰 지점을 얻을 수 있다고 봤다. ...