아이폰 27B 로컬 LLM, 1비트 양자화의 의미
한 줄 요약: Bonsai 27B 아이폰 로컬 LLM 시연이 화제가 된 데는 27B 모델을 3.9GB에 담았다는 사실보다 더 살펴볼 부분이 있다. 모델 크기와 함께 양자화로 인한 품질 손실, 실제 처리 속도, 데이터가 오가는 범위를 확인해야 로컬 AI의 실용성을 판단할 수 있다. 무슨 일이 있었나 27B급 언어 모델은 스마트폰에서 실행하기 어렵다는 인식이 강했다. FP16 가중치만 단순 계산해도 약 54GB가 필요하기 때문이다. 그런데 PrismML이 Qwen3.6-27B를 기반으로 만든 Bonsai 27B를 아이폰에서 로컬로 실행하는 시연을 공개했다. ...