한 줄 요약: Bonsai 27B 아이폰 로컬 LLM 시연이 화제가 된 데는 27B 모델을 3.9GB에 담았다는 사실보다 더 살펴볼 부분이 있다. 모델 크기와 함께 양자화로 인한 품질 손실, 실제 처리 속도, 데이터가 오가는 범위를 확인해야 로컬 AI의 실용성을 판단할 수 있다. 무슨 일이 있었나 27B급 언어 모델은 스마트폰에서 실행하기 어렵다는 인식이 강했다. FP16 가중치만 단순 계산해도 약 54GB가 필요하기 때문이다. 그런데 PrismML이 Qwen3.6-27B를 기반으로 만든 Bonsai 27B를 아이폰에서 로컬로 실행하는 시연을 공개했다. ...
한 줄 요약: OpenMed 1.8 논쟁의 초점은 의료 데이터 비식별화 도구가 로컬 AI로 돌아간다는 기술 성과보다, 환자 데이터가 어디까지 이동해도 되는지에 대한 신뢰 기준이 바뀌고 있다는 데 있다. 무슨 일이 있었나 Reddit LocalLLaMA에 OpenMed 1.8 출시 글이 올라왔다. 작성자는 OpenMed 관리자로 보이며, 이 프로젝트를 Apache-2.0 라이선스의 임상 자연어 처리(Clinical NLP) 툴킷이라고 소개했다. 규칙은 분명하다. 환자 데이터가 사용자의 하드웨어를 떠나지 않는다는 것. 이번 1.8에서 언급된 범위는 꽤 넓다. Android: Kotlin, ONNX Runtime Mobile, ML Kit OCR 기반 OpenMedKit iOS/Swift 및 React Native 브리지 브라우저 런타임: Transformers.js, ONNX Runtime Web, wasm, WebGPU 백엔드 PDF 검증 도구: 검은 박스만 덮은 가짜 삭제를 탐지 DICOM 비식별화: 픽셀에 박힌 텍스트까지 OCR로 처리 언어 식별 패키지 추가 다음 1.9를 위한 공개 이슈 400개 이상 확인된 사실은 여기까지다. OpenMed 1.8은 로컬 실행, 모바일, 브라우저, PDF 검증, DICOM 비식별화를 전면에 내세웠고, Reddit 커뮤니티에서 기여자를 공개 모집했다. ...
한 줄 요약: 로컬 LLM과 에이전트 인프라는 클라우드 비용보다 데이터 경계, GPU 토폴로지, 장애 격리, 모델 교체 비용을 먼저 봐야 한다. 내 장비에서 돈다는 사실보다, 실패했을 때 어디까지 영향을 주는지가 설계의 핵심이다. 왜 지금 이슈인가 로컬 LLM을 직접 돌리려는 움직임이 다시 커진 이유는 GPU 성능만으로 설명하기 어렵다. hosted API가 편하다는 점은 그대로다. 다만 에이전트가 코드, 문서, 검색, 메신저, 사내 저장소까지 다루기 시작하면서 데이터 경계가 전보다 훨씬 애매해졌다. Jamesob의 로컬 LLM 가이드는 이 긴장을 꽤 직접적으로 보여준다. 약 2천 달러 구성에서는 RTX 3090 두 장과 48GB VRAM으로 Qwen 계열 모델과 Whisper 기반 음성 인식(STT)을 돌린다. 약 4만 달러급 구성에서는 RTX PRO 6000 네 장, 총 384GB VRAM으로 더 큰 모델을 서빙한다. 정작 눈에 띄는 것은 모델 이름보다 주변 구성이다. PCIe 스위치, NCCL, ACS, IOMMU, 전력 제한, Docker, 내부 DNS, 샌드박스 VM, Gitea, 검색 도구가 함께 나온다. ...