로컬 LLM 추론은 더 이상 취미용 서버 조립 이야기에 머물지 않는다. GPU, VRAM, PCIe 토폴로지, 샌드박스, 모델 선택이 한 덩어리로 묶이면서 에이전트를 어디서 실행할지 정하는 인프라 문제가 됐다. 로컬 추론의 핵심 질문은 클라우드보다 싸냐가 아니다. 데이터를 밖으로 보낼 수 없는 작업을, 운영 가능한 속도와 장애 범위 안에 가둘 수 있느냐다. 로컬 LLM은 클라우드 절감책이 아니라 통제권 설계다 James O’Beirne의 로컬 LLM 가이드는 Hacker News에서 395포인트와 176개 댓글을 끌어냈다. 관심을 받은 이유는 단순한 하드웨어 자랑이어서가 아니다. 이 글은 로컬 추론을 개인용 장난감이 아니라 독립된 컴퓨팅 스택으로 다룬다. ...
한 줄 요약: 로컬 LLM과 에이전트 인프라는 클라우드 비용보다 데이터 경계, GPU 토폴로지, 장애 격리, 모델 교체 비용을 먼저 봐야 한다. 내 장비에서 돈다는 사실보다, 실패했을 때 어디까지 영향을 주는지가 설계의 핵심이다. 왜 지금 이슈인가 로컬 LLM을 직접 돌리려는 움직임이 다시 커진 이유는 GPU 성능만으로 설명하기 어렵다. hosted API가 편하다는 점은 그대로다. 다만 에이전트가 코드, 문서, 검색, 메신저, 사내 저장소까지 다루기 시작하면서 데이터 경계가 전보다 훨씬 애매해졌다. Jamesob의 로컬 LLM 가이드는 이 긴장을 꽤 직접적으로 보여준다. 약 2천 달러 구성에서는 RTX 3090 두 장과 48GB VRAM으로 Qwen 계열 모델과 Whisper 기반 음성 인식(STT)을 돌린다. 약 4만 달러급 구성에서는 RTX PRO 6000 네 장, 총 384GB VRAM으로 더 큰 모델을 서빙한다. 정작 눈에 띄는 것은 모델 이름보다 주변 구성이다. PCIe 스위치, NCCL, ACS, IOMMU, 전력 제한, Docker, 내부 DNS, 샌드박스 VM, Gitea, 검색 도구가 함께 나온다. ...