로컬 LLM 인프라 구축 비용과 GPU 병목
로컬 LLM 추론은 더 이상 취미용 서버 조립 이야기에 머물지 않는다. GPU, VRAM, PCIe 토폴로지, 샌드박스, 모델 선택이 한 덩어리로 묶이면서 에이전트를 어디서 실행할지 정하는 인프라 문제가 됐다. 로컬 추론의 핵심 질문은 클라우드보다 싸냐가 아니다. 데이터를 밖으로 보낼 수 없는 작업을, 운영 가능한 속도와 장애 범위 안에 가둘 수 있느냐다. 로컬 LLM은 클라우드 절감책이 아니라 통제권 설계다 James O’Beirne의 로컬 LLM 가이드는 Hacker News에서 395포인트와 176개 댓글을 끌어냈다. 관심을 받은 이유는 단순한 하드웨어 자랑이어서가 아니다. 이 글은 로컬 추론을 개인용 장난감이 아니라 독립된 컴퓨팅 스택으로 다룬다. ...