LLM-추론-비용 on gnosyslambda's log

LLM-추론-비용 on gnosyslambda's log https://gnosyslambda.github.io/tags/llm-%EC%B6%94%EB%A1%A0-%EB%B9%84%EC%9A%A9/ Recent content in LLM-추론-비용 on gnosyslambda's log gnosyslambda's log https://gnosyslambda.github.io/images/og-image.png https://gnosyslambda.github.io/images/og-image.png Hugo ko Sat, 11 Jul 2026 22:45:30 +0900 LLM 추론 비용 최적화: KV 캐시와 메모리 병목 https://gnosyslambda.github.io/posts/2026-07-11-llm-inference-memory-bandwidth/ Sat, 11 Jul 2026 22:45:30 +0900 https://gnosyslambda.github.io/posts/2026-07-11-llm-inference-memory-bandwidth/ LLM 추론 비용의 핵심 병목을 FLOPs가 아닌 KV 캐시와 GPU 메모리 대역폭 관점에서 분석합니다. 프리필·디코드 분리와 운영 판단 기준을 정리합니다.