LLM 추론 비용 최적화: KV 캐시와 메모리 병목
한 줄 요약: LLM 추론 비용을 GPU FLOPs와 토큰 단가로만 보면, 디코드(Decode) 구간의 실제 병목인 메모리 대역폭(Memory Bandwidth)과 KV 캐시(KV Cache) 비용을 놓치기 쉽다. 모든 워크로드가 메모리 병목인 것은 아니므로 프리필(Prefill)과 디코드를 나눠서 봐야 한다. 왜 지금 이슈인가 LLM 추론 비용, GPU 인프라, KV 캐시 최적화는 실제로는 같은 문제를 다른 말로 설명하는 경우가 많다. 모델을 처음 띄울 때는 GPU 사용률, 초당 토큰 수, 시간당 인스턴스 비용을 먼저 본다. 그런데 트래픽이 늘고 대화 컨텍스트가 길어지면 계산이 달라진다. ...