그라파나-대시보드

한 줄 요약 — 오픈라우터(OpenRouter)의 브로드캐스트 기능을 통해 별도의 코드 수정 없이 LLM 호출 데이터를 그라파나 클라우드(Grafana Cloud)로 전송하고, 비용과 성능을 실시간으로 추적하는 방법입니다. 왜 LLM 옵저버빌리티를 고민해야 할까? 로컬 환경이나 노트북에서 API 키를 넣어 모델을 테스트할 때는 비용이나 지연 시간(Latency)이 크게 와닿지 않습니다. 하지만 서비스를 실제 운영 환경으로 옮기는 순간 상황은 완전히 달라집니다. 사용자 한 명이 질문을 던질 때마다 얼마의 비용이 발생하는지, 특정 모델의 응답 속도가 갑자기 느려지지는 않았는지 실시간으로 파악해야 합니다. ...