본문으로 건너뛰기

7개 문서가 "prometheus" 태그에 분류되었습니다

모든 태그 보기

LLM 서빙 최적화를 위한 모니터링 전략

캐시 효율·KV 용량·지연·라우팅 지표를 7개 관측 계층으로 연결하고, 스트림 완료·평가 커버리지·품질 점수를 구분하여 서빙 최적화의 효과와 회귀를 검증하는 운영 전략입니다.

Prefix 캐시 히트율 튜닝과 정확도 상관 검증

Prefix 캐시 튜닝의 효율 개선과 품질 회귀를 구분하기 위해 cached 토큰·턴 간격·preemption의 데이터 계약, 상관 분석의 한계, 비열등성 기반 품질 게이트를 정의하는 운영 가이드입니다.

관찰성 스택

AIDLC Operations의 데이터 기반 — 3-Pillar 관찰성 + AI 분석 레이어 구축