모델 서빙 & 추론 인프라
GPU 인프라·추론 프레임워크·추론 최적화 계층 안내와, LLM 추론 요청 경로 전체의 계층별 튜닝 레버(인퍼런스 게이트웨이·prefill/decode 분 리·KV cache-aware 라우팅·LMCache·캐시 히트 전략)를 한 장의 지도로 정리
GPU 인프라·추론 프레임워크·추론 최적화 계층 안내와, LLM 추론 요청 경로 전체의 계층별 튜닝 레버(인퍼런스 게이트웨이·prefill/decode 분 리·KV cache-aware 라우팅·LMCache·캐시 히트 전략)를 한 장의 지도로 정리