Skip to main content

#routing

1

문서

0

카테고리

1k

단어

7

분 읽기

관련 카테고리: 없음

문서 목록

LLM 추론이 인프라 레벨에서 동작하는 전체 요청 경로와, 계층별 튜닝 레버(인퍼런스 게이트웨이·prefill/decode 분리·context/KV cache-aware 라우팅·LMCache·캐시 히트 전략)를 한 장의 지도로 정리