본문으로 건너뛰기

1개 문서가 "lmcache" 태그에 분류되었습니다

모든 태그 보기

LMCache: KV 캐시 오프로딩과 공유

GPU 메모리 너머 CPU·디스크로 KV 캐시를 오프로딩하고 추론 인스턴스 간 공유하는 LMCache의 개념과, vLLM prefix cache·NIXL·kvaware 라우팅과의 관계