본문으로 건너뛰기

#vllm-semantic-router

2

문서

0

카테고리

5k

단어

26

분 읽기

관련 카테고리: 없음

문서 목록

요청 복잡도 기반 모델 자동 라우팅 — LLM Classifier·LiteLLM·vLLM Semantic Router 구현 접근 비교와 RouteLLM 연구 참조, 비용 절감 효과

kgateway + Bifrost/LiteLLM 2-Tier 아키텍처와 Cascade Routing, Semantic Router, Hybrid Routing 설계 패턴