Request Cascading — 지능형 모델 라우팅
요청 복잡도 기반 모델 자동 라우팅 — LLM Classifier·LiteLLM·vLLM Semantic Router 구현 접근 비교와 RouteLLM 연구 참조, 비용 절감 효과
2개 문서가 "vllm-semantic-router" 태그에 분류되었습니다
모든 태그 보기추론 게이트웨이 & LLM Gateway 라우팅 전략
kgateway + Bifrost/LiteLLM 2-Tier 아키텍처와 Cascade Routing, Semantic Router, Hybrid Routing 설계 패턴