추론 게이트웨이

개요

Agentic AI 플랫폼의 핵심 데이터 플레인은 추론 게이트웨이이다. kgateway(Tier 1)로 인증·Rate Limit·Guardrails를 수행하고, Bifrost(Tier 2)로 모델 라우팅·Fallback·비용 추적을 수행하는 2-Tier 구조를 권장한다. 본 섹션은 라우팅 전략 개요, 실배포 가이드, Cascade Routing 튜닝, OpenClaw 구현 예시를 제공한다.

문서 목록

📄️ 网关路由策略

kgateway + Bifrost/LiteLLM 2-Tier 架构和 Cascade Routing、Semantic Router、Hybrid Routing 设计模式

📄️ Cascade Routing 调优

基于生产 trace 数据调优 Inference Gateway Cascade Routing 的分类阈值、Canary 部署、Fallback 和成本漂移告警

📄️ OpenClaw AI Gateway

在 EKS 上成本优化部署 OpenClaw AI Agent Gateway，通过 Bifrost Auto-Router + Cilium Hubble + Langfuse 实现 Full Observability

🗃️ 部署指南

3 个项目