추론 게이트웨이 배포
2026-04-20 작성2026-07-15 수정2분 읽기
개요
이 섹션은 kgateway·Bifrost 기반 2-Tier 추론 게이트웨이의 실전 배포 절차를 다룹니다. Helm 설치, HTTPRoute 구성, OTel 연동, 트러블슈팅을 포함합니다.
게이트웨이 개념·라우팅 전략은 모델 서빙 섹션으로 이동했습니다
게이트웨이 계층 정의, 라우팅 전략, Cascade 튜닝, OpenClaw 구현 예시는 추론 인프라 내러티브와 함께 보도록 모델 서빙 & 추론 인프라 섹션으로 이동했습니다. 전체 구조는 추론 인프라 개요, 계층 정의는 티어드 게이트웨이 아키텍처, 라우팅 전략은 라우팅 전략을 참조하세요.
문서 목록
📄️ Inference Gateway 배포
kgateway 기반 Inference Gateway의 단계별 배포 가이드 (기본/고급/트러블슈팅)
📄️ 1. 기본 배포
kgateway 설치, HTTPRoute 설정, Bifrost Gateway Mode 구성
📄️ 2. 고급 기능
LLM Classifier, CloudFront/WAF, Semantic Caching 구성
📄️ 3. 트러블슈팅
Inference Gateway 배포 및 운영 중 발생하는 일반적 인 문제와 해결 방법