4 docs tagged with "inference"

Inference Gateway 및 Dynamic Routing

Kgateway 기반 AI 모델 추론 요청의 동적 라우팅 및 로드 밸런싱 구성

Llama 4 FM Serving Benchmark: GPU vs AWS Custom Silicon

Performance and cost efficiency comparison of GPU instances (p5, p4d, g6e) vs AWS custom silicon (Trainium2, Inferentia2) for Llama 4 model serving with vLLM

SageMaker-EKS 하이브리드 ML 아키텍처

SageMaker에서 학습하고 EKS에서 서빙하는 하이브리드 ML 아키텍처

vLLM 기반 FM 배포 및 성능 최적화

vLLM을 활용한 Foundation Model 배포, Kubernetes 통합, 성능 최적화 전략