4 docs tagged with "vllm"

Llama 4 FM Serving Benchmark: GPU vs AWS Custom Silicon

Performance and cost efficiency comparison of GPU instances (p5, p4d, g6e) vs AWS custom silicon (Trainium2, Inferentia2) for Llama 4 model serving with vLLM

llm-d 기반 EKS 분산 추론 배포 가이드

llm-d를 활용한 EKS 환경에서의 Kubernetes 네이티브 분산 추론 배포 및 운영 가이드 — Auto Mode와 Karpenter 배포 전략 비교

MoE 모델 서빙 가이드

Mixture of Experts 모델의 EKS 기반 배포 및 최적화 전략

vLLM 기반 FM 배포 및 성능 최적화

vLLM을 활용한 Foundation Model 배포, Kubernetes 통합, 성능 최적화 전략