Llama 4 FM 서빙 벤치마크: GPU vs AWS Custom Silicon
vLLM 기반 Llama 4 모델 서빙에서 GPU 인스턴스(p5, p4d, g6e)와 AWS 커스텀 실리콘(Trainium2, Inferentia2)의 성능 및 비용 효율성 비교 벤치마크
4개 문서가 "vllm" 태그에 분류되었습니다
모든 태그 보기llm-d 기반 EKS 분산 추론 배포 가이드
llm-d를 활용한 EKS 환경에서의 Kubernetes 네이티브 분산 추론 배포 및 운영 가이드 — Auto Mode와 Karpenter 배포 전략 비교
MoE 모델 서빙 가이드
Mixture of Experts 모델의 EKS 기반 배포 및 최적화 전략
vLLM 기반 FM 배포 및 성능 최적화
vLLM을 활용한 Foundation Model 배포, Kubernetes 통합, 성능 최적화 전략