MoE 모델 서빙 가이드
Mixture of Experts 모델의 EKS 기반 배포 및 최적화 전략
2 篇文档带有标签「model-serving」
查看所有标签vLLM 기반 FM 배포 및 성능 최적화
vLLM을 활용한 Foundation Model 배포, Kubernetes 통합, 성능 최적화 전략
Mixture of Experts 모델의 EKS 기반 배포 및 최적화 전략
vLLM을 활용한 Foundation Model 배포, Kubernetes 통합, 성능 최적화 전략