Skip to main content

#model-serving

4

문서

1

카테고리

3k

단어

15

분 읽기

관련 카테고리: "genai-aiml"

문서 목록

GPU 인프라 계층과 추론·학습 프레임워크 계층으로 나뉜 모델 서빙 가이드

SageMaker HyperPod Inference Operator의 관리형 KV 캐시·지능형 라우팅·DPD를 Tiered Gateway와 비교하고, L2 추론 라우팅 레이어로서의 역할과 한계를 정리

Mixture of Experts 모델의 아키텍처 개념, 분산 배포 전략, 성능 최적화 원리

커스텀 모델 배포·파인튜닝 파이프라인·MLOps 오케스트레이션·지속 학습 파이프라인