본문으로 건너뛰기

#serving

2

문서

0

카테고리

2k

단어

12

분 읽기

관련 카테고리: 없음

문서 목록

vLLM·llm-d·MoE·NeMo — GPU 위에서 실제로 모델을 서빙·분산 추론·파인튜닝하는 AI 프레임워크 계층

vLLM의 PagedAttention, 병렬화 전략, Multi-LoRA, 하드웨어 지원 아키텍처