추론 프레임워크

GPU 인프라 위에서 실제로 LLM 을 서빙·분산 추론·파인튜닝 하는 AI 프레임워크 계층입니다. 단일 노드 고성능 서빙(vLLM), Kubernetes 네이티브 분산 추론(llm-d), MoE 모델 처리, NVIDIA NeMo 기반 학습까지 포함합니다.

🚀

vLLM 모델 서빙

PagedAttention 기반 고성능 LLM 추론, Continuous Batching, Tensor/Pipeline Parallelism, Multi-LoRA 핫스왑.

🔀

llm-d 분산 추론

Kubernetes 네이티브 분산 추론 스케줄러, KV Cache-aware 라우팅, Prefix Cache 최적화, Disaggregated Serving.

🧩

MoE 모델 서빙

Mixture of Experts 모델 효율 서빙 — Expert Parallelism, 동적 라우팅, 메모리 최적화.

🧠

NeMo 프레임워크

NVIDIA NeMo 기반 대규모 학습·파인튜닝, 분산 학습, EFA 고속 네트워크, 체크포인팅.

학습 순서

vLLM → llm-d → MoE → NeMo 순으로 읽으면 "단일 노드 최적화 → 분산 추론 → 대규모 MoE → 학습 프레임워크" 의 점진적 난이도를 따라갈 수 있습니다.