가속 컴퓨팅 인프라
4분 읽기
Kubernetes 위에서 어떤 가속 인스턴스를 · 어떻게 스케줄링하고 · 어떤 드라이버·파티셔닝 스택으로 관리할지 를 다루는 계층입니다. NVIDIA GPU 뿐 아니라 AWS 커스텀 가속기(Trainium/Inferentia)까지 포괄합니다. 이 계층이 확립되어야 상위의 추론 프레임워크(vLLM·llm-d 등)가 안정적으로 돌아갑니다.
EKS GPU 노드 전략Auto Mode vs Karpenter vs Managed Node Group vs Hybrid Node — 워크로드별 최적 노드 선택, 보안 강화, 트러블슈팅.GPU 리소스 관리Karpenter NodePool, KEDA 스케일링, DRA 동적 리소스 할당, Spot/Consolidation 비용 최적화 전략.NVIDIA GPU 스택GPU Operator ClusterPolicy, DCGM 모니터링, MIG·Time-Slicing 파티셔닝, Dynamo 추론 프레임워크.AWS Neuron 스택Trainium2/Inferentia2, Neuron SDK 2.x, aws-neuron-device-plugin, NxD Inference, vLLM Neuron backend.CRIU GPU Migration (Preview)Spot reclaim·노드 교체 시 GPU 워크로드 checkpoint/restore 기술 동향과 EKS 적용 시나리오 검증 체크리스트.
선택 가이드
NVIDIA 중심이면 노드 전략 → 리소스 관리 → NVIDIA 스택, AWS 실리콘(Trainium/Inferentia) 을 고려한다면 노드 전략 → Neuron 스택 으로 이어 읽으세요.
관련 문서
- EKS 디버깅 — GPU·AI 워크로드 — GPU 노드·드라이버·DCGM 트러블슈팅 플레이북
- vLLM 모델 서빙 — 상위 추론 엔진 계층
- llm-d EKS Auto Mode — Disaggregated Serving·Auto Mode 사례