본문으로 건너뛰기

Inference Optimization on EKS

8분 읽기
AI용 문서 안내

개요​

추론 지연, 처리량, GPU 메모리, 비용을 함께 측정하고 병목에 맞는 최적화 기법을 선택하는 문서 모음입니다. 먼저 추론 인프라 개요에서 L0–L5 튜닝 계층을 확인한 뒤, 아래 문서에서 구현 조건과 검증 절차를 살펴보세요. 이 계층은 플랫폼 전체의 6개 런타임 레이어와 별도의 분석 관점입니다.

최적화 결과는 모델, 입력·출력 길이, 동시 요청 수, 하드웨어, 라우팅 정책에 따라 달라집니다. 이 페이지는 운영 환경의 성능이나 절감률을 보장하는 구성표가 아니라 상세 문서의 선택 기준을 제공합니다.

다루는 내용​

이 카테고리의 전체 문서입니다. 게이트웨이 구성과 모델 선택 정책은 별도의 추론 라우팅 카테고리에서 다룹니다.

문서별 핵심 주제​

핵심 성능 지표​

서비스별 SLO와 동일한 요청 집합을 기준으로 전후를 비교합니다. 아래 지표에 공통으로 적용되는 보편적 목표값은 없습니다.

지표확인할 내용함께 기록할 조건
TTFT요청 시작부터 첫 토큰까지의 지연 분포대기 시간 포함 여부, 입력 길이, 동시성
출력 토큰 처리량완료된 요청의 생성 토큰 수 / 측정 시간클라이언트별 속도와 서버 전체 처리량 구분
GPU 메모리·사용률메모리 여유, 연산·메모리 병목GPU 종류, 정밀도, 배치 설정
캐시 히트율재사용 단위별 적중 수와 조회 수토큰·요청 분모, 캐시 종류, cold/warm 구간
꼬리 지연·오류율p95/p99 응답 지연과 완료율타임아웃·재시도·실패 요청 포함
품질·비용평가 통과율과 성공 요청당 총비용평가셋, GPU 대기 비용, 게이트웨이·저장소 비용

EKS GPU 인프라 전략​

3가지 배포 모델 비교​

노드 관리 방식과 GPU 소프트웨어의 관리 주체를 먼저 구분합니다. GPU 개수나 모델 크기로 노드 관리 방식을 자동 결정하지 않습니다.

방식관리 경계상세 확인
EKS Auto ModeEKS가 GPU 드라이버와 Device Plugin을 관리제공 기능과 사용자 설치 구성요소의 지원 범위
KarpenterNodePool 정책에 따라 노드를 프로비저닝선택한 AMI, GPU 구성요소, 정적·동적 용량 구분
Managed Node Group노드 그룹과 AMI를 기준으로 용량 관리AMI 사전 설치 구성요소와 별도 설치할 드라이버/플러그인

DRA 지원 여부는 Kubernetes 버전과 용량 프로비저닝 방식에 따라 확인합니다. 현재 EKS NVIDIA 장치 관리 안내는 Auto Mode를 제외하고 Karpenter 정적 용량, MNG, 자체 관리 노드를 구분합니다. 세부 선택 기준은 GPU 노드 전략을 참고하세요.

GPU 인스턴스 선택 매트릭스​

결정 항목검토 기준
메모리가중치 정밀도, KV Cache, 동시성, 런타임 여유분
통신단일 GPU·노드 내·노드 간 병렬화에 필요한 대역폭
가용성목표 리전·AZ의 용량, 할당량, 대체 인스턴스
비용조회 날짜·리전·구매 옵션을 명시한 견적과 실측 처리량

모델 파라미터 수만으로 GPU 수를 정하지 않습니다. vLLM 서빙에서 메모리 설정을, GPU 리소스 관리에서 할당 정책을 확인합니다.

Auto Mode GPU Operator 하이브리드 구성​

Auto Mode가 관리하는 구성요소를 별도 GPU Operator가 중복 관리하지 않도록 해야 합니다. AL2023 또는 Bottlerocket용 GPU Operator 설치 옵션을 Auto Mode에 그대로 적용하는 일반 설치 절차는 제공하지 않습니다.

가속 AMI 안내의 GPU Operator 설정은 AMI별 사전 설치 구성요소에 따라 다릅니다. 관측성만 필요한 경우에도 대상 노드의 지원 범위를 확인하고 NVIDIA GPU 스택의 구성요소별 설명을 참고하세요.

모델 규모별 권장 아키텍처​

의사결정 플로우​

글씨가 작으면 확대해서 확인할 수 있습니다.
추론 배포 방식 선택
먼저 단일 GPU에서 메모리와 SLO를 확인하고, 필요할 때 노드 내 병렬화와 멀티노드를 검토한다.

3-Tier 권장 구성​

다음은 검토 순서입니다. 특정 파라미터 수에 대응하는 고정 사양이 아닙니다.

단계적용 조건다음 문서
단일 GPU메모리와 SLO를 모두 충족vLLM 서빙
노드 내 병렬화단일 GPU의 메모리 또는 성능 한계MoE 서빙
멀티노드·분리 서빙측정 결과 노드 내 구성이 부족Disaggregated Serving

하이브리드 아키텍처: 전체 그림​

EKS, 온프레미스, 관리형 모델 API를 함께 사용하는 경우 티어드 게이트웨이에서 각 계층의 책임을 확인합니다. 폴백 대상의 API·도구 호출 호환성, 데이터 전송 정책, 할당량, 응답 품질을 검증해야 합니다. 라우팅 경로가 있다는 사실만으로 중단 없는 서비스를 보장하지 않습니다.

마이그레이션 경로​

  1. 단일 경로에서 성능·품질·비용 기준선을 기록합니다.
  2. 확인된 병목에 맞춰 캐시, 라우팅, 배치 설정 중 하나를 변경합니다.
  3. 동일한 평가셋과 부하 조건으로 회귀를 확인합니다.
  4. 제한된 트래픽에서 검증한 뒤 확대하고, 기존 경로로 복구할 조건을 정합니다.

참고 자료​

공식 문서​

논문·기술 블로그​

구현 프로젝트의 구성은 선택한 릴리스와 문서의 예제를 함께 확인합니다.

관련 문서​