본문으로 건너뛰기

30개 문서가 "scope:impl" 태그에 분류되었습니다

모든 태그 보기

CNI 구성과 Pod CIDR 라우팅

EKS Hybrid Nodes의 CNI 선택 기준과 Cilium 핵심 구성 — 하이브리드 노드 전용 affinity, cluster-pool IPAM, Pod CIDR 라우팅 방식(BGP·정적·Gateway) 선택과 Cilium BGP Control Plane 구성 절차를 다룹니다.

Continuous Training Pipeline

Langfuse trace를 자동 학습 데이터로 승격해 GRPO/DPO preference tuning과 Canary 배포까지 연결하는 EKS 기반 5단계 파이프라인 개요.

EKS Hybrid Nodes 공유 파일 스토리지 솔루션

EKS Hybrid Nodes 환경에서 공유 파일 스토리지 구현을 위한 포괄적 가이드로, AWS 관리형 서비스, 엔터프라이즈 스토리지 통합 및 Amazon Linux 2023 대체 접근법을 다룹니다.

Eval Gate · Registry · KPI

학습된 체크포인트의 Threshold 검증, kgateway 기반 Canary 점진 배포, MLflow Registry 버전 관리, 회귀 시 자동 롤백, 비용·품질 KPI 대시보드 구성.

GPU 스케줄링과 클라우드 폴백

EKS Hybrid Nodes GPU 노드의 자원 격리(taint) 설계, 하이브리드 전용 NVIDIA Device Plugin 배포, Karpenter 기반 클라우드 GPU 폴백 NodePool 구성으로 고가용성 GenAI 추론 계층을 설계합니다.

GRPO/DPO 학습 Job

레이블링된 preference 데이터셋으로 NeMo-RL(GRPO)·TRL(DPO) 학습 Job을 Karpenter Spot 노드풀 + Volcano Gang Scheduling으로 실행하는 실전 구성.

Harbor 2.15와 EKS Hybrid Nodes 통합 가이드

Harbor 2.15 프라이빗 컨테이너 레지스트리를 Amazon EKS Hybrid Nodes (Kubernetes 1.33)와 통합하기 위한 완전한 단계별 가이드로, 설치, SSL/TLS 구성, 인증 및 문제 해결을 다룹니다.

Hybrid Nodes Gateway 구축과 운영

Amazon EKS Hybrid Nodes Gateway의 동작 메커니즘부터 Cilium VTEP 재구성, Helm 설치, 인스턴스 사이징, failover·모니터링·제거까지 구축과 운영 전 과정을 다룹니다.

Trace → Dataset Materializer

Langfuse OTel 트레이스를 S3 Parquet/Iceberg로 적재하고 Ragas + LLM Judge Fleet로 Reward를 레이블링해 GRPO/DPO 학습 데이터셋을 자동 구성합니다.

고급 기능

LLM Classifier, CloudFront/WAF, Semantic Caching 구성

기본 배포

kgateway 설치, HTTPRoute 설정, Bifrost Gateway Mode 구성

로드밸런싱과 서비스 노출

EKS Hybrid Nodes 워크로드의 외부 노출 설계 — 트래픽 발원지 기준 NLB vs Cilium 내장 LB 결정 원칙, AWS Load Balancer Controller 구성 요건, Cilium LB IPAM·BGP 광고, MetalLB 등 커뮤니티 옵션을 다룹니다.

방화벽·DNS 사전 등록과 TGW 토폴로지

EKS Hybrid Nodes 도입 시 방화벽·네트워크 조직에 제출할 5존 사전 등록 룰 표, FQDN 와일드카드 미지원 환경 대응, Transit Gateway 토폴로지와 온프레미스 LB 경로 설계를 다룹니다.

사설 폐쇄망 VPC 엔드포인트 설계

인터넷이 차단된 사설 폐쇄망에서 EKS Hybrid Nodes를 운영하기 위한 VPC 엔드포인트 설계 — Private API 엔드포인트 모드, 용도별 인터페이스 엔드포인트 매핑, S3 Gateway, 온프레미스 DNS 해석 경로를 다룹니다.

오픈 웨이트 모델 자동 배포·관리 파이프라인 아키텍처

HuggingFace 리더보드 스캔부터 벤치마크 재현, 인스턴스별 성능 프로파일링, 멀티 타깃 배포 가이드 생성, 글로벌 스팟 캐파 확보까지 — 오픈 웨이트 모델 온보딩을 7단계 파이프라인으로 자동화하고 사람은 승인 게이트에만 개입하는 아키텍처를 제시합니다

오픈웨이트 모델 배포 가이드

토큰 이코노믹스와 데이터 주권 관점에서 오픈웨이트 LLM 자체 배포를 평가하고 결정하기 위한 고객용 의사결정 가이드

티어드 게이트웨이 아키텍처

Agentic AI 플랫폼의 게이트웨이 계층 단일 정의: Tier 1 Ingress, Tier 2 추론 라우팅(Inference Extension)과 LLM API 게이트웨이, Agent Data Plane의 역할 구분과 채움 전략

하이브리드 GPU 워크로드와 SR-IOV 네트워킹

EKS Hybrid Nodes에서 온프렘 GPU 노드를 1차 추론 계층으로 활용하고, DGX H200 SR-IOV VF 이름 불일치 문제를 드라이버 호환성·영구 명명·systemd 오케스트레이션으로 해결하는 실전 가이드