# Engineering Playbook > Amazon EKS 기반 인프라, Agentic AI 플랫폼, AI/ML 워크플로우, 보안, 자동화된 운영에 대한 실전 엔지니어링 가이드 This file follows the llmstxt.org convention. It indexes all 181 documentation pages with links and summaries. - Site: https://devfloor9.github.io/engineering-playbook - Full text: https://devfloor9.github.io/engineering-playbook/llms-full.txt - LLM Wiki (per-page markdown + manifest): https://devfloor9.github.io/engineering-playbook/llm-wiki/manifest.json - Language: Korean (ko) primary, English (en) mirror under /en/ - Topics: Amazon EKS, Agentic AI, model serving (vLLM/llm-d), MLOps, observability, security & governance ## Getting Started - [Engineering Playbook 소개](https://devfloor9.github.io/engineering-playbook/docs/intro): 클라우드 네이티브 아키텍처 엔지니어링 플레이북 & 벤치마크 리포트 ## EKS Best Practices - [EKS Best Practices](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices): Amazon EKS 프로덕션 운영을 위한 네트워크, Control Plane, 보안, 비용 최적화 종합 가이드 - [Control Plane & 확장](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/control-plane-scaling): EKS Control Plane 동작 원리, CRD 스케일링 전략, 멀티 클러스터 고가용성 아키텍처 - [Cross-Cluster Object Replication (HA) 아키텍처 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/control-plane-scaling/cross-cluster-object-replication): EKS 멀티 클러스터 환경에서 오브젝트 복제를 통한 고가용성 아키텍처 패턴과 의사결정 가이드 - [EKS Control Plane Deep Dive — CRD at Scale 종합 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/control-plane-scaling/eks-control-plane-crd-scaling): EKS Control Plane 동작 원리를 이해하고, CRD 기반 플랫폼을 안정적으로 확장하기 위한 Provisioned Control Plane 활용법, 모니터링 전략, CRD 설계 베스트 프랙티스 - [EKS PCP 티어 사이징 & 성능 검증 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/control-plane-scaling/eks-pcp-tier-sizing-validation): PCP 티어별 상세 파라미터, APF seat 산정 공식, 대규모 클러스터 사이징 예시, ClusterLoader2 성능 검증 방법론, 고객 사례 - [네트워크 & 성능 최적화](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance): EKS 환경에서의 DNS 최적화, East-West 트래픽, Gateway API 도입 등 네트워크 및 성능 관련 베스트 프랙티스 - [CoreDNS 모니터링과 성능 최적화 완벽 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/coredns-monitoring-optimization): Amazon EKS의 CoreDNS 성능을 체계적으로 모니터링하고 최적화하는 방법. Prometheus 메트릭, TTL 튜닝, 모니터링 아키텍처, 실제 문제 해결 사례 포함 - [East-West 트래픽 최적화: 성능과 비용의 균형](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/east-west-traffic-best-practice): EKS에서 서비스 간 통신(East-West)의 지연시간을 최소화하고 크로스-AZ 비용을 절감하는 심층 최적화 전략. Topology Aware Routing, InternalTrafficPolicy부터 Cilium ClusterMesh, AWS VPC Lattice, Istio 멀티클러스터까지 - [Gateway API 도입 가이드: NGINX Ingress에서 차세대 트래픽 관리로](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/gateway-api-adoption-guide): NGINX Ingress Controller EOL 대응, Gateway API 아키텍처, GAMMA Initiative, AWS Native vs 오픈소스 솔루션 비교(AWS LBC·Cilium·NGINX Gateway Fabric·Envoy Gateway·kGateway·Kong), Cilium ENI 통합, 마이그레이션 전략 및 벤치마크 계획 - [Cilium ENI 모드 + Gateway API 심화 구성](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/gateway-api-adoption-guide/cilium-eni-gateway-api): Cilium ENI 모드 아키텍처, Gateway API 리소스 구성, 성능 최적화, Hubble 관측성, BGP Control Plane v2 심화 가이드 - [기능별 구현 쿡북: 6개 Gateway API 구현체](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/gateway-api-adoption-guide/feature-implementation-cookbook): 인증·Rate Limiting·IP 제어·URL Rewrite·헤더 조작·세션 어피니티·본문 크기 제한·커스텀 에러 페이지를 AWS LBC·Cilium·NGINX GF·Envoy Gateway·kGateway별 YAML로 구현하는 레퍼런스 - [GAMMA Initiative — 서비스 메시 통합의 미래](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/gateway-api-adoption-guide/gamma-initiative): GAMMA (Gateway API for Mesh Management and Administration) 소개, East-West 트래픽 관리, 서비스 메시 통합 - [마이그레이션 실행 전략](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/gateway-api-adoption-guide/migration-execution-strategy): Gateway API 마이그레이션 5-Phase 전략, CRD 설치, 단계별 실행 가이드, 검증 스크립트, 트러블슈팅 - [AWS Nitro 아키텍처와 성능 튜닝](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/nitro-architecture-performance-tuning): AWS Nitro System의 구성 요소와 v2~v6 세대별 네트워크 변경 사항, 그리고 EKS 노드에서 요구되는 ENA 드라이버·커널 버전과 PPS/CPS 중심 성능 튜닝 전략을 다룹니다. - [운영 & 안정성](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability): EKS 클러스터의 안정적인 운영을 위한 GitOps, 장애 진단, 고가용성, Pod 라이프사이클 관리 베스트 프랙티스 - [EKS 디버깅 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging): Amazon EKS 환경에서 애플리케이션 및 인프라 문제를 체계적으로 진단하고 해결하기 위한 종합 트러블슈팅 가이드 - [EKS Auto Mode 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/auto-mode): EKS Auto Mode 환경에서의 디버깅 가이드 - [컨트롤 플레인 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/control-plane): EKS 컨트롤 플레인 문제 진단 및 해결 가이드 - [GPU/AI 워크로드 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/gpu-ai-workload): EKS에서 GPU/AI 워크로드 디버깅 가이드 - [Probe vs Health Check 불일치 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/health-check-mismatch): K8s Probe와 ALB/NLB/Ingress Controller Health Check의 메커니즘 차이 및 timeout 불일치로 인한 장애 진단 가이드 - [Karpenter 심화 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/karpenter): Karpenter 오토스케일러 심화 디버깅 가이드 - [네트워킹 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/networking): EKS 네트워킹 문제 진단 및 해결 가이드 - VPC CNI, DNS, Service, NetworkPolicy - [노드 레벨 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/node): EKS 노드 문제 진단 및 해결 가이드 - [옵저버빌리티 및 모니터링](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/observability): EKS 옵저버빌리티 스택 구성 및 인시던트 디텍팅 전략 - Container Insights, Prometheus, ADOT - [스토리지 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/storage): EKS 스토리지 문제 진단 및 해결 가이드 - EBS/EFS CSI Driver, PVC 마운트 실패 - [워크로드 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/workload): EKS 워크로드 문제 진단 및 해결 가이드 - Pod 상태별 디버깅, 배포 실패 패턴, Probe 설정 - [EKS Pod 헬스체크 & 라이프사이클 관리](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-pod-health-lifecycle): Kubernetes Probe 설정 전략, Graceful Shutdown 패턴, Pod 라이프사이클 관리 모범 사례 - [EKS Pod 스케줄링 & 가용성 패턴](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-pod-scheduling-availability): Kubernetes Pod 스케줄링 전략, Affinity/Anti-Affinity, PDB, Priority/Preemption, Taints/Tolerations 모범 사례 - [EKS 고가용성 아키텍처 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-resiliency-guide): Amazon EKS 환경에서 고가용성과 장애 회복력을 확보하기 위한 아키텍처 패턴과 운영 전략 가이드 - [GitOps 기반 EKS 클러스터 운영](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/gitops-cluster-operation): 대규모 EKS 클러스터의 안정적인 운영을 위한 GitOps 아키텍처, KRO/ACK 활용 방법, 멀티클러스터 관리 전략 및 자동화 기법을 다룹니다. - [Kubernetes 이벤트 보존과 AI Agent 조회 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/k8s-event-management): EKS Kubernetes 이벤트의 1시간 TTL 제약과 export 파이프라인 설계, EKS·CloudWatch MCP 서버 기반 AI Agent 조회 아키텍처를 다룹니다. - [EKS Node Monitoring Agent](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/node-monitoring-agent): AWS EKS 클러스터의 노드 상태를 자동으로 감지하고 보고하는 Node Monitoring Agent의 아키텍처, 배포 전략, 제한사항, 모범 사례를 다룹니다. - [리소스 & 비용 최적화](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/resource-cost): Karpenter 오토스케일링, Pod 리소스 최적화, EKS 비용 관리 전략 - [대규모 EKS 비용 관리: 30-90% 절감 전략](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/resource-cost/cost-management): Amazon EKS 환경에서 30-90%의 획기적 비용 절감을 달성하는 FinOps 전략. 비용 구조 분석, Karpenter 최적화, 도구 선택, 실제 성공 사례 포함 - [EKS Pod 리소스 최적화 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/resource-cost/eks-resource-optimization): Kubernetes Pod의 CPU/Memory 리소스 설정, QoS 클래스, VPA/HPA 오토스케일링, 리소스 Right-Sizing 전략 - [Karpenter 기반 EKS 스케일링 전략 종합 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/resource-cost/karpenter-autoscaling): Amazon EKS에서 Karpenter를 활용한 스케일링 전략 종합 가이드. 반응형/예측형/아키텍처적 복원력 접근법 비교, CloudWatch와 Prometheus 아키텍처 비교, HPA 구성, 프로덕션 패턴 포함 - [보안 & 인증](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/security-authn): EKS API Server 인증/인가, IAM 통합, Pod Identity 등 보안 관련 베스트 프랙티스 - [EKS API Server 인증/인가 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/security-authn/eks-api-server-authn-authz): Non-Standard Caller(CI/CD, 모니터링, 자동화)의 EKS API Server 접근을 위한 인증/인가 Best Practices ## Agentic AI Platform - [Agentic AI Platform](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform): Agentic AI 플랫폼의 아키텍처, 구축, 운영에 대한 심화 기술 문서 - [설계 & 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture): Agentic AI 플랫폼의 아키텍처 설계, 기술적 도전과제, AWS Native 및 EKS 기반 구현 접근 - [고급 패턴](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/advanced-patterns): 자기개선 피드백 루프 및 고급 Agent 설계 패턴 - [ADR — Self-Improving Agent Loop 도입 의사결정](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/advanced-patterns/adr-self-improving-loop): Self-Improving Agent Loop(자가학습 강화 파이프라인)를 실 운영에 도입하기 전 합의해야 할 원칙·스코프·책임·롤백 경계를 정리한 Architecture Decision Record - [Knowledge Feature Store 확장](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/advanced-patterns/knowledge-feature-store): 전통 Feature Store에 온톨로지·Knowledge Graph를 통합하여 환각 감소·근거 추적·도메인 엔터티 활용을 강화하는 3-plane 설계 - [Self-Improving Agent Loop (Autosearch)](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/advanced-patterns/self-improving-agent-loop): Karpathy의 autosearch 개념을 기반으로 self-hosted SLM이 프로덕션 trace로부터 스스로 학습·강화하는 5-stage 루프 설계와 안전장치 - [플랫폼 기초](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/foundations): Agentic AI 플랫폼의 핵심 아키텍처와 기술적 도전과제 - [Agentic AI 워크로드의 기술적 도전과제](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/foundations/agentic-ai-challenges): Agentic AI 워크로드 운영 시 직면하는 5가지 핵심 도전과제 - [Agentic AI Platform 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/foundations/agentic-platform-architecture): 프로덕션급 Agentic AI 플랫폼의 전체 시스템 아키텍처 — 6개 런타임 레이어와 3개 횡단 플레인 설계 - [플랫폼 선택](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection): AWS 환경에서 Agentic AI 플랫폼 구축을 위한 전략적 선택 가이드 - [AgentCore 하이브리드 전략](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection/agentcore-hybrid-strategy): Bedrock AgentCore 매니지드 서비스와 EKS 기반 self-hosted 에이전트를 결합한 하이브리드 전략 의사결정·패턴 카탈로그 - [EKS 기반 Agentic AI 오픈 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection/agentic-ai-solutions-eks): Amazon EKS와 오픈소스 생태계를 활용한 Agentic AI 플랫폼 구축 가이드 - [AI 플랫폼 선택 가이드: 매니지드 vs 오픈소스 vs 하이브리드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection/ai-platform-decision-framework): SageMaker Unified Studio, Bedrock AgentCore, EKS 오픈 아키텍처 중 고객 상황에 맞는 최적 접근 선택을 위한 의사결정 프레임워크 - [AWS Native Agentic AI Platform: 매니지드 서비스 기반 Agent 중심 접근](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection/aws-native-agentic-platform): Amazon Bedrock, Strands Agents SDK, AgentCore를 활용하여 인프라 운영 부담을 줄이고 Agent 개발에 집중하는 플랫폼 접근 - [소버린 & 하이브리드 배포: 데이터 주권과 리전 강제](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection/sovereign-hybrid-deployment): 데이터 주권 요구를 충족하는 Agentic AI 배포 전략 — SCP 리전 강제, Bedrock Geographic cross-Region inference, EKS Hybrid Nodes 기반 하이브리드·in-country 자체 호스팅 - [모델 서빙 & 추론 인프라](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving): GPU 인프라 계층과 추론·학습 프레임워크 계층으로 나뉜 모델 서빙 가이드 - [GPU 인프라](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure): EKS GPU 노드 전략, Karpenter·KEDA·DRA 리소스 관리, NVIDIA GPU 스택, AWS Neuron 스택 - [AWS Neuron Stack — Trainium2/Inferentia2 on EKS](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure/aws-neuron-stack): EKS 위에서 AWS 커스텀 AI 가속기(Trainium2/Inferentia2)를 운영하기 위한 Neuron SDK, Device Plugin, NxD Inference 가이드 - [CRIU 기반 GPU 무중단 마이그레이션 (Preview)](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure/criu-gpu-migration): Spot reclaim·스케줄링 이벤트 시 GPU 워크로드 checkpoint/restore로 무중단 이관하는 기술 현황과 EKS 적용 가능 시나리오 분석 (Experimental) - [EKS GPU 노드 전략](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure/eks-gpu-node-strategy): EKS Auto Mode, Karpenter, MNG, Hybrid Node의 GPU 워크로드별 최적 노드 전략 - [GPU 리소스 관리](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure/gpu-resource-management): EKS에서 Karpenter, KEDA, DRA를 활용한 GPU 리소스 관리 및 비용 최적화 - [NVIDIA GPU 스택](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure/nvidia-gpu-stack): GPU Operator, DCGM, MIG, Time-Slicing, Dynamo의 아키텍처와 EKS 통합 - [추론 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks): vLLM·llm-d·MoE·NeMo — GPU 위에서 실제로 모델을 서빙·분산 추론·파인튜닝하는 AI 프레임워크 계층 - [HyperPod Inference Operator (관리형 KV 캐시·지능형 라우팅)](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks/hyperpod-inference-operator): SageMaker HyperPod Inference Operator의 관리형 KV 캐시·지능형 라우팅·DPD를 Tiered Gateway와 비교하고, L2 추론 라우팅 레이어로서의 역할과 한계를 정리 - [llm-d 기반 EKS 분산 추론 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks/llm-d-eks-automode): llm-d 아키텍처 개념, KV Cache-aware 라우팅, Disaggregated Serving, EKS Auto Mode 통합 전략 - [MoE 모델 서빙 개념 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks/moe-model-serving): Mixture of Experts 모델의 아키텍처 개념, 분산 배포 전략, 성능 최적화 원리 - [NeMo 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks/nemo-framework): NVIDIA NeMo Framework의 분산 학습, 파인튜닝, TensorRT-LLM 변환 아키텍처 - [vLLM 모델 서빙](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks/vllm-model-serving): vLLM의 PagedAttention, 병렬화 전략, Multi-LoRA, 하드웨어 지원 아키텍처 - [추론 인프라 전체 구조와 튜닝 레이어](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-infrastructure-overview): LLM 추론이 인프라 레벨에서 동작하는 전체 요청 경로와, 계층별 튜닝 레버(인퍼런스 게이트웨이·prefill/decode 분리·context/KV cache-aware 라우팅·LMCache·캐시 히트 전략)를 한 장의 지도로 정리 - [Inference Optimization on EKS](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization): LLM Inference 성능을 극대화하는 EKS 아키텍처 개요 — vLLM, KV Cache-Aware Routing, Disaggregated Serving, LWS 멀티노드, GPU 오토스케일링의 시작점 - [캐시 히트 전략](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/cache-hit-strategy): KV/Prefix·Prompt·Semantic 3계층 추론 캐시를 하나의 의사결정 프레임으로 통합하고, 계층별 히트율 목표와 측정 지점, 튜닝 레버를 정리 - [Disaggregated Serving + LWS 멀티노드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/disaggregated-serving): Prefill/Decode 분리 아키텍처와 NIXL 공통 KV 전송 엔진, LeaderWorkerSet 기반 700B+ 대형 MoE 모델 멀티노드 배포 가이드 - [GPU 오토스케일링과 대형 모델 배포 운영](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/gpu-autoscaling-operations): LLM 서빙을 위한 2-Tier GPU 오토스케일링(KEDA·Karpenter)·DRA 호환성과 대형 MoE 모델(GLM-5·Kimi K2.5) 배포에서 축적된 실전 운영 교훈 - [KV Cache 최적화 (vLLM Deep Dive + Cache-Aware Routing)](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/kv-cache-optimization): vLLM PagedAttention·Continuous Batching·FP8 KV Cache 등 핵심 기술 정리와 llm-d/NVIDIA Dynamo의 KV Cache-Aware Routing 비교 및 Gateway 구성 - [LMCache: KV 캐시 오프로딩과 공유](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/lmcache): GPU 메모리 너머 CPU·디스크로 KV 캐시를 오프로딩하고 추론 인스턴스 간 공유하는 LMCache의 개념과, vLLM prefix cache·NIXL·kvaware 라우팅과의 관계 - [Semantic Caching 전략](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/semantic-caching-strategy): LLM Gateway 레벨 의미 기반 캐싱 전략과 구현 옵션 비교 (GPTCache, Redis Semantic Cache, Portkey, Helicone, Bifrost+Redis) - [Cascade Routing 실전 튜닝](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-routing/cascade-routing-tuning): Inference Gateway Cascade Routing의 분류 임계값·Canary 롤아웃·Fallback·비용 드리프트 경보를 프로덕션 trace 기반으로 튜닝하는 가이드 - [OpenClaw AI Agent Gateway 배포 및 Full Observability](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-routing/openclaw-example): OpenClaw AI 에이전트 게이트웨이를 EKS에 비용 최적화 배포하고, Bifrost Auto-Router + Cilium Hubble + Langfuse로 Full Observability 구현 - [Request Cascading — 지능형 모델 라우팅](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-routing/request-cascading): 요청 복잡도 기반 모델 자동 라우팅 — LLM Classifier·LiteLLM·vLLM Semantic Router 구현 접근 비교와 RouteLLM 연구 참조, 비용 절감 효과 - [추론 게이트웨이 & LLM Gateway 라우팅 전략](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-routing/routing-strategy): kgateway + Bifrost/LiteLLM 2-Tier 아키텍처와 Cascade Routing, Semantic Router, Hybrid Routing 설계 패턴 - [티어드 게이트웨이 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-routing/tiered-gateway-architecture): Agentic AI 플랫폼의 게이트웨이 계층 단일 정의: Tier 1 Ingress, Tier 2 추론 라우팅(Inference Extension)과 LLM API 게이트웨이, Agent Data Plane의 역할 구분과 채움 전략 - [운영 & 거버넌스](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops): AI 플랫폼 모니터링, Observability, 평가, 컴플라이언스, 도메인 특화 운영 가이드 - [데이터 인프라](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/data-infrastructure): Agentic AI 플랫폼의 벡터 데이터베이스·임베딩 스토어 등 데이터 계층 운영 - [Milvus 벡터 데이터베이스 통합](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/data-infrastructure/milvus-vector-database): Amazon EKS에서 Milvus 벡터 데이터베이스를 배포하고 RAG 파이프라인과 통합하는 방법 - [거버넌스 · 평가 · 컴플라이언스](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance): 품질 평가·운영 플레이북·AI Gateway 가드레일·컴플라이언스·도메인 커스터마이징을 아우르는 거버넌스 문서 모음 - [Agentic Playbook](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/agentic-playbook): Agent 워크플로우를 IaC처럼 선언적으로 정의하고 컴플라이언스를 자동화하는 Playbook 가이드 - [AI Gateway Guardrails](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/ai-gateway-guardrails): LLM Gateway 레벨 Guardrails — PII Redaction, Prompt Injection 방어, Content Filtering, 도구 비교와 한국 금융권 컴플라이언스 매핑 - [엔터프라이즈 컴플라이언스 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/compliance-framework): SOC2, ISO27001, 전자금융감독규정, ISMS-P를 AI 운영에 매핑하는 컴플라이언스 가이드 - [도메인 특화 (LoRA + RAG)](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/domain-customization): LoRA Fine-tuning, VectorRAG, GraphRAG로 기술 도메인 코딩 퀄리티를 높이는 가이드 — FSI SI 실전 시나리오 포함 - [Ragas RAG 평가 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/ragas-evaluation): Ragas를 활용한 RAG 파이프라인 품질 평가 및 지속적 개선 방법 - [관측성 & 모니터링](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/observability): Agent 실행 추적·LLM 호출 모니터링·에이전트 수명주기 관측성을 다루는 문서 모음 - [AI Agent 모니터링 및 운영](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/observability/agent-monitoring): Langfuse 기반 Agent 모니터링 운영 전용 문서 — 모니터링 아키텍처·핵심 메트릭·PromQL·알림·비용 추적 (도구 비교는 LLMOps Observability 문서 참조) - [Kagent - Kubernetes AI Agent 관리](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/observability/kagent-kubernetes-agents): Kagent를 활용한 Kubernetes 환경에서의 AI 에이전트 선언적 관리 아키텍처 및 오케스트레이션 패턴 - [LLMOps Observability 비교 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/observability/llmops-observability): LLMOps Observability 도구 비교 전용 문서 — Langfuse·LangSmith·Helicone·CloudWatch 선택 기준과 하이브리드 아키텍처 (Langfuse 운영은 Agent 모니터링 문서 참조) - [Reference Architecture](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture): Agentic AI Platform 실전 배포 및 구성 레퍼런스 아키텍처 - [추론 게이트웨이 배포](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/inference-gateway): kgateway·Bifrost 기반 2-Tier 추론 게이트웨이의 실전 배포 가이드 — Helm 설치, HTTPRoute 구성, OTel 연동, 트러블슈팅 - [Inference Gateway 배포 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/inference-gateway/setup): kgateway 기반 Inference Gateway의 단계별 배포 가이드 (기본/고급/트러블슈팅) - [고급 기능](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/inference-gateway/setup/advanced-features): LLM Classifier, CloudFront/WAF, Semantic Caching 구성 - [기본 배포](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/inference-gateway/setup/basic-deployment): kgateway 설치, HTTPRoute 설정, Bifrost Gateway Mode 구성 - [트러블슈팅 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/inference-gateway/setup/troubleshooting-guide): Inference Gateway 배포 및 운영 중 발생하는 일반적인 문제와 해결 방법 - [통합 & 비용](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/integrations): SageMaker 하이브리드 통합·Observability 스택 배포·코딩 도구 비용 분석 - [코딩 도구 연동 & 비용 분석](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/integrations/coding-tools-cost-analysis): Aider, Cline, Continue.dev 연동 + Bedrock vs Kiro vs 자체 호스팅 비용 비교 - [모니터링 & Observability 구성 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/integrations/monitoring-observability-setup): Prometheus→AMP, AMG, Langfuse, Bifrost OTel 통합 모니터링 실전 구성 가이드 - [오픈웨이트 모델 배포 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/integrations/open-weight-model-deployment): 토큰 이코노믹스와 데이터 주권 관점에서 오픈웨이트 LLM 자체 배포를 평가하고 결정하기 위한 고객용 의사결정 가이드 - [SageMaker-EKS 하이브리드 ML 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/integrations/sagemaker-eks-integration): SageMaker에서 학습하고 EKS에서 서빙하는 하이브리드 ML 아키텍처 - [모델 수명주기](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle): 커스텀 모델 배포·파인튜닝 파이프라인·MLOps 오케스트레이션·지속 학습 파이프라인 - [Continuous Training Pipeline](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/continuous-training): Langfuse trace를 자동 학습 데이터로 승격해 GRPO/DPO preference tuning과 Canary 배포까지 연결하는 EKS 기반 5단계 파이프라인 개요. - [Eval Gate · Registry · KPI](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/continuous-training/evaluation-rollout): 학습된 체크포인트의 Threshold 검증, kgateway 기반 Canary 점진 배포, MLflow Registry 버전 관리, 회귀 시 자동 롤백, 비용·품질 KPI 대시보드 구성. - [GRPO/DPO 학습 Job](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/continuous-training/grpo-dpo-training): 레이블링된 preference 데이터셋으로 NeMo-RL(GRPO)·TRL(DPO) 학습 Job을 Karpenter Spot 노드풀 + Volcano Gang Scheduling으로 실행하는 실전 구성. - [Trace → Dataset Materializer](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/continuous-training/trace-to-dataset): Langfuse OTel 트레이스를 S3 Parquet/Iceberg로 적재하고 Ragas + LLM Judge Fleet로 Reward를 레이블링해 GRPO/DPO 학습 데이터셋을 자동 구성합니다. - [커스텀 모델 배포 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/custom-model-deployment): GLM-5.1 사례 기반 — 대형 오픈소스 모델의 EKS 배포 실전 가이드 - [커스텀 모델 파이프라인 구축 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/custom-model-pipeline): LoRA Fine-tuning, Multi-LoRA 핫스왑, SLM Cascade Routing으로 도메인별 최적화된 모델 서빙 파이프라인 구축 - [EKS 기반 MLOps 파이프라인 구축](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/mlops-pipeline-eks): Kubeflow + MLflow + vLLM + ArgoCD GitOps 기반 엔드투엔드 ML 라이프사이클 관리 ## AIDLC - [AIDLC: AI-Driven Development Lifecycle](https://devfloor9.github.io/engineering-playbook/docs/aidlc): AI-Driven Development Lifecycle — AWS Labs 공식 방법론 기반 + DDD·Ontology·Harness 엔터프라이즈 확장 - [AIDLC 엔터프라이즈 도입](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise): AIDLC 엔터프라이즈 - index - [엔터프라이즈 AIDLC 도입 전략](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/adoption-strategy): AIDLC 엔터프라이즈 도입 전략 — 워터폴→하이브리드 전환, 챔피언 모델, 단계별 확산 로드맵 - [Agent Versioning & Change Management](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/agent-versioning): 엔터프라이즈 Agent의 프롬프트·모델·배포 전략·거버넌스를 통합하는 Change Management 체계 - [배포 전략 — Shadow·Canary·A/B·Blue-Green](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/agent-versioning/deployment-strategies): 점진적 모델 교체 전략과 Feature Flag 기반 프롬프트 전개 방식 - [거버넌스·자동화](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/agent-versioning/governance-automation): 회귀 감지, 자동 롤백, 승인 워크플로, 감사 증빙, AIDLC 단계별 활용 방안 - [프롬프트·모델 레지스트리](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/agent-versioning/prompt-model-registry): Langfuse, PromptLayer, Braintrust, AWS Bedrock Prompt Management 비교 및 구축 가이드 - [AIDLC 사례 연구](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/case-studies): AIDLC 엔터프라이즈 - case-studies - [비용 효과 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/cost-estimation): AIDLC 엔터프라이즈 - cost-estimation - [Extension System](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/extension-system): AWS Labs AIDLC Extension System — opt-in 메커니즘으로 조직별 보안·컴플라이언스·도메인 규칙을 AIDLC 워크플로에 통합 - [거버넌스 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/governance-framework): AIDLC 엔터프라이즈 - governance-framework - [MSA 복잡도 가이드 (Enterprise)](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity): 엔터프라이즈 환경에서 MSA 난이도를 Level 1-5로 진단하고 패턴별 가이드·하네스·검증을 통합 제공 - [하네스 체크리스트](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/implementation/harness-checklist): MSA 패턴별 필수 하네스와 구현 가이드 - [온톨로지 작성 가이드](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/implementation/ontology-guide): MSA 복잡도별 온톨로지 깊이와 작성 가이드라인 - [검증 방법론](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/implementation/verification): 복잡 MSA에서 AIDLC 적용 시 품질을 보장하는 검증 방법 - [Level 1-2: 단순 CRUD & 동기 MSA](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/pattern-guides/l1-l2-simple-msa): Level 1 단순 CRUD 서비스와 Level 2 동기 MSA 오케스트레이션 패턴 적용 가이드 - [Level 3-4: 비동기 이벤트 & Saga](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/pattern-guides/l3-l4-async-saga): Level 3 비동기 이벤트 기반 MSA와 Level 4 Saga + 보상 트랜잭션 패턴 적용 가이드 - [Level 5: Event Sourcing & CQRS](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/pattern-guides/l5-event-sourcing): Level 5 분산 트랜잭션 + CQRS + Event Sourcing 패턴 적용 가이드 - [AI 규제 컴플라이언스 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance): EU AI Act, NIST AI RMF, ISO/IEC 42001, 한국 AI 기본법 4개 프레임워크의 AIDLC 통합 가이드 - [EU AI Act — 고위험 AI 시스템 규제](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance/frameworks/eu-ai-act): EU AI Act의 위험도 분류, High-risk AI 의무사항, GPAI 제공자 의무, AIDLC 통합 가이드 - [ISO/IEC 42001:2023 — AI 관리 시스템 국제 표준](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance/frameworks/iso-42001): ISO/IEC 42001:2023 AI Management System의 PDCA 구조, Annex A Controls, 인증 절차 및 AIDLC 통합 가이드 - [한국 AI 기본법 — 고영향 AI 규제와 생성형 AI 표시 의무](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance/frameworks/korea-ai-law): 한국 AI 기본법의 고영향 AI 시스템 영향 평가, 생성형 AI 표시 의무, PIPA/ISMS-P 교차 준수 및 AIDLC 통합 가이드 - [NIST AI RMF — 미국 연방 AI 위험 관리 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance/frameworks/nist-ai-rmf): NIST AI Risk Management Framework 1.1의 4 Functions (GOVERN/MAP/MEASURE/MANAGE)와 AIDLC 통합 가이드 - [규제 컴플라이언스 구현 가이드](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance/implementation-guide): AIDLC 프로세스에 규제 요구사항을 통합하는 실전 구현 가이드 및 단계별 Adoption 로드맵 - [역할 재정의](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/role-composition): AIDLC 엔터프라이즈 - role-composition - [AIDLC 방법론](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology): AIDLC의 핵심 방법론 — 10대 원칙, 온톨로지, 하네스 엔지니어링, DDD 통합, Common Rules, Adaptive Execution - [AIDLC Adaptive Execution](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/adaptive-execution): AIDLC 공식 Adaptive Workflows — 조건부 stage 실행 decision tree, Inception 7단계와 Construction per-unit 루프 해설 - [AIDLC Common Rules](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/common-rules): AWS Labs AIDLC 공식 11개 공통 규칙 해설 — Question Format부터 Audit Logging까지, 엔터프라이즈 적용 가이드 - [DDD 통합 — AI 주도 개발에서의 필수 코어](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/ddd-integration): AIDLC에서 DDD가 필수 코어인 이유 — 도메인 설계부터 논리 설계까지 AI 주도 개발 - [하네스 엔지니어링](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/harness-engineering): AIDLC 신뢰성의 두 번째 축 — AI 실행의 안전성을 아키텍처적으로 강제하는 하네스 설계 (engineering-playbook 확장 콘텐츠) - [온톨로지 엔지니어링](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/ontology-engineering): AIDLC 신뢰성의 첫 번째 축 — Typed World Model로 AI 환각을 방지하고 도메인 정확성을 보장하는 온톨로지 접근법 (engineering-playbook 확장 콘텐츠) - [AIDLC 10대 원칙과 실행 모델](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/principles-and-model): AIDLC의 핵심 철학과 Intent → Unit → Bolt 실행 모델 — AWS Labs 공식 용어 매핑 포함 - [AgenticOps: AI 에이전트 기반 자율 운영](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations): AIDLC로 개발한 소프트웨어의 AI 에이전트 기반 자율 운영 — 관찰성, 예측, 자동 대응 - [AgenticOps 메트릭 — 운영 중 관측할 Agent KPI](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/agentic-metrics): task success rate, tool-call accuracy, hallucination rate, cost per interaction, escalation rate 등 Agent 운영 KPI와 Langfuse·OTel 스키마 - [Audit & Governance Logging](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/audit-governance): AIDLC Checkpoint Approval 게이트와 ISO 8601 기반 감사 로그 — 규제 산업을 위한 AIDLC 감사 추적 구현 가이드 - [자율 대응](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/autonomous-response): AI Agent 기반 자율 인시던트 대응 — Strands/Kagent 통합, Chaos Engineering + AI, 온톨로지 피드백 루프 - [Multi-Agent Collaboration Patterns](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/multi-agent-collaboration): Orchestrator-Worker, Voting, Debate, Hierarchical Supervisor 패턴과 LangGraph/CrewAI/AutoGen/Strands Agents SDK 구현 - [관찰성 스택](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/observability-stack): AIDLC Operations의 데이터 기반 — 3-Pillar 관찰성 + AI 분석 레이어 구축 - [예측 운영](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/predictive-operations): ML 기반 예측 스케일링과 이상 감지 — Karpenter+AI, CloudWatch Anomaly Detection, AI Right-Sizing - [AIDLC 도구 & 구현](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain): AIDLC를 실현하는 도구 — AI 코딩 에이전트, 오픈 웨이트 모델, EKS 자동화, 기술 로드맵 - [AI 코딩 에이전트](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain/ai-coding-agents): AIDLC Construction 단계의 AI 코딩 에이전트 — 공식 지원 7개 플랫폼, Kiro Spec-Driven 개발, Q Developer, 에이전트 비교 - [EKS 선언적 자동화](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain/eks-declarative-automation): AIDLC Construction/Operations를 EKS Capabilities로 구현하는 선언적 자동화 패턴 - [AIDLC Evaluation Framework](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain/evaluation-framework): Agent/LLM 개발 프로세스의 Evaluation-driven Loop — SWE-bench Verified, METR, Ragas, DeepEval, LangSmith, Braintrust, AWS Labs aidlc-evaluator 비교 - [오픈 웨이트 모델](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain/open-weight-models): 데이터 레지던시와 비용 최적화를 위한 오픈 웨이트 모델 활용 전략 — 온프레미스 배포, 하이브리드 구성, TCO 비교 - [기술 로드맵](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain/technology-roadmap): AIDLC 기술 투자 의사결정 — Build-vs-Wait 매트릭스, 도구 성숙도 평가, 6/12/18개월 호라이즌 ## Hybrid Infrastructure - [Hybrid Infrastructure](https://devfloor9.github.io/engineering-playbook/docs/hybrid-infrastructure): Amazon EKS를 활용한 하이브리드 클라우드 및 멀티 클라우드 환경 구축에 대한 심화 기술 문서 - [Harbor 2.13과 EKS Hybrid Nodes 통합 가이드](https://devfloor9.github.io/engineering-playbook/docs/hybrid-infrastructure/harbor-hybrid-integration): Harbor 2.13 프라이빗 컨테이너 레지스트리를 Amazon EKS Hybrid Nodes (Kubernetes 1.33)와 통합하기 위한 완전한 단계별 가이드로, 설치, SSL/TLS 구성, 인증 및 문제 해결을 다룹니다. - [EKS Hybrid Nodes 완전 가이드](https://devfloor9.github.io/engineering-playbook/docs/hybrid-infrastructure/hybrid-nodes-adoption-guide): Amazon EKS Hybrid Nodes 도입을 위한 완전한 가이드: 아키텍처, 구성, 네트워킹, DNS, GPU 서버, 비용 분석 및 동적 리소스 할당(DRA) - [EKS Hybrid Nodes 공유 파일 스토리지 솔루션](https://devfloor9.github.io/engineering-playbook/docs/hybrid-infrastructure/hybrid-nodes-file-storage): EKS Hybrid Nodes 환경에서 공유 파일 스토리지 구현을 위한 포괄적 가이드로, AWS 관리형 서비스, 엔터프라이즈 스토리지 통합 및 Amazon Linux 2023 대체 접근법을 다룹니다. - [EKS Hybrid Nodes 네트워킹 라우팅 설계와 Hybrid Nodes Gateway](https://devfloor9.github.io/engineering-playbook/docs/hybrid-infrastructure/hybrid-nodes-networking-gateway): EKS Hybrid Nodes의 Node/Pod CIDR 라우팅 요건, CNI NAT 구성의 한계, CGNAT(100.64.0.0/10) 대역 지원, 그리고 Pod 라우팅 요건을 제거하는 Hybrid Nodes Gateway 아키텍처 분석 - [DGX H200 SR-IOV 네트워킹 구성](https://devfloor9.github.io/engineering-playbook/docs/hybrid-infrastructure/sriov-dgx-h200-hybrid): NVIDIA DGX H200 시스템에서 Amazon EKS Hybrid Nodes를 실행할 때 발생하는 SR-IOV VF 이름 불일치 문제를 드라이버 호환성, 영구 명명 및 systemd 오케스트레이션을 통해 해결합니다. ## Security & Governance - [Security & Governance](https://devfloor9.github.io/engineering-playbook/docs/security-governance): Amazon EKS 환경에서의 보안 강화 및 컴플라이언스 준수에 대한 심화 기술 문서 - [EKS Default Namespace 삭제 시 장애 대응 가이드](https://devfloor9.github.io/engineering-playbook/docs/security-governance/default-namespace-incident): EKS 클러스터에서 default namespace 삭제로 인한 Control Plane 접근 불가 장애의 원인 분석, 복구 절차, 그리고 재발 방지 전략을 다룹니다. - [GuardDuty Extended Threat Detection](https://devfloor9.github.io/engineering-playbook/docs/security-governance/guardduty-extended-threat-detection): Amazon GuardDuty Extended Threat Detection을 활용한 EKS 위협 탐지 및 대응 - [Identity-First Security 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/security-governance/identity-first-security): EKS Pod Identity 기반 제로트러스트 접근 제어 및 IRSA 마이그레이션 가이드 - [Kyverno 기반 정책 관리](https://devfloor9.github.io/engineering-playbook/docs/security-governance/kyverno-policy-management): Kyverno v1.17+ (현재 v1.18)을 활용한 Kubernetes 정책 관리 및 거버넌스 - [컨테이너 공급망 보안](https://devfloor9.github.io/engineering-playbook/docs/security-governance/supply-chain-security): 컨테이너 이미지 서명, SBOM, CI/CD 보안 게이트를 통한 공급망 보안 강화 ## ROSA - [ROSA (Red Hat OpenShift on AWS)](https://devfloor9.github.io/engineering-playbook/docs/rosa): Red Hat OpenShift Service on AWS (ROSA) 구축 및 운영에 대한 기술 문서 - [ROSA 데모 설치 가이드](https://devfloor9.github.io/engineering-playbook/docs/rosa/rosa-demo-installation): ROSA 클러스터 설치 데모 - STS 기반 클러스터 생성, IAM 역할 구성, 오토스케일링 설정 및 관리자 접근 구성 가이드 - [ROSA 보안 규정 준수 콘솔 접근 제어](https://devfloor9.github.io/engineering-playbook/docs/rosa/rosa-security-compliance): 금융권 보안 요구사항을 충족하기 위한 Red Hat Hybrid Cloud Console 접근 제어 방안. IdP, MFA, IP 기반 접근 통제를 통한 안전한 관리자 접근 제어 전략 ## Benchmarks - [EKS 성능 벤치마크 보고서](https://devfloor9.github.io/engineering-playbook/docs/benchmarks): EKS 환경 성능 벤치마크 보고서 모음 — 네트워킹, AI/ML 추론, 인프라 & 운영 - [추론 플랫폼 벤치마크: Bedrock AgentCore vs EKS 자체 구축](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/agentcore-vs-eks-inference): Bedrock AgentCore를 기본으로 EKS 자체 구축(vLLM, llm-d, Bifrost/LiteLLM) 대비 기능, 성능, 비용을 비교하는 벤치마크 계획 - [Llama 4 FM 서빙 벤치마크: GPU vs AWS Custom Silicon](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/ai-ml-workload): vLLM 기반 Llama 4 모델 서빙에서 GPU 인스턴스(p5, p4d, g6e)와 AWS 커스텀 실리콘(Trainium2, Inferentia2)의 성능 및 비용 효율성 비교 벤치마크 - [VPC CNI vs Cilium CNI 성능 비교 벤치마크](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/cni-performance-comparison): EKS 환경에서 VPC CNI와 Cilium CNI의 네트워크 및 애플리케이션 성능을 5개 시나리오(kube-proxy, kube-proxy-less, ENI, 튜닝)로 비교한 벤치마크 보고서 - [NVIDIA Dynamo 추론 벤치마크](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/dynamo-inference-benchmark): NVIDIA Dynamo 기반 Aggregated/Disaggregated LLM 서빙 성능 비교 벤치마크 — EKS 환경 AIPerf 4가지 모드 실행 - [Gateway API 구현체 성능 벤치마크 계획](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/gateway-api-benchmark): 5개 Gateway API 구현체(AWS LBC v3, Cilium, NGINX Gateway Fabric, Envoy Gateway, kGateway)의 EKS 환경 성능 비교 벤치마크 계획 - [하이브리드 인프라 벤치마크](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/hybrid-infrastructure): 하이브리드 클라우드 인프라 네트워크 및 스토리지 성능 벤치마크 - [인프라 성능 벤치마크](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/infrastructure-performance): EKS 클러스터 인프라 성능 벤치마크 - 네트워크, DNS, 오토스케일링 - [보안 및 운영 벤치마크](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/security-operations): 보안 정책 적용 및 운영 도구 성능 벤치마크