# Engineering Playbook > Amazon EKS 기반 인프라, Agentic AI 플랫폼, AI/ML 워크플로우, 보안, 자동화된 운영에 대한 실전 엔지니어링 가이드 This file follows the llmstxt.org convention. It indexes all 205 documentation pages with links and summaries. - Site: https://devfloor9.github.io/engineering-playbook - Full text: https://devfloor9.github.io/engineering-playbook/llms-full.txt - LLM Wiki (per-page markdown + manifest): https://devfloor9.github.io/engineering-playbook/llm-wiki/manifest.json - Language: Korean (ko) primary, English (en) mirror under /en/ - Topics: Amazon EKS, Agentic AI, model serving (vLLM/llm-d), MLOps, observability, security & governance ## Getting Started - [Engineering Playbook 소개](https://devfloor9.github.io/engineering-playbook/docs/intro): 클라우드 네이티브 아키텍처 엔지니어링 플레이북 & 벤치마크 리포트 ## EKS Best Practices - [EKS Best Practices](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices): Amazon EKS 프로덕션 운영을 위한 네트워크, Control Plane, 보안, 비용 최적화 종합 가이드 - [Control Plane & 확장](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/control-plane-scaling): EKS Control Plane 동작 원리, CRD 스케일링 전략, 멀티 클러스터 고가용성 아키텍처 - [Cross-Cluster Object Replication (HA) 아키텍처 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/control-plane-scaling/cross-cluster-object-replication): EKS 멀티 클러스터 환경에서 오브젝트 복제를 통한 고가용성 아키텍처 패턴과 의사결정 가이드 - [EKS Control Plane Deep Dive — CRD at Scale 종합 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/control-plane-scaling/eks-control-plane-crd-scaling): EKS Control Plane 동작 원리를 이해하고, CRD 기반 플랫폼을 안정적으로 확장하기 위한 Provisioned Control Plane 활용법, 모니터링 전략, CRD 설계 베스트 프랙티스 - [EKS PCP 티어 사이징 & 성능 검증 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/control-plane-scaling/eks-pcp-tier-sizing-validation): PCP 티어별 상세 파라미터, APF seat 산정 공식, 대규모 클러스터 사이징 예시, ClusterLoader2 성능 검증 방법론, 고객 사례 - [네트워크 & 성능 최적화](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance): EKS 환경에서의 DNS 최적화, East-West 트래픽, Gateway API 도입 등 네트워크 및 성능 관련 베스트 프랙티스 - [CoreDNS 모니터링과 성능 최적화 완벽 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/coredns-monitoring-optimization): Amazon EKS의 CoreDNS 성능을 체계적으로 모니터링하고 최적화하는 방법. Prometheus 메트릭, TTL 튜닝, 모니터링 아키텍처, 실제 문제 해결 사례 포함 - [East-West 트래픽 최적화: 성능과 비용의 균형](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/east-west-traffic-best-practice): EKS에서 서비스 간 통신(East-West)의 지연시간을 최소화하고 크로스-AZ 비용을 절감하는 심층 최적화 전략. Topology Aware Routing, InternalTrafficPolicy부터 Cilium ClusterMesh, AWS VPC Lattice, Istio 멀티클러스터까지 - [Gateway API 도입 가이드: NGINX Ingress에서 차세대 트래픽 관리로](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/gateway-api-adoption-guide): NGINX Ingress Controller EOL 대응, Gateway API 아키텍처, GAMMA Initiative, AWS Native vs 오픈소스 솔루션 비교(AWS LBC·Cilium·NGINX Gateway Fabric·Envoy Gateway·kGateway·Kong), Cilium ENI 통합, 마이그레이션 전략 및 벤치마크 계획 - [Cilium ENI 모드 + Gateway API 심화 구성](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/gateway-api-adoption-guide/cilium-eni-gateway-api): Cilium ENI 모드 아키텍처, Gateway API 리소스 구성, 성능 최적화, Hubble 관측성, BGP Control Plane v2 심화 가이드 - [기능별 구현 쿡북: 6개 Gateway API 구현체](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/gateway-api-adoption-guide/feature-implementation-cookbook): 인증·Rate Limiting·IP 제어·URL Rewrite·헤더 조작·세션 어피니티·본문 크기 제한·커스텀 에러 페이지를 AWS LBC·Cilium·NGINX GF·Envoy Gateway·kGateway별 YAML로 구현하는 레퍼런스 - [마이그레이션 실행 전략](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/gateway-api-adoption-guide/migration-execution-strategy): Gateway API 마이그레이션 5-Phase 전략, CRD 설치, 단계별 실행 가이드, 검증 스크립트, 트러블슈팅 - [AWS Nitro 아키텍처와 성능 튜닝](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/nitro-architecture-performance-tuning): AWS Nitro System의 구성 요소와 v2~v6 세대별 네트워크 변경 사항, 그리고 EKS 노드에서 요구되는 ENA 드라이버·커널 버전과 PPS/CPS 중심 성능 튜닝 전략을 다룹니다. - [EKS 서비스 메시 솔루션 비교 가이드 — Istio, Cilium, Linkerd, VPC Lattice](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/service-mesh): EKS 환경에서 주요 서비스 메시 솔루션의 데이터 플레인 아키텍처, mTLS, L7 정책, 관측성, 성능 오버헤드, 운영 복잡도를 비교하고 워크로드별 선택 기준을 제시합니다 - [GAMMA Initiative — 서비스 메시 통합의 미래](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/service-mesh/gamma-initiative): GAMMA (Gateway API for Mesh Management and Administration) 소개, East-West 트래픽 관리, 서비스 메시 통합 - [EKS 멀티클러스터 East-West 통신 — Istio는 여전히 유효한가](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/service-mesh/multi-cluster-communication): EKS 멀티클러스터 환경의 East-West(서비스 간) 통신을 위해 Istio 멀티클러스터, Cilium ClusterMesh, Amazon VPC Lattice 아키텍처를 기능·안정성·운영편의성·비용 4개 축으로 비교하고, 각 아키텍처가 적합한 환경과 Istio 마이그레이션 경로를 제시합니다 - [VPC CNI 동작 원리: 데이터패스·IPAM·NetworkPolicy](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/networking-performance/vpc-cni-deep-dive): Amazon VPC CNI의 내부 동작을 세 축으로 해부합니다. L3 routed mode 데이터패스(veth·ip rule·169.254.1.1), ipamd의 warm pool·Prefix Delegation·IP 쿨다운 알고리즘, eBPF 기반 NetworkPolicy 아키텍처 - [운영 & 안정성](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability): EKS 클러스터의 안정적인 운영을 위한 GitOps, 장애 진단, 고가용성, Pod 라이프사이클 관리 베스트 프랙티스 - [EKS 디버깅 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging): Amazon EKS 환경에서 애플리케이션 및 인프라 문제를 체계적으로 진단하고 해결하기 위한 종합 트러블슈팅 가이드 - [EKS Auto Mode 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/auto-mode): EKS Auto Mode 환경에서의 디버깅 가이드 - [컨트롤 플레인 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/control-plane): EKS 컨트롤 플레인 문제 진단 및 해결 가이드 - [GPU/AI 워크로드 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/gpu-ai-workload): EKS에서 GPU/AI 워크로드 디버깅 가이드 - [Probe vs Health Check 불일치 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/health-check-mismatch): K8s Probe와 ALB/NLB/Ingress Controller Health Check의 메커니즘 차이 및 timeout 불일치로 인한 장애 진단 가이드 - [Karpenter 심화 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/karpenter): Karpenter 오토스케일러 심화 디버깅 가이드 - [네트워킹 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/networking): EKS 네트워킹 문제 진단 및 해결 가이드 - VPC CNI, DNS, Service, NetworkPolicy - [노드 레벨 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/node): EKS 노드 문제 진단 및 해결 가이드 - [옵저버빌리티 및 모니터링](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/observability): EKS 옵저버빌리티 스택 구성 및 인시던트 디텍팅 전략 - Container Insights, Prometheus, ADOT - [스토리지 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/storage): EKS 스토리지 문제 진단 및 해결 가이드 - EBS/EFS CSI Driver, PVC 마운트 실패 - [워크로드 디버깅](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-debugging/workload): EKS 워크로드 문제 진단 및 해결 가이드 - Pod 상태별 디버깅, 배포 실패 패턴, Probe 설정 - [EKS Pod 헬스체크 & 라이프사이클 관리](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-pod-health-lifecycle): Kubernetes Probe 설정 전략, Graceful Shutdown 패턴, Pod 라이프사이클 관리 모범 사례 - [EKS Pod 스케줄링 & 가용성 패턴](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-pod-scheduling-availability): Kubernetes Pod 스케줄링 전략, Affinity/Anti-Affinity, PDB, Priority/Preemption, Taints/Tolerations 모범 사례 - [EKS 고가용성 아키텍처 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/eks-resiliency-guide): Amazon EKS 환경에서 고가용성과 장애 회복력을 확보하기 위한 아키텍처 패턴과 운영 전략 가이드 - [GitOps 기반 EKS 클러스터 운영](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/gitops-cluster-operation): 대규모 EKS 클러스터의 안정적인 운영을 위한 GitOps 아키텍처, KRO/ACK 활용 방법, 멀티클러스터 관리 전략 및 자동화 기법을 다룹니다. - [Kubernetes 이벤트 보존과 AI Agent 조회 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/k8s-event-management): EKS Kubernetes 이벤트의 1시간 TTL 제약과 export 파이프라인 설계, EKS·CloudWatch MCP 서버 기반 AI Agent 조회 아키텍처를 다룹니다. - [Network Flow Monitor 동작 원리: eBPF sock_ops 기반 TCP 관측](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/network-flow-monitor): CloudWatch Network Flow Monitor 에이전트의 내부 동작을 해부합니다. eBPF sock_ops 콜백 수집, 유저스페이스 집계와 Kubernetes enrichment, OTLP 전송 경로, EKS add-on 배포와 데이터 미표시 3계층 진단 - [EKS Node Monitoring Agent](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/operations-reliability/node-monitoring-agent): AWS EKS 클러스터의 노드 상태를 자동으로 감지하고 보고하는 Node Monitoring Agent의 아키텍처, 배포 전략, 제한사항, 모범 사례를 다룹니다. - [리소스 & 비용 최적화](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/resource-cost): Karpenter 오토스케일링, Pod 리소스 최적화, EKS 비용 관리 전략 - [대규모 EKS 비용 관리: 30-90% 절감 전략](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/resource-cost/cost-management): Amazon EKS 환경에서 30-90%의 획기적 비용 절감을 달성하는 FinOps 전략. 비용 구조 분석, Karpenter 최적화, 도구 선택, 실제 성공 사례 포함 - [EKS Pod 리소스 최적화 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/resource-cost/eks-resource-optimization): Kubernetes Pod의 CPU/Memory 리소스 설정, QoS 클래스, VPA/HPA 오토스케일링, 리소스 Right-Sizing 전략 - [Karpenter 기반 EKS 스케일링 전략 종합 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/resource-cost/karpenter-autoscaling): Amazon EKS에서 Karpenter를 활용한 스케일링 전략 종합 가이드. 반응형/예측형/아키텍처적 복원력 접근법 비교, CloudWatch와 Prometheus 아키텍처 비교, HPA 구성, 프로덕션 패턴 포함 - [Kubernetes DRA — 동적 리소스 할당 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/resource-cost/kubernetes-dra): Kubernetes DRA의 핵심 모델(DeviceClass·ResourceClaim·ResourceSlice), GPU를 넘어선 리소스 유형(NIC·인터커넥트·FPGA), 도입 판단 기준을 정리한 프레임워크 가이드 - [보안 & 거버넌스](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/security-authn): EKS API Server 인증/인가, Identity-First 보안, 정책 관리, 공급망 보안, 위협 탐지, 컴플라이언스까지 EKS 보안 거버넌스 베스트 프랙티스 - [EKS Default Namespace 삭제 시 장애 대응 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/security-authn/default-namespace-incident): EKS 클러스터에서 default namespace 삭제로 인한 Control Plane 접근 불가 장애의 원인 분석, 복구 절차, 그리고 재발 방지 전략을 다룹니다. - [EKS API Server 인증/인가 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/security-authn/eks-api-server-authn-authz): Non-Standard Caller(CI/CD, 모니터링, 자동화)의 EKS API Server 접근을 위한 인증/인가 Best Practices - [GuardDuty Extended Threat Detection](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/security-authn/guardduty-extended-threat-detection): Amazon GuardDuty Extended Threat Detection을 활용한 EKS 위협 탐지 및 대응 - [Identity-First Security 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/security-authn/identity-first-security): EKS Pod Identity 기반 제로트러스트 접근 제어 및 IRSA 마이그레이션 가이드 - [Kyverno 기반 정책 관리](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/security-authn/kyverno-policy-management): Kyverno v1.17+ (현재 v1.18)을 활용한 Kubernetes 정책 관리 및 거버넌스 - [컨테이너 공급망 보안](https://devfloor9.github.io/engineering-playbook/docs/eks-best-practices/security-authn/supply-chain-security): 컨테이너 이미지 서명, SBOM, CI/CD 보안 게이트를 통한 공급망 보안 강화 ## Agentic AI Platform - [Agentic AI Platform](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform): Agentic AI 플랫폼의 아키텍처, 구축, 운영에 대한 심화 기술 문서 - [설계 & 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture): Agentic AI 플랫폼의 아키텍처 설계, 기술적 도전과제, AWS Native 및 EKS 기반 구현 접근 - [고급 패턴](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/advanced-patterns): 자기개선 피드백 루프 및 고급 Agent 설계 패턴 - [ADR — Self-Improving Agent Loop 도입 의사결정](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/advanced-patterns/adr-self-improving-loop): Self-Improving Agent Loop(자가학습 강화 파이프라인)를 실 운영에 도입하기 전 합의해야 할 원칙·스코프·책임·롤백 경계를 정리한 Architecture Decision Record - [Knowledge Feature Store 확장](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/advanced-patterns/knowledge-feature-store): 전통 Feature Store에 온톨로지·Knowledge Graph를 통합하여 환각 감소·근거 추적·도메인 엔터티 활용을 강화하는 3-plane 설계 - [MCP 툴 토큰 최적화 패턴](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/advanced-patterns/mcp-token-optimization): MCP 기반 에이전트의 토큰 사용 최적화 패턴. 업프론트 로딩 문제 정량화와 4가지 기법(Progressive Discovery, 툴 압축 프록시, Code Execution, 프롬프트 캐시 정합성)으로 토큰 오버헤드를 70-98% 절감한다. - [Self-Improving Agent Loop (Autoresearch)](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/advanced-patterns/self-improving-agent-loop): Karpathy의 autoresearch 개념을 기반으로 self-hosted SLM이 프로덕션 trace로부터 스스로 학습·강화하는 5-stage 루프 설계와 안전장치 - [플랫폼 기초](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/foundations): Agentic AI 플랫폼의 핵심 아키텍처와 기술적 도전과제 - [Agentic AI 워크로드의 기술적 도전과제](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/foundations/agentic-ai-challenges): Agentic AI 워크로드 운영 시 직면하는 5가지 핵심 도전과제 - [Agentic AI Platform 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/foundations/agentic-platform-architecture): 프로덕션급 Agentic AI 플랫폼의 전체 시스템 아키텍처 — 6개 런타임 레이어와 3개 횡단 플레인 설계 - [플랫폼 선택](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection): AWS 환경에서 Agentic AI 플랫폼 구축을 위한 전략적 선택 가이드 - [AgentCore 하이브리드 전략](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection/agentcore-hybrid-strategy): Bedrock AgentCore 매니지드 서비스와 EKS 기반 self-hosted 에이전트를 결합한 하이브리드 전략 의사결정·패턴 카탈로그 - [EKS 기반 Agentic AI 오픈 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection/agentic-ai-solutions-eks): Amazon EKS와 오픈소스 생태계를 활용한 Agentic AI 플랫폼 구축 가이드 - [AI 플랫폼 선택 가이드: 매니지드 vs 오픈소스 vs 하이브리드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection/ai-platform-decision-framework): SageMaker Unified Studio, Bedrock AgentCore, EKS 오픈 아키텍처 중 고객 상황에 맞는 최적 접근 선택을 위한 의사결정 프레임워크 - [AWS Native Agentic AI Platform: 매니지드 서비스 기반 Agent 중심 접근](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection/aws-native-agentic-platform): Amazon Bedrock, Strands Agents SDK, AgentCore를 활용하여 인프라 운영 부담을 줄이고 Agent 개발에 집중하는 플랫폼 접근 - [소버린 & 하이브리드 배포: 데이터 주권과 리전 강제](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/design-architecture/platform-selection/sovereign-hybrid-deployment): 데이터 주권 요구를 충족하는 Agentic AI 배포 전략 — SCP 리전 강제, Bedrock Geographic cross-Region inference, EKS Hybrid Nodes 기반 하이브리드·in-country 자체 호스팅 - [모델 서빙 & 추론 인프라](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving): GPU 인프라·추론 프레임워크·추론 최적화 계층 안내와, LLM 추론 요청 경로 전체의 계층별 튜닝 레버(인퍼런스 게이트웨이·prefill/decode 분리·KV cache-aware 라우팅·LMCache·캐시 히트 전략)를 한 장의 지도로 정리 - [가속 컴퓨팅 인프라](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure): EKS GPU 노드 전략, Karpenter·KEDA·DRA 리소스 관리, NVIDIA GPU 스택, AWS Neuron 스택 — GPU·AWS 커스텀 가속기를 포괄하는 가속 컴퓨팅 계층 - [AWS Neuron Stack — Trainium2/Inferentia2 on EKS](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure/aws-neuron-stack): EKS 위에서 AWS 커스텀 AI 가속기(Trainium2/Inferentia2)를 운영하기 위한 Neuron SDK, Device Plugin, NxD Inference 가이드 - [CRIU 기반 GPU 무중단 마이그레이션 (Preview)](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure/criu-gpu-migration): Spot reclaim·스케줄링 이벤트 시 GPU 워크로드 checkpoint/restore로 무중단 이관하는 기술 현황과 EKS 적용 가능 시나리오 분석 (Experimental) - [EKS GPU 노드 전략](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure/eks-gpu-node-strategy): EKS Auto Mode, Karpenter, MNG, Hybrid Node의 GPU 워크로드별 최적 노드 전략 - [GPU 리소스 관리](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure/gpu-resource-management): EKS에서 Karpenter, KEDA, DRA를 활용한 GPU 리소스 관리 및 비용 최적화 - [NVIDIA GPU 스택](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/gpu-infrastructure/nvidia-gpu-stack): GPU Operator, DCGM, MIG, Time-Slicing, Dynamo의 아키텍처와 EKS 통합 - [추론 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks): vLLM·llm-d·MoE·NeMo — GPU 위에서 실제로 모델을 서빙·분산 추론·파인튜닝하는 AI 프레임워크 계층 - [HyperPod Inference Operator (관리형 KV 캐시·지능형 라우팅)](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks/hyperpod-inference-operator): SageMaker HyperPod Inference Operator의 관리형 KV 캐시·지능형 라우팅·DPD를 Tiered Gateway와 비교하고, L2 추론 라우팅 레이어로서의 역할과 한계를 정리 - [llm-d 기반 EKS 분산 추론 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks/llm-d-eks-automode): llm-d 아키텍처 개념, KV Cache-aware 라우팅, Disaggregated Serving, EKS Auto Mode 통합 전략 - [MoE 모델 서빙 개념 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks/moe-model-serving): Mixture of Experts 모델의 아키텍처 개념, 분산 배포 전략, 성능 최적화 원리 - [NeMo 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks/nemo-framework): NVIDIA NeMo Framework의 분산 학습, 파인튜닝, TensorRT-LLM 변환 아키텍처 - [vLLM 모델 서빙](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-frameworks/vllm-model-serving): vLLM의 PagedAttention, 병렬화 전략, Multi-LoRA, 하드웨어 지원 아키텍처 - [Inference Optimization on EKS](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization): LLM Inference 성능을 극대화하는 EKS 아키텍처 개요 — vLLM, KV Cache-Aware Routing, Disaggregated Serving, LWS 멀티노드, GPU 오토스케일링의 시작점 - [캐시 히트 전략](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/cache-hit-strategy): KV/Prefix·Prompt·Semantic 3계층 추론 캐시를 하나의 의사결정 프레임으로 통합하고, 계층별 히트율 목표와 측정 지점, 튜닝 레버를 정리 - [Disaggregated Serving + LWS 멀티노드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/disaggregated-serving): Prefill/Decode 분리 아키텍처와 NIXL 공통 KV 전송 엔진, LeaderWorkerSet 기반 700B+ 대형 MoE 모델 멀티노드 배포 가이드 - [GPU 오토스케일링과 대형 모델 배포 운영](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/gpu-autoscaling-operations): LLM 서빙을 위한 2-Tier GPU 오토스케일링(KEDA·Karpenter)·DRA 호환성과 대형 MoE 모델(GLM-5·Kimi K2.5) 배포에서 축적된 실전 운영 교훈 - [KV Cache 최적화 (vLLM Deep Dive + Cache-Aware Routing)](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/kv-cache-optimization): vLLM PagedAttention·Continuous Batching·FP8 KV Cache 등 핵심 기술 정리와 llm-d/NVIDIA Dynamo의 KV Cache-Aware Routing 비교 및 Gateway 구성 - [LMCache: KV 캐시 오프로딩과 공유](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/lmcache): GPU 메모리 너머 CPU·디스크로 KV 캐시를 오프로딩하고 추론 인스턴스 간 공유하는 LMCache의 개념과, vLLM prefix cache·NIXL·kvaware 라우팅과의 관계 - [Semantic Caching 전략](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-optimization/semantic-caching-strategy): LLM Gateway 레벨 의미 기반 캐싱 전략과 구현 옵션 비교 (GPTCache, Redis Semantic Cache, Portkey, Helicone, Bifrost+Redis) - [Cascade Routing 실전 튜닝](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-routing/cascade-routing-tuning): Inference Gateway Cascade Routing의 분류 임계값·Canary 롤아웃·Fallback·비용 드리프트 경보를 프로덕션 trace 기반으로 튜닝하는 가이드 - [OpenClaw AI Agent Gateway 배포 및 Full Observability](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-routing/openclaw-example): OpenClaw AI 에이전트 게이트웨이를 EKS에 비용 최적화 배포하고, Bifrost Auto-Router + Cilium Hubble + Langfuse로 Full Observability 구현 - [Request Cascading — 지능형 모델 라우팅](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-routing/request-cascading): 요청 복잡도 기반 모델 자동 라우팅 — LLM Classifier·LiteLLM·vLLM Semantic Router 구현 접근 비교와 RouteLLM 연구 참조, 비용 절감 효과 - [추론 게이트웨이 & LLM Gateway 라우팅 전략](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-routing/routing-strategy): kgateway + Bifrost/LiteLLM 2-Tier 아키텍처와 Cascade Routing, Semantic Router, Hybrid Routing 설계 패턴 - [티어드 게이트웨이 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/model-serving/inference-routing/tiered-gateway-architecture): Agentic AI 플랫폼의 게이트웨이 계층 단일 정의: Tier 1 Ingress, Tier 2 추론 라우팅(Inference Extension)과 LLM API 게이트웨이, Agent Data Plane의 역할 구분과 채움 전략 - [운영 & 거버넌스](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops): AI 플랫폼 모니터링, Observability, 평가, 컴플라이언스, 도메인 특화 운영 가이드 - [데이터 인프라](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/data-infrastructure): Agentic AI 플랫폼의 벡터 데이터베이스·임베딩 스토어 등 데이터 계층 운영 - [Milvus 벡터 데이터베이스 통합](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/data-infrastructure/milvus-vector-database): Amazon EKS에서 Milvus 벡터 데이터베이스를 배포하고 RAG 파이프라인과 통합하는 방법 - [거버넌스 · 평가 · 컴플라이언스](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance): 품질 평가·운영 플레이북·AI Gateway 가드레일·컴플라이언스·도메인 커스터마이징을 아우르는 거버넌스 문서 모음 - [Agentic Playbook](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/agentic-playbook): Agent 워크플로우를 IaC처럼 선언적으로 정의하고 컴플라이언스를 자동화하는 Playbook 가이드 - [AI Gateway Guardrails](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/ai-gateway-guardrails): LLM Gateway 레벨 Guardrails — PII Redaction, Prompt Injection 방어, Content Filtering, 도구 비교와 한국 금융권 컴플라이언스 매핑 - [AI Gateway 멀티테넌시 전략](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/ai-gateway-multi-tenancy): LLM Gateway 레벨 멀티테넌시 전략 — LiteLLM virtual key 계층 모델과 Kong Consumer 정책 비교, 예산 강제, 테넌트 격리 3단 모델(게이트웨이·데이터·관측) - [엔터프라이즈 컴플라이언스 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/compliance-framework): SOC2, ISO27001, 전자금융감독규정, ISMS-P를 AI 운영에 매핑하는 컴플라이언스 가이드 - [도메인 특화 (LoRA + RAG)](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/domain-customization): LoRA Fine-tuning, VectorRAG, GraphRAG로 기술 도메인 코딩 퀄리티를 높이는 가이드 — FSI SI 실전 시나리오 포함 - [LLM FinOps — Chargeback 및 비용 배부](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/llm-finops-chargeback): LLM 플랫폼 FinOps 방법론 — 토큰 메터링, showback/chargeback 전략, 에이전틱 비용 모델, 예산 정책 및 게이트웨이 통합 - [Ragas RAG 평가 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/governance/ragas-evaluation): Ragas를 활용한 RAG 파이프라인 품질 평가 및 지속적 개선 방법 - [관측성 & 모니터링](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/observability): Agent 실행 추적·LLM 호출 모니터링·에이전트 수명주기 관측성을 다루는 문서 모음 - [AI Agent 모니터링 및 운영](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/observability/agent-monitoring): Langfuse 기반 Agent 모니터링 운영 전용 문서 — 모니터링 아키텍처·핵심 메트릭·PromQL·알림·비용 추적 (도구 비교는 LLMOps Observability 문서 참조) - [Kagent - Kubernetes AI Agent 관리](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/observability/kagent-kubernetes-agents): Kagent를 활용한 Kubernetes 환경에서의 AI 에이전트 선언적 관리 아키텍처 및 오케스트레이션 패턴 - [LLMOps Observability 비교 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/operations-mlops/observability/llmops-observability): LLMOps Observability 도구 비교 전용 문서 — Langfuse·LangSmith·Helicone·CloudWatch 선택 기준과 하이브리드 아키텍처 (Langfuse 운영은 Agent 모니터링 문서 참조) - [Reference Architecture](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture): Agentic AI Platform 실전 배포 및 구성 레퍼런스 아키텍처 - [추론 게이트웨이 배포](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/inference-gateway): kgateway·Bifrost 기반 2-Tier 추론 게이트웨이의 실전 배포 가이드 — Helm 설치, HTTPRoute 구성, OTel 연동, 트러블슈팅 - [Inference Gateway 배포 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/inference-gateway/setup): kgateway 기반 Inference Gateway의 단계별 배포 가이드 (기본/고급/트러블슈팅) - [고급 기능](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/inference-gateway/setup/advanced-features): LLM Classifier, CloudFront/WAF, Semantic Caching 구성 - [기본 배포](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/inference-gateway/setup/basic-deployment): kgateway 설치, HTTPRoute 설정, Bifrost Gateway Mode 구성 - [트러블슈팅 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/inference-gateway/setup/troubleshooting-guide): Inference Gateway 배포 및 운영 중 발생하는 일반적인 문제와 해결 방법 - [통합 & 비용](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/integrations): SageMaker 하이브리드 통합·Observability 스택 배포·코딩 도구 비용 분석 - [코딩 도구 연동 & 비용 분석](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/integrations/coding-tools-cost-analysis): Aider, Cline, Continue.dev 연동 + Bedrock vs Kiro vs 자체 호스팅 비용 비교 - [모니터링 & Observability 구성 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/integrations/monitoring-observability-setup): Prometheus→AMP, AMG, Langfuse, Bifrost OTel 통합 모니터링 실전 구성 가이드 - [오픈웨이트 모델 배포 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/integrations/open-weight-model-deployment): 토큰 이코노믹스와 데이터 주권 관점에서 오픈웨이트 LLM 자체 배포를 평가하고 결정하기 위한 고객용 의사결정 가이드 - [SageMaker-EKS 하이브리드 ML 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/integrations/sagemaker-eks-integration): SageMaker에서 학습하고 EKS에서 서빙하는 하이브리드 ML 아키텍처 - [모델 수명주기](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle): 커스텀 모델 배포·파인튜닝 파이프라인·MLOps 오케스트레이션·지속 학습 파이프라인 - [Continuous Training Pipeline](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/continuous-training): Langfuse trace를 자동 학습 데이터로 승격해 GRPO/DPO preference tuning과 Canary 배포까지 연결하는 EKS 기반 5단계 파이프라인 개요. - [Eval Gate · Registry · KPI](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/continuous-training/evaluation-rollout): 학습된 체크포인트의 Threshold 검증, kgateway 기반 Canary 점진 배포, MLflow Registry 버전 관리, 회귀 시 자동 롤백, 비용·품질 KPI 대시보드 구성. - [GRPO/DPO 학습 Job](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/continuous-training/grpo-dpo-training): 레이블링된 preference 데이터셋으로 NeMo-RL(GRPO)·TRL(DPO) 학습 Job을 Karpenter Spot 노드풀 + Volcano Gang Scheduling으로 실행하는 실전 구성. - [Trace → Dataset Materializer](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/continuous-training/trace-to-dataset): Langfuse OTel 트레이스를 S3 Parquet/Iceberg로 적재하고 Ragas + LLM Judge Fleet로 Reward를 레이블링해 GRPO/DPO 학습 데이터셋을 자동 구성합니다. - [커스텀 모델 배포 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/custom-model-deployment): GLM-5.1 사례 기반 — 대형 오픈소스 모델의 EKS 배포 실전 가이드 - [커스텀 모델 파이프라인 구축 가이드](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/custom-model-pipeline): LoRA Fine-tuning, Multi-LoRA 핫스왑, SLM Cascade Routing으로 도메인별 최적화된 모델 서빙 파이프라인 구축 - [EKS 기반 MLOps 파이프라인 구축](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/mlops-pipeline-eks): Kubeflow + MLflow + vLLM + ArgoCD GitOps 기반 엔드투엔드 ML 라이프사이클 관리 - [오픈 웨이트 모델 자동 배포·관리 파이프라인 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/agentic-ai-platform/reference-architecture/model-lifecycle/open-weight-model-pipeline): HuggingFace 리더보드 스캔부터 벤치마크 재현, 인스턴스별 성능 프로파일링, 멀티 타깃 배포 가이드 생성, 글로벌 스팟 캐파 확보까지 — 오픈 웨이트 모델 온보딩을 7단계 파이프라인으로 자동화하고 사람은 승인 게이트에만 개입하는 아키텍처를 제시합니다 ## AIDLC - [AIDLC: AI-Driven Development Lifecycle](https://devfloor9.github.io/engineering-playbook/docs/aidlc): AI-Driven Development Lifecycle — AWS Labs 공식 방법론 기반 + DDD·Ontology·Harness 엔터프라이즈 확장 - [AIDLC 엔터프라이즈 도입](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise): AIDLC 엔터프라이즈 - index - [엔터프라이즈 AIDLC 도입 전략](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/adoption-strategy): AIDLC 엔터프라이즈 도입 전략 — 워터폴→하이브리드 전환, 챔피언 모델, 단계별 확산 로드맵 - [Agent Versioning & Change Management](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/agent-versioning): 엔터프라이즈 Agent의 프롬프트·모델·배포 전략·거버넌스를 통합하는 Change Management 체계 - [배포 전략 — Shadow·Canary·A/B·Blue-Green](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/agent-versioning/deployment-strategies): 점진적 모델 교체 전략과 Feature Flag 기반 프롬프트 전개 방식 - [거버넌스·자동화](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/agent-versioning/governance-automation): 회귀 감지, 자동 롤백, 승인 워크플로, 감사 증빙, AIDLC 단계별 활용 방안 - [프롬프트·모델 레지스트리](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/agent-versioning/prompt-model-registry): Langfuse, PromptLayer, Braintrust, AWS Bedrock Prompt Management 비교 및 구축 가이드 - [AIDLC 사례 연구](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/case-studies): AIDLC 엔터프라이즈 - case-studies - [비용 효과 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/cost-estimation): AIDLC 엔터프라이즈 - cost-estimation - [Extension System](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/extension-system): AWS Labs AIDLC Extension System — opt-in 메커니즘으로 조직별 보안·컴플라이언스·도메인 규칙을 AIDLC 워크플로에 통합 - [거버넌스 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/governance-framework): AIDLC 엔터프라이즈 - governance-framework - [MSA 복잡도 가이드 (Enterprise)](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity): 엔터프라이즈 환경에서 MSA 난이도를 Level 1-5로 진단하고 패턴별 가이드·하네스·검증을 통합 제공 - [하네스 체크리스트](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/implementation/harness-checklist): MSA 패턴별 필수 하네스와 구현 가이드 - [온톨로지 작성 가이드](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/implementation/ontology-guide): MSA 복잡도별 온톨로지 깊이와 작성 가이드라인 - [검증 방법론](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/implementation/verification): 복잡 MSA에서 AIDLC 적용 시 품질을 보장하는 검증 방법 - [Level 1-2: 단순 CRUD & 동기 MSA](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/pattern-guides/l1-l2-simple-msa): Level 1 단순 CRUD 서비스와 Level 2 동기 MSA 오케스트레이션 패턴 적용 가이드 - [Level 3-4: 비동기 이벤트 & Saga](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/pattern-guides/l3-l4-async-saga): Level 3 비동기 이벤트 기반 MSA와 Level 4 Saga + 보상 트랜잭션 패턴 적용 가이드 - [Level 5: Event Sourcing & CQRS](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/msa-complexity/pattern-guides/l5-event-sourcing): Level 5 분산 트랜잭션 + CQRS + Event Sourcing 패턴 적용 가이드 - [AI 규제 컴플라이언스 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance): EU AI Act, NIST AI RMF, ISO/IEC 42001, 한국 AI 기본법 4개 프레임워크의 AIDLC 통합 가이드 - [EU AI Act — 고위험 AI 시스템 규제](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance/frameworks/eu-ai-act): EU AI Act의 위험도 분류, High-risk AI 의무사항, GPAI 제공자 의무, AIDLC 통합 가이드 - [ISO/IEC 42001:2023 — AI 관리 시스템 국제 표준](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance/frameworks/iso-42001): ISO/IEC 42001:2023 AI Management System의 PDCA 구조, Annex A Controls, 인증 절차 및 AIDLC 통합 가이드 - [한국 AI 기본법 — 고영향 AI 규제와 생성형 AI 표시 의무](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance/frameworks/korea-ai-law): 한국 AI 기본법의 고영향 AI 시스템 영향 평가, 생성형 AI 표시 의무, PIPA/ISMS-P 교차 준수 및 AIDLC 통합 가이드 - [NIST AI RMF — 미국 연방 AI 위험 관리 프레임워크](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance/frameworks/nist-ai-rmf): NIST AI Risk Management Framework 1.1의 4 Functions (GOVERN/MAP/MEASURE/MANAGE)와 AIDLC 통합 가이드 - [규제 컴플라이언스 구현 가이드](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/regulatory-compliance/implementation-guide): AIDLC 프로세스에 규제 요구사항을 통합하는 실전 구현 가이드 및 단계별 Adoption 로드맵 - [역할 재정의](https://devfloor9.github.io/engineering-playbook/docs/aidlc/enterprise/role-composition): AIDLC 엔터프라이즈 - role-composition - [AIDLC 방법론](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology): AIDLC의 핵심 방법론 — 10대 원칙, 온톨로지, 하네스 엔지니어링, DDD 통합, Common Rules, Adaptive Execution - [AIDLC Adaptive Execution](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/adaptive-execution): AIDLC 공식 Adaptive Workflows — 조건부 stage 실행 decision tree, Inception 7단계와 Construction per-unit 루프 해설 - [AIDLC Common Rules](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/common-rules): AWS Labs AIDLC 공식 11개 공통 규칙 해설 — Question Format부터 Audit Logging까지, 엔터프라이즈 적용 가이드 - [DDD 통합 — AI 주도 개발에서의 필수 코어](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/ddd-integration): AIDLC에서 DDD가 필수 코어인 이유 — 도메인 설계부터 논리 설계까지 AI 주도 개발 - [하네스 엔지니어링](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/harness-engineering): AIDLC 신뢰성의 두 번째 축 — AI 실행의 안전성을 아키텍처적으로 강제하는 하네스 설계 (engineering-playbook 확장 콘텐츠) - [온톨로지 엔지니어링](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/ontology-engineering): AIDLC 신뢰성의 첫 번째 축 — Typed World Model로 AI 환각을 방지하고 도메인 정확성을 보장하는 온톨로지 접근법 (engineering-playbook 확장 콘텐츠) - [AIDLC 10대 원칙과 실행 모델](https://devfloor9.github.io/engineering-playbook/docs/aidlc/methodology/principles-and-model): AIDLC의 핵심 철학과 Intent → Unit → Bolt 실행 모델 — AWS Labs 공식 용어 매핑 포함 - [AgenticOps: AI 에이전트 기반 자율 운영](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations): AIDLC로 개발한 소프트웨어의 AI 에이전트 기반 자율 운영 — 관찰성, 예측, 자동 대응 - [AgenticOps 메트릭 — 운영 중 관측할 Agent KPI](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/agentic-metrics): task success rate, tool-call accuracy, hallucination rate, cost per interaction, escalation rate 등 Agent 운영 KPI와 Langfuse·OTel 스키마 - [Audit & Governance Logging](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/audit-governance): AIDLC Checkpoint Approval 게이트와 ISO 8601 기반 감사 로그 — 규제 산업을 위한 AIDLC 감사 추적 구현 가이드 - [자율 대응](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/autonomous-response): AI Agent 기반 자율 인시던트 대응 — Strands/Kagent 통합, Chaos Engineering + AI, 온톨로지 피드백 루프 - [Multi-Agent Collaboration Patterns](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/multi-agent-collaboration): Orchestrator-Worker, Voting, Debate, Hierarchical Supervisor 패턴과 LangGraph/CrewAI/AutoGen/Strands Agents SDK 구현 - [관찰성 스택](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/observability-stack): AIDLC Operations의 데이터 기반 — 3-Pillar 관찰성 + AI 분석 레이어 구축 - [예측 운영](https://devfloor9.github.io/engineering-playbook/docs/aidlc/operations/predictive-operations): ML 기반 예측 스케일링과 이상 감지 — Karpenter+AI, CloudWatch Anomaly Detection, AI Right-Sizing - [AIDLC 도구 & 구현](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain): AIDLC를 실현하는 도구 — AI 코딩 에이전트, 오픈 웨이트 모델, EKS 자동화, 기술 로드맵 - [AI 코딩 에이전트](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain/ai-coding-agents): AIDLC Construction 단계의 AI 코딩 에이전트 — 공식 지원 7개 플랫폼, Kiro Spec-Driven 개발, Q Developer, 에이전트 비교 - [EKS 선언적 자동화](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain/eks-declarative-automation): AIDLC Construction/Operations를 EKS Capabilities로 구현하는 선언적 자동화 패턴 - [AIDLC Evaluation Framework](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain/evaluation-framework): Agent/LLM 개발 프로세스의 Evaluation-driven Loop — SWE-bench Verified, METR, Ragas, DeepEval, LangSmith, Braintrust, AWS Labs aidlc-evaluator 비교 - [오픈 웨이트 모델](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain/open-weight-models): 데이터 레지던시와 비용 최적화를 위한 오픈 웨이트 모델 활용 전략 — 온프레미스 배포, 하이브리드 구성, TCO 비교 - [기술 로드맵](https://devfloor9.github.io/engineering-playbook/docs/aidlc/toolchain/technology-roadmap): AIDLC 기술 투자 의사결정 — Build-vs-Wait 매트릭스, 도구 성숙도 평가, 6/12/18개월 호라이즌 ## ROSA - [ROSA (Red Hat OpenShift on AWS)](https://devfloor9.github.io/engineering-playbook/docs/rosa): Red Hat OpenShift Service on AWS (ROSA) 구축 및 운영에 대한 기술 문서 - [ROSA 데모 설치 가이드](https://devfloor9.github.io/engineering-playbook/docs/rosa/rosa-demo-installation): ROSA 클러스터 설치 데모 - STS 기반 클러스터 생성, IAM 역할 구성, 오토스케일링 설정 및 관리자 접근 구성 가이드 - [ROSA 보안 규정 준수 콘솔 접근 제어](https://devfloor9.github.io/engineering-playbook/docs/rosa/rosa-security-compliance): 금융권 보안 요구사항을 충족하기 위한 Red Hat Hybrid Cloud Console 접근 제어 방안. IdP, MFA, IP 기반 접근 통제를 통한 안전한 관리자 접근 제어 전략 ## Benchmarks - [EKS 성능 벤치마크 보고서](https://devfloor9.github.io/engineering-playbook/docs/benchmarks): EKS 환경 성능 벤치마크 보고서 모음 — 네트워킹, AI/ML 추론, 인프라 & 운영 - [추론 플랫폼 벤치마크: Bedrock AgentCore vs EKS 자체 구축](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/agentcore-vs-eks-inference): Bedrock AgentCore를 기본으로 EKS 자체 구축(vLLM, llm-d, Bifrost/LiteLLM) 대비 기능, 성능, 비용을 비교하는 벤치마크 계획 - [Llama 4 FM 서빙 벤치마크: GPU vs AWS Custom Silicon](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/ai-ml-workload): vLLM 기반 Llama 4 모델 서빙에서 GPU 인스턴스(p5, p4d, g6e)와 AWS 커스텀 실리콘(Trainium2, Inferentia2)의 성능 및 비용 효율성 비교 벤치마크 - [VPC CNI vs Cilium CNI 성능 비교 벤치마크](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/cni-performance-comparison): EKS 환경에서 VPC CNI와 Cilium CNI의 네트워크 및 애플리케이션 성능을 5개 시나리오(kube-proxy, kube-proxy-less, ENI, 튜닝)로 비교한 벤치마크 보고서 - [NVIDIA Dynamo 추론 벤치마크](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/dynamo-inference-benchmark): NVIDIA Dynamo 기반 Aggregated/Disaggregated LLM 서빙 성능 비교 벤치마크 — EKS 환경 AIPerf 4가지 모드 실행 - [Gateway API 구현체 성능 벤치마크 계획](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/gateway-api-benchmark): 5개 Gateway API 구현체(AWS LBC v3, Cilium, NGINX Gateway Fabric, Envoy Gateway, kGateway)의 EKS 환경 성능 비교 벤치마크 계획 - [하이브리드 인프라 벤치마크](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/hybrid-infrastructure): 하이브리드 클라우드 인프라 네트워크 및 스토리지 성능 벤치마크 - [인프라 성능 벤치마크](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/infrastructure-performance): EKS 클러스터 인프라 성능 벤치마크 - 네트워크, DNS, 오토스케일링 - [보안 및 운영 벤치마크](https://devfloor9.github.io/engineering-playbook/docs/benchmarks/security-operations): 보안 정책 적용 및 운영 도구 성능 벤치마크 ## eks-hybrid-nodes - [EKS Hybrid Nodes Best Practices](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes): Amazon EKS Hybrid Nodes 도입·운영을 위한 베스트 프랙티스 레퍼런스 가이드. 개념·아키텍처부터 네트워킹, 보안·인증, 스토리지·레지스트리, GPU, 운영·비용까지 6개 영역을 다룹니다. - [컴퓨트 & GPU](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/compute-gpu): EKS Hybrid Nodes의 GPU 워크로드 아키텍처와 DGX H200 SR-IOV·InfiniBand 고성능 네트워킹 구성을 다룹니다. - [GPU 스케줄링과 클라우드 폴백](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/compute-gpu/gpu-scheduling-failover): EKS Hybrid Nodes GPU 노드의 자원 격리(taint) 설계, 하이브리드 전용 NVIDIA Device Plugin 배포, Karpenter 기반 클라우드 GPU 폴백 NodePool 구성으로 고가용성 GenAI 추론 계층을 설계합니다. - [하이브리드 GPU 워크로드와 SR-IOV 네트워킹](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/compute-gpu/gpu-sriov-networking): EKS Hybrid Nodes에서 온프렘 GPU 노드를 1차 추론 계층으로 활용하고, DGX H200 SR-IOV VF 이름 불일치 문제를 드라이버 호환성·영구 명명·systemd 오케스트레이션으로 해결하는 실전 가이드 - [네트워킹](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/networking): EKS Hybrid Nodes 네트워킹 베스트 프랙티스 — CIDR 설계와 대역 최소화, CNI 구성과 Pod CIDR 라우팅, Hybrid Nodes Gateway 구축·운영, 로드밸런싱과 서비스 노출, 방화벽 사전 등록과 TGW 토폴로지를 다룹니다. - [CIDR 설계와 대역 최소화](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/networking/cidr-network-design): EKS Hybrid Nodes의 IP 대역 설계 베스트 프랙티스 — 라우팅 요건 판정 절차, VPC 최소 사이징 산정 근거, 컨트롤 플레인 ENI 전용 서브넷 전략, Pod CIDR 선제 확보, 멀티 환경 주소 계획을 다룹니다. - [CNI 구성과 Pod CIDR 라우팅](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/networking/cni-selection-routing): EKS Hybrid Nodes의 CNI 선택 기준과 Cilium 핵심 구성 — 하이브리드 노드 전용 affinity, cluster-pool IPAM, Pod CIDR 라우팅 방식(BGP·정적·Gateway) 선택과 Cilium BGP Control Plane 구성 절차를 다룹니다. - [방화벽·DNS 사전 등록과 TGW 토폴로지](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/networking/firewall-connectivity): EKS Hybrid Nodes 도입 시 방화벽·네트워크 조직에 제출할 5존 사전 등록 룰 표, FQDN 와일드카드 미지원 환경 대응, Transit Gateway 토폴로지와 온프레미스 LB 경로 설계를 다룹니다. - [Hybrid Nodes Gateway 구축과 운영](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/networking/hybrid-nodes-gateway): Amazon EKS Hybrid Nodes Gateway의 동작 메커니즘부터 Cilium VTEP 재구성, Helm 설치, 인스턴스 사이징, failover·모니터링·제거까지 구축과 운영 전 과정을 다룹니다. - [로드밸런싱과 서비스 노출](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/networking/load-balancing): EKS Hybrid Nodes 워크로드의 외부 노출 설계 — 트래픽 발원지 기준 NLB vs Cilium 내장 LB 결정 원칙, AWS Load Balancer Controller 구성 요건, Cilium LB IPAM·BGP 광고, MetalLB 등 커뮤니티 옵션을 다룹니다. - [사설 폐쇄망 VPC 엔드포인트 설계](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/networking/private-vpc-endpoints): 인터넷이 차단된 사설 폐쇄망에서 EKS Hybrid Nodes를 운영하기 위한 VPC 엔드포인트 설계 — Private API 엔드포인트 모드, 용도별 인터페이스 엔드포인트 매핑, S3 Gateway, 온프레미스 DNS 해석 경로를 다룹니다. - [운영 & 비용](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/operations-cost): EKS Hybrid Nodes의 Mixed Mode 운영 패턴, Cluster Insights 구성 검증, 모니터링, vCPU-시간 과금 기반 비용 최적화를 다룹니다. - [관측성 통합 — 자가진단·Container Insights·eBPF](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/operations-cost/observability-monitoring): EKS Hybrid Nodes 관측성 구현 가이드 — Cluster Insights 구성 자가진단, CloudWatch Container Insights 하이브리드 구성(RUN_WITH_IRSA), NVIDIA GPU 메트릭 통합, Cilium Hubble 기반 eBPF 대시보드, Network Flow Monitor 적용성 분석을 다룹니다. - [운영과 비용 최적화](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/operations-cost/operations-cost-optimization): EKS Hybrid Nodes의 운영 베스트 프랙티스 — Mixed Mode 워크로드 배치, Cluster Insights·nodeadm debug 구성 검증, 모니터링 체계, vCPU-시간 티어드 과금 기반 비용 최적화를 다룹니다. - [업그레이드와 수명주기 관리](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/operations-cost/upgrade-lifecycle): EKS Hybrid Nodes의 Kubernetes 버전 업그레이드 전략 — nodeadm upgrade 동작 원리, 수동 cordon·drain 의무, SSM 서명 키 만료 대응(nodeadm 1.0.19+), 폐쇄망 사설 미러 구성, 업그레이드 런북을 다룹니다. - [개요 & 아키텍처](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/overview-architecture): EKS Hybrid Nodes의 개념·동작 원리·주요 기술 특징과 연결·토폴로지·Pod CIDR 노출·CNI·인증·워크로드 노출 6가지 설계 결정 가이드를 다룹니다. - [아키텍처 결정 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/overview-architecture/architecture-decision-guide): EKS Hybrid Nodes 도입 시 확정해야 하는 6가지 설계 결정 — 하이브리드 연결, 클러스터 토폴로지, Pod CIDR 노출, CNI·라우팅, 노드 인증, 워크로드 노출 — 의 판단 기준과 결정 간 의존 관계를 다룹니다. - [EKS Hybrid Nodes 개념과 동작 원리](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/overview-architecture/hybrid-nodes-fundamentals): Amazon EKS Hybrid Nodes의 정의·사용 사례·요금 모델부터 nodeadm 등록 흐름, RemoteNodeNetwork/RemotePodNetwork 네트워킹 구조, 트래픽 흐름, 주요 기술 특징까지 다룹니다. - [보안 & 인증](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/security-authn): EKS Hybrid Nodes의 노드 인증 방식(SSM hybrid activation vs IAM Roles Anywhere)과 자격 증명 수명주기 관리를 다룹니다. - [노드 인증 방식 — SSM vs IAM Roles Anywhere](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/security-authn/node-authentication): EKS Hybrid Nodes의 IAM 자격 증명 공급자 선택 가이드 — SSM hybrid activation과 IAM Roles Anywhere 비교, Vault PKI 연동 패턴, Hybrid Nodes IAM role 최소 권한, 자격 증명 수명주기 관리를 다룹니다. - [스토리지 & 레지스트리](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/storage-registry): EKS Hybrid Nodes 환경의 공유 파일 스토리지(EFS·FSx·NFS) 솔루션과 Harbor 프라이빗 컨테이너 레지스트리 통합을 다룹니다. - [EKS Hybrid Nodes 공유 파일 스토리지 솔루션](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/storage-registry/file-storage): EKS Hybrid Nodes 환경에서 공유 파일 스토리지 구현을 위한 포괄적 가이드로, AWS 관리형 서비스, 엔터프라이즈 스토리지 통합 및 Amazon Linux 2023 대체 접근법을 다룹니다. - [Harbor 2.15와 EKS Hybrid Nodes 통합 가이드](https://devfloor9.github.io/engineering-playbook/docs/eks-hybrid-nodes/storage-registry/harbor-registry): Harbor 2.15 프라이빗 컨테이너 레지스트리를 Amazon EKS Hybrid Nodes (Kubernetes 1.33)와 통합하기 위한 완전한 단계별 가이드로, 설치, SSL/TLS 구성, 인증 및 문제 해결을 다룹니다.