본문으로 건너뛰기

73개 문서가 "scope:ops" 태그에 분류되었습니다

모든 태그 보기

Agentic Playbook

Agent 워크플로우를 IaC처럼 선언적으로 정의하고 컴플라이언스를 자동화하는 Playbook 가이드

AI Agent 모니터링 및 운영

Langfuse 기반 Agent 모니터링 운영 전용 문서 — 모니터링 아키텍처·핵심 메트릭·PromQL·알림·비용 추적 (도구 비교는 LLMOps Observability 문서 참조)

AI Gateway Guardrails

LLM Gateway 레벨 Guardrails — PII Redaction, Prompt Injection 방어, Content Filtering, 도구 비교와 한국 금융권 컴플라이언스 매핑

AI Gateway 멀티테넌시 전략

LLM Gateway 레벨 멀티테넌시 전략 — LiteLLM virtual key 계층 모델과 Kong Consumer 정책 비교, 예산 강제, 테넌트 격리 3단 모델(게이트웨이·데이터·관측)

Audit & Governance Logging

AIDLC Checkpoint Approval 게이트와 ISO 8601 기반 감사 로그 — 규제 산업을 위한 AIDLC 감사 추적 구현 가이드

Cascade Routing 실전 튜닝

Inference Gateway Cascade Routing의 분류 임계값·Canary 롤아웃·Fallback·비용 드리프트 경보를 프로덕션 trace 기반으로 튜닝하는 가이드

CPU 성능 비교 가능성과 Pod·노드 사이징 표준

같은 워크로드의 CPU 사용률이 인스턴스 크기·세대에 따라 달라지는 원인을 정리하고, 크기·세대 비교에 쓸 KPI와 스로틀링·스케줄링 대기의 관측 경로, Pod 사이징 기준, 혼합 노드풀 판단 절차를 제시합니다.

EKS Node Monitoring Agent

AWS EKS 클러스터의 노드 상태를 자동으로 감지하고 보고하는 Node Monitoring Agent의 아키텍처, 배포 전략, 제한사항, 모범 사례를 다룹니다.

GitOps 기반 EKS 클러스터 운영

대규모 EKS 클러스터의 안정적인 운영을 위한 GitOps 아키텍처, KRO/ACK 활용 방법, 멀티클러스터 관리 전략 및 자동화 기법을 다룹니다.

LLM 서빙 최적화를 위한 모니터링 전략

캐시 효율·KV 용량·지연·라우팅 지표를 7개 관측 계층으로 연결하고, 스트림 완료·평가 커버리지·품질 점수를 구분하여 서빙 최적화의 효과와 회귀를 검증하는 운영 전략입니다.

LLMOps Observability 비교 가이드

LLMOps Observability 도구 비교 전용 문서 — Langfuse·LangSmith·Helicone·CloudWatch 선택 기준과 하이브리드 아키텍처 (Langfuse 운영은 Agent 모니터링 문서 참조)

Prefix 캐시 히트율 튜닝과 정확도 상관 검증

Prefix 캐시 튜닝의 효율 개선과 품질 회귀를 구분하기 위해 cached 토큰·턴 간격·preemption의 데이터 계약, 상관 분석의 한계, 비열등성 기반 품질 게이트를 정의하는 운영 가이드입니다.

Probe 안티패턴

불필요한 재시작과 잘못된 헬스체크 구성을 점검합니다.

ROSA 데모 설치 가이드

ROSA 클러스터 설치 데모 - STS 기반 클러스터 생성, IAM 역할 구성, 오토스케일링 설정 및 관리자 접근 구성 가이드

관찰성 스택

AIDLC Operations의 데이터 기반 — 3-Pillar 관찰성 + AI 분석 레이어 구축

관측성 통합 — 자가진단·Container Insights·eBPF

EKS Hybrid Nodes 관측성 구현 가이드 — Cluster Insights 구성 자가진단, CloudWatch Container Insights 하이브리드 구성(RUN_WITH_IRSA), NVIDIA GPU 메트릭 통합, Cilium Hubble 기반 eBPF 대시보드, Network Flow Monitor 적용성 분석을 다룹니다.

네트워킹 디버깅

EKS 네트워킹 문제 진단 및 해결 가이드 - VPC CNI, DNS, Service, NetworkPolicy

도메인 특화 (LoRA + RAG)

LoRA Fine-tuning, VectorRAG, GraphRAG로 기술 도메인 코드 품질을 높이는 가이드 — FSI SI 실전 시나리오 포함

스토리지 디버깅

EKS 스토리지 문제 진단 및 해결 가이드 - EBS/EFS CSI Driver, PVC 마운트 실패

업그레이드와 수명주기 관리

EKS Hybrid Nodes의 Kubernetes 버전 업그레이드 전략 — nodeadm upgrade 동작 원리, 수동 cordon·drain 의무, SSM 서명 키 만료 대응(nodeadm 1.0.19+), 폐쇄망 사설 미러 구성, 업그레이드 런북을 다룹니다.

예측 운영

ML 기반 예측 스케일링과 이상 감지 — Karpenter+AI, CloudWatch Anomaly Detection, AI Right-Sizing

운영과 비용 최적화

EKS Hybrid Nodes의 운영 베스트 프랙티스 — Mixed Mode 워크로드 배치, Cluster Insights·nodeadm debug 구성 검증, 모니터링 체계, vCPU-시간 티어드 과금 기반 비용 최적화를 다룹니다.

워크로드 디버깅

EKS 워크로드 문제 진단 및 해결 가이드 - Pod 상태별 디버깅, 배포 실패 패턴, Probe 설정

자율 대응

AI Agent 기반 자율 인시던트 대응 — Strands/Kagent 통합, Chaos Engineering + AI, 온톨로지 피드백 루프