본문으로 건너뛰기

18개 문서가 "scope:impl" 태그에 분류되었습니다

모든 태그 보기

Continuous Training Pipeline

Langfuse trace를 자동 학습 데이터로 승격해 GRPO/DPO preference tuning과 Canary 배포까지 연결하는 EKS 기반 5단계 파이프라인 개요.

Eval Gate · Registry · KPI

학습된 체크포인트의 Threshold 검증, kgateway 기반 Canary 점진 배포, MLflow Registry 버전 관리, 회귀 시 자동 롤백, 비용·품질 KPI 대시보드 구성.

GRPO/DPO 학습 Job

레이블링된 preference 데이터셋으로 NeMo-RL(GRPO)·TRL(DPO) 학습 Job을 Karpenter Spot 노드풀 + Volcano Gang Scheduling으로 실행하는 실전 구성.

Trace → Dataset Materializer

Langfuse OTel 트레이스를 S3 Parquet/Iceberg로 적재하고 Ragas + LLM Judge Fleet로 Reward를 레이블링해 GRPO/DPO 학습 데이터셋을 자동 구성합니다.

고급 기능

LLM Classifier, CloudFront/WAF, Semantic Caching 구성

기본 배포

kgateway 설치, HTTPRoute 설정, Bifrost Gateway Mode 구성

티어드 게이트웨이 아키텍처

Agentic AI 플랫폼의 게이트웨이 계층 단일 정의: Tier 1 Ingress, Tier 2 추론 라우팅(Inference Extension)과 LLM API 게이트웨이, Agent Data Plane의 역할 구분과 채움 전략