Continuous Training Pipeline

2026-04-18 작성·2026-09-22 수정·6분 읽기

AI용 문서 안내

개요

Continuous Training Pipeline은 운영 중 수집한 추론 기록을 학습 데이터 후보로 만들고, 학습 후 품질을 평가해 모델을 갱신할지 결정하는 Self-Improving Agent Loop의 구현 구조입니다. Langfuse의 OTel 트레이스를 S3 Data Lake에 모으고, Reward Labeler가 기록의 품질을 평가합니다. 준비한 데이터는 GRPO/DPO 기반 preference tuning에 사용합니다.

학습과 배포는 담당자의 승인을 거쳐 진행합니다. 평가를 통과한 모델은 Canary 방식으로 일부 트래픽에 먼저 적용하고, 결과를 확인한 뒤 적용 범위를 늘립니다.

왜 Continuous Training인가

프로덕션 피드백에는 정적 학습 데이터셋에 없던 작업, 용어, 실패 유형이 드러날 수 있습니다. 이 중 학습에 적합한 피드백을 골라 새 학습 예제로 사용합니다. 이후 모델을 평가해 해당 작업의 성능이 실제로 나아졌는지 확인해야 합니다.

문제	기존 방식	Continuous Training
데이터 수집	수동 라벨링 (월 1회)	자동 trace 수집 (실시간)
피드백 반영	3-6개월	1주일
품질 개선	신규 데이터셋 대기	사용자 피드백 즉시 반영
비용	라벨링 $10K/월	Reward Model 자동화

설계 문서 연계

이 문서는 Self-Improving Agent Loop의 5단계 아키텍처를 EKS에서 구현하는 방법을 다룹니다. 설계 배경과 전략적 의사결정은 설계 문서를 참조하세요.

실 운영 전 ADR 합의 필요

본 파이프라인을 실제 트래픽에 적용하려면 ADR — Self-Improving Agent Loop 도입 의사결정에 정의된 스코프·자동화 경계·데이터 게이트·롤백 기준이 조직 차원에서 합의돼야 합니다. Train/Deploy 단계는 수동 승인 경계로 운영하세요.

5단계 파이프라인 흐름

글씨가 작으면 확대해서 확인할 수 있습니다.

다이어그램

주요 개념:

1. Trace → Dataset: Langfuse 프로덕션 추론 로그를 학습 데이터로 전환
2. Reward Labeling: Ragas + LLM Judge로 trace 품질을 0-1점으로 스코어링
3. GRPO/DPO: 고득점 trace는 선호(preference), 저득점은 비선호로 학습
4. Eval Gate: 학습 후 품질 Threshold 검증
5. Canary → 100%: 점진적 트래픽 증가, 회귀 시 즉시 롤백

하위 문서

Trace to Dataset

승인·비식별화한 Langfuse generation을 Parquet 후보 데이터로 내보내고 명시적 evaluator 계약으로 점수를 부여합니다. GRPO/DPO 입력 변환은 별도 단계입니다.

GRPO/DPO Training

레이블링된 preference 데이터셋으로 NeMo-RL(GRPO)·TRL(DPO) 학습 Job을 Karpenter Spot 노드풀 + Volcano Gang Scheduling으로 실행하는 실전 구성.

Evaluation & Rollout

학습 체크포인트 평가, 승인 기반 Canary 승격, Registry 버전 관리, 검증된 라우팅 복구와 비용·품질 KPI 계약.

• Trace → Dataset Materializer — Langfuse OTel 수집, S3 Iceberg 테이블, Reward Labeler Fleet
• GRPO/DPO 학습 Job — NeMo-RL/TRL 기반 preference tuning과 Karpenter Spot 노드풀
• Eval Gate · Registry · KPI — Threshold 검증, Canary 배포, MLflow Registry, 비용 KPI

요약

Continuous Training Pipeline은 5단계 워크플로우로 프로덕션 피드백을 자동으로 모델 개선에 반영합니다:

1. Trace → Dataset: Langfuse OTel → S3 Iceberg (날짜/모델/동의 파티셔닝)
2. Reward Labeling: Ragas + Qwen3-4B Judge Fleet (KServe + KEDA)
3. GRPO/DPO 학습: NeMo-RL 또는 TRL (Karpenter Spot p5en.48xlarge × 3 노드)
4. Eval Gate: Threshold 검증 + Canary 5% → 25% → 100% (kgateway)
5. Registry & Rollback: MLflow + Agent Versioning + 자동 롤백

요약 포인트:

• 비용 효율: Spot 인스턴스 + 격주 iteration → $4K/월 수준
• 품질 개선: 월 1% faithfulness 증가 목표
• 안전성: Eval Gate + 점진 Canary + 자동 롤백
• ROI: 가상 시나리오 기준, 학습 비용 대비 매출 증대를 목표로 합니다(워크로드·품질 개선폭에 따라 상이).

다음 단계

• Self-Improving Agent Loop — 설계 아키텍처 및 전략
• 커스텀 모델 파이프라인 — SFT 학습 전제 조건
• Cascade Routing Tuning — 배포 후 라우팅 최적화
• Agent Versioning — 모델·코드·프롬프트 동기화

참고 자료

공식 문서

• NVIDIA NeMo Framework — 대규모 모델 학습·RLHF
• HuggingFace TRL — DPO/PPO 레퍼런스 구현
• MLflow — 모델 레지스트리·버전 관리
• Gateway API — Canary 트래픽 분할

논문 · 기술 블로그

• GRPO Paper (arxiv 2402.03300) — Group Relative Policy Optimization
• DPO Paper (arxiv 2305.18290) — Direct Preference Optimization

관련 문서

• Self-Improving Agent Loop
• ADR — Self-Improving Loop
• Ragas Evaluation

프로덕션 체크리스트

• Langfuse OTel trace 수집 활성화 (user_consent 필드 추가)
• S3 Data Lake + Glue Iceberg 테이블 구성
• Reward Labeler Fleet (Qwen3-4B KServe + KEDA) 배포
• NeMo-RL 또는 TRL 학습 환경 구성 (Karpenter Spot 노드풀)
• Eval Gate Threshold 정의 (faithfulness >= 0.85)
• Canary Deployment HTTPRoute + 모니터링 알람 설정
• MLflow Registry + Agent Versioning 연동
• Rollback 자동화 (Argo Rollouts)
• 비용 KPI 대시보드 (Grafana) 구축
• 격주/월간 iteration 일정 수립