Continuous Training Pipeline
Langfuse trace를 자동 학습 데이터로 승격해 GRPO/DPO preference tuning과 Canary 배포까지 연결하는 EKS 기반 5단계 파이프라인 개요.
Langfuse trace를 자동 학습 데이터로 승격해 GRPO/DPO preference tuning과 Canary 배포까지 연결하는 EKS 기반 5단계 파이프라인 개요.
학습된 체크포인트의 Threshold 검증, kgateway 기반 Canary 점진 배포, MLflow Registry 버전 관리, 회귀 시 자동 롤백, 비용·품질 KPI 대시보드 구성.
레이블링된 preference 데이터셋으로 NeMo-RL(GRPO)·TRL(DPO) 학습 Job을 Karpenter Spot 노드풀 + Volcano Gang Scheduling으로 실행하는 실전 구성.
基于 kgateway 的 Inference Gateway 分步部署指南(基础/高级/故障排除)
Langfuse OTel 트레이스를 S3 Parquet/Iceberg로 적재하고 Ragas + LLM Judge Fleet로 Reward를 레이블링해 GRPO/DPO 학습 데이터셋을 자동 구성합니다.
kgateway 安装、HTTPRoute 配置、Bifrost Gateway Mode 配置
kgateway + Bifrost/LiteLLM 2-Tier 架构和 Cascade Routing、Semantic Router、Hybrid Routing 设计模式
Inference Gateway 部署及运营中发生的常见问题及解决方法
LLM Classifier、CloudFront/WAF、Semantic Caching 配置