랄프 루프 시리즈: Bedrock, EKS 기준선, 추론 최적화
공개된 결과는 1편의 기존 14개 모델 데이터뿐입니다. 70회 시도 중 69회가 완주했습니다. 검증된 Terra 후속 배치나 EKS 결과는 없습니다. 계획 단계에는 처리량·지연·완주·비용·개선율 차트 점을 넣지 않습니다.
시리즈
| 편 | 보고서 | 근거 |
|---|---|---|
| 1 | Bedrock 직접 추론 | 과거 실측; 이미 캐시 사용 |
| 2 | EKS 자체 호스팅 기준선 | 계획; 선택적 요청 간 재사용 끔 |
| 3 | EKS 추론 최적화 | 계획; 2편과 모델·하드웨어 동일 |
후속 비교는 세 단계에서 비용 효율적인 공통 모델 하나를 추적합니다. Kimi K3는 후보이며, 확정된 자체 호스팅 배포가 아닙니다. 정확한 체크포인트, 서빙 호환성, GPU 용량과 전체 비용을 먼저 확인해야 합니다. 과거 Kimi K3 Bedrock 결과는 보존하며, 캐시 미적용 기준선으로 취급하지 않습니다.
이슈 #216에는 앞서 정한 Qwen3-Coder-30B-A3B-Instruct 중형 파일럿과 USD 300 예산이 기록되어 있습니다. 이는 공통 Kimi K3 배포가 같은 구성이나 예산에 맞는다는 근거가 아닙니다. 공통 모델을 파일럿 모델로 몰래 바꾸거나, 파일럿의 GPU 제안을 공통 모델에 그대로 적용하지 않습니다.
공통 실행 규칙
등록된 후속 계획은 원래 RealWorld 과제, 빌더·검증자 프롬프트와 독립 채점을 재사용합니다. 원래 실행기는 이 저장소에 공개하지 않았습니다. 새 하네스를 복구된 원본으로 설명하면 안 됩니다.
- pi 0.87.1, Node 22.23.3, Hurl 8.0.1, 컨테이너 digest, 프롬프트·루프·채점 해시를 고정합니다.
- 빌더와 검증자는 같은 모델을 씁니다. 시도마다 새 저장소·새 역할 세션을 쓰고, 반복 사이에만 저장소 상태를 유지합니다.
- 구성당 5회를 사전 등록합니다. 실패, 부분 사용량과 비용이 발생한 폐기 실행도 보존합니다.
- 반복 30회, 에이전트 제한 1,200초, 멈춤 감지 300초를 유지합니다.
.ralph-done과 Hurl 13개 파일 / 요청 154개 통과가 모두 필요합니다. 채점 시간을 기록하고 에이전트 제한 이후 완주는 따로 표시합니다.- Bedrock Converse → OpenAI 호환 API 변경, 실제 추론·도구 설정과 요청 구성을 기록합니다.
비용 발생 전 고정할 정보
공통 모델·버전 매핑, 체크포인트 revision, 정밀도, 실행 이미지 digest, 도구 파서, 컨텍스트 제한, 캐시 설정과 클라이언트 규칙을 승인된 manifest에 기록합니다. Bedrock 모델 ID와 자체 호스팅 체크포인트 ID는 다르므로, 가중치가 같다고 추정하지 말고 매핑을 검증합니다. 정확한 revision 동등성을 확인할 수 없으면 그 한계를 밝히고 플랫폼 자체의 속도 개선이라고 주장하지 않습니다.
EKS는 고정된 AI on EKS 참조, Auto Mode 변경, 리전, 비공개 접근, 애드온, CPU/GPU NodePool과 인스턴스 상한, 자원 소유를 기록합니다. 등록된 AI on EKS 참조는 출발점입니다. 이 문서가 현재 배포 가능성이나 GPU 가용성을 증명하지는 않습니다. 등록된 계획에는 명시적인 Auto Mode 설정이 필요합니다.
실측 전에 API·도구 동작, 시간 제한·멈춤 처리, 독립 채점, 원본 사용량 수집, 유휴 종료와 정리를 확인합니다. 전역 설정과 다른 자원은 보존합니다.
등록된 최적화 행렬
| 변형 | 선택적 재사용 | 시도 | 상태 |
|---|---|---|---|
| B0 | prefix·외부 KV·응답 캐시 끔 | 5 | 계획 |
| P0 | 정확한 prefix KV만 사용; 시도 전 재사용 상태 초기화 | 5 | 계획 |
| P1 | P0와 동일; 고정 워밍업 비용 별도 기록 | 5 | 계획 |
| S1 | 의미 응답 캐시 적격성·정확성 fixture | 별도 | 계획 |
B0에서도 한 요청 안의 정상적인 자기회귀 KV 상태는 사용합니다. 서버의 실제 설정을 확인해야 합니다. prefix 캐시 옵션을 생략했다고 캐시가 꺼졌다는 뜻은 아닙니다. 재사용 prefix를 비울 때 모델 가중치는 메모리에 유지해 모델 로딩과 캐시 효과를 섞지 않습니다.
S1은 상태를 바꾸거나 도구가 있는 Ralph 요청을 재사용하지 않습니다. 따로 둔 읽기 전용 fixture로 바꿔 쓴 질문, 비슷하지만 답이 다른 질문, 오래된 버전, namespace 격리, miss와 오류를 시험합니다. 잘못된 hit와 임베딩·조회 비용을 hit 비율과 따로 보고합니다. S1은 Ralph 완주 결과가 아닙니다.
KV dtype 변경, offload, 라우팅, 다중 복제본 부하와 조합 실험은 측정된 병목과 새로 제한된 행렬이 필요합니다.
비용과 게시 조건
앞선 USD 300 파일럿은 예상 USD 250에서 새 실행을 멈추고, 정리와 미보고 비용에 USD 50을 남깁니다. 이는 파일럿 제약이며 공통 모델 배포 확대를 승인한 것이 아닙니다. 공통 모델을 배포하기 전에 실제 계정·리전, 가용 용량, 자원 상한과 총예산을 정해야 합니다.
비용에는 제어면, CPU/GPU 노드, 저장소, 네트워크·NAT·로드밸런서, 관측 도구, 다운로드, 캐시·임베딩 서비스, 준비, 워밍업, 유휴, 실패, 채점과 정리를 포함합니다. 폴링은 최종 청구액을 정확히 보장할 수 없으므로 정리 예산과 자원 상한을 유지합니다.
모든 결과, 완주 run 중앙값·범위, 실패 포함 완주당 비용과 전체 실험 비용을 게시합니다. 완주가 0회면 중앙값과 완주당 비용은 0이 아니라 정의할 수 없음입니다. 근거에는 단계, 배치, 모델 revision, 캐시 상태, UTC 구간, 단가 날짜와 완주 분모가 필요합니다.
2편 → 3편은 모델·정밀도·하드웨어·클라이언트를 고정해 비교합니다. 과거 Bedrock 배치, 나중의 후속 배치, 다른 모델 파일럿은 이름이 있는 별도 비교 그룹으로 두고 파레토 순위를 섞지 않습니다. 제공사 평가와 토큰 단가 계산은 로컬 과제 실측과 구분합니다.
완료하려면 실제 실행, 사용량·비용 대조, 한영 보고서, 접근 가능한 차트·내보내기와 정리 확인이 필요합니다. 계정 ID, 내부 호스트, 자격 증명, 비공개 URL과 원 대화는 공개 산출물에서 제외합니다. 기존 페이지 후속 작업은 이슈 #209에서 추적합니다.