Foundation Model별 토큰 비용 비교: 코딩 에이전트 랄프 루프로 실측한 Amazon Bedrock 14개 모델

2026-10-13 작성·2026-10-14 수정·27분 읽기

AI용 문서 안내

참고한 벤치마크

이 벤치마크는 로보코(Roboco) 정도현님의 랄프 루프 모델별 완주 비교 리포트를 참고해 만들었습니다.

측정 상태

실측 완료 — Amazon Bedrock us-east-1에서 14개 모델을 5회씩, 모두 70개 run을 실행했고 그중 69개가 완주했습니다. Claude Fable 5.1을 뺀 13개 모델은 2026-10-12 22:28 ~ 2026-10-13 00:18 UTC에 실행했습니다. Claude Fable 5.1은 계정의 데이터 보존 설정을 바꾼 뒤 2026-10-13 04:36 ~ 05:21 UTC에 따로 실행했습니다. 수치는 모두 실행 기록에서 스크립트로 생성했습니다. 값의 근거는 [사실](직접 실행·조회), [계산](토큰 × 단가처럼 정해진 규칙), [추정](가정 포함), [출처](근거 자료)로 표시했고, 확인되지 않은 값은 "확인 불가"로 적었습니다.

• 완주69/7014개 모델
• 최저가 모델GPT-6 Luna중앙값 $0.027 실행당
• 최고가 모델GPT-6 Astra중앙값 $3.495 실행당
• 비용 격차 (최대/최소)130.4×
• 캐시 읽기 토큰 비중94%
• 총 지출$106.02집계 실행 $88.42 + 폐기한 1차 실행 $17.60

개요

이 보고서는 AI 코딩 에이전트가 같은 백엔드 구현 과제를 끝까지 완성하는 데 모델마다 토큰, 비용, LLM 요청이 얼마나 드는지를 Amazon Bedrock에서 직접 측정한 결과입니다. 랄프 루프(Ralph loop) 는 같은 프롬프트를 새 에이전트 세션에 반복해서 주는 실행 방식으로, 반복과 반복 사이에는 저장소(파일과 git 이력)만 남습니다. 모든 모델을 같은 하네스(pi coding agent)와 같은 API(Bedrock Converse)로 실행했으므로, 여기서 보이는 차이는 같은 실행 조건에서의 모델 간 차이입니다.

요약

• 완주 [사실]: 70개 run 중 69개가 완주했습니다. 미완주는 GLM 5.3 4회차입니다. 모든 모델의 랄프 반복 중앙값은 1회입니다.
• 비용은 모델에 따라 크게 다릅니다 [계산]: run당 비용 중앙값은 GPT-6 Luna $0.027부터 GPT-6 Astra $3.495까지 약 130배 차이가 납니다.
• 그룹보다 모델 차이가 큽니다 [계산]: 중국 오픈웨이트 그룹의 대표값($1.621)은 프론티어($0.831)의 약 2.0배였지만, 프론티어 안에서의 차이는 약 130배였습니다.
• 캐시 읽기가 비용의 큰 몫입니다 [계산]: 완주한 run 토큰의 94%가 캐시 읽기였습니다. 캐시 읽기는 단가가 낮아도 양이 많아, 모델에 따라 run 비용의 상당 부분이 여기서 나왔습니다.
• 실행 비용 [계산]: 모두 $106.02입니다(집계에 쓴 실행 $88.42 + 폐기한 1차 실행 $17.60). 실제 청구액이 아닙니다.

측정 방식

과제와 완주 조건

RealWorld 백엔드

기술 스택TypeScriptFastifyPrismaSQLite

구현 범위인증사용자·프로필글댓글즐겨찾기태그피드

완주 조건 (둘 다 충족)

빌더가 .ralph-done 생성그리고공식 Hurl 채점 통과 (13개 파일 · 요청 154개)

채점에 실패하면 .ralph-done을 지우고 다음 반복

한 번의 Ralph 루프 반복

1. 빌더

   PROMPT-en.md로 구현, 2회차부터 REVIEW.md 먼저 읽기
   →
2. 검증자

   Hurl 테스트를 직접 실행하고 REVIEW.md 작성, 다른 파일은 수정 안 함
   →
3. 채점

   공식 Hurl 테스트 13개 파일·요청 154개로 완주 판정

미완주 → 다음 반복(새 세션, 저장소만 이어짐)

빌더와 검증자는 같은 모델

실행 가드레일

• 반복 상한 30회
• run 시간 상한 20분
• 멈춤 감지 300초
• 비용 한도 run $100 · 모델 $500 · 전체 $7,000
• 격리: 에이전트 세션·채점마다 Docker 컨테이너 1개 (8 GB, 4 CPU, 4,096 프로세스)
• 자격 증명: Bedrock 전용 단기 API 키, 최대 60분, 10분마다 갱신, 컨테이너에 AWS 액세스 키 없음
• 실행: 최대 7개 모델 병렬, 한 모델의 5회 실행은 순차
• 하네스: pi coding agent 0.87.1 · Bedrock Converse · thinking medium · 영어 프롬프트

측정 방식 한눈에 보기

한 번의 실행은 빌더·검증자·채점을 반복하며, 두 조건을 모두 만족하면 완주로 판정합니다.

출처: 과제·채점 기준: RealWorld 명세와 공개 Hurl 테스트 · 실행 설정: 이 보고서 (공개 저장소)

• pi 번들 수정 1곳: pi 0.87.1은 Claude Haiku 5.5에 맞지 않는 thinking 형식을 보내 Bedrock이 요청을 거부합니다. 그래서 pi 번들의 모델 이름 목록 두 곳에 haiku-5를 추가했고, 다른 모델의 요청에는 영향이 없습니다.
• 사고(thinking) 설정: medium으로 두었습니다. Claude 모델에는 adaptive thinking(effort=medium)으로 전달되고, 다른 모델에는 pi가 reasoning 필드를 보내지 않아 모델 기본값이 적용됩니다.

지표 정의

• 완주: 공식 채점을 통과한 run입니다. 중앙값과 최소·최대는 완주한 run만으로 계산합니다.
• 토큰 [사실]: Bedrock이 응답마다 보고한 사용량을 빌더·검증자의 모든 요청에 걸쳐 더한 값입니다. 입력은 캐시가 적용되지 않은 입력 토큰이고, 출력에는 추론 토큰이 포함됩니다. 캐시 읽기와 캐시 쓰기는 따로 셉니다.
• 비용 [계산]: 토큰 수에 "적용 단가"의 단가를 곱한 값입니다. 캐시 쓰기는 5분 캐시 단가로 계산했습니다. pi가 캐시 유지 시간을 지정하지 않으면 Bedrock 기본값이 5분이기 때문입니다.
• 랄프 반복: 빌더가 실행된 반복 횟수입니다.
• LLM 요청: 모델이 돌려준 응답 수로, 모델 수준의 "턴"에 해당합니다. 빌더와 검증자를 합친 값입니다.
• run 시간: run 시작부터 끝까지의 시간으로 빌더·검증자 세션과 채점을 포함합니다.

비교 대상 모델

모두 us-east-1에서 미국 교차 리전 추론 프로필(us. 모델 ID)로 호출 · 2026-10-12에 모델 카드·계정 권한·실제 호출 3단계로 확인

프론티어 12개 실측

• Claude Opus 5.5
• Claude Sonnet 5.5
• Claude Haiku 5.5
• Claude Fable 5.1데이터 보존 aws_review 필요
• Claude Opus 5
• Claude Sonnet 5
• Claude Opus 4.8
• GPT-6.1 Sol
• GPT-6 Astra
• GPT-6 Sol
• GPT-6 Luna
• GPT-5.6 Sol

중국 오픈웨이트 2개 실측

• Kimi K3
• GLM 5.3

측정 안 함(예)

• Claude Fable 5Anthropic
• Claude Opus 4.7Anthropic
• GPT-5.6 TerraOpenAI
• gpt-oss-120bOpenAI
• Grok 4.7xAI
• DeepSeek V3.2DeepSeek
• Qwen3 Coder NextQwen
• MiniMax M2.5MiniMax
• Kimi K2.5Moonshot AI
• GLM 5Z.AI

"측정 안 함(예)" 열은 Bedrock에 있지만 이번에 측정하지 않은 모델의 일부 예입니다(2026-10-14 Bedrock 문서 기준).

데이터 보기

모델	그룹	상태	비고
Claude Opus 5.5	프론티어	실측	—
Claude Sonnet 5.5	프론티어	실측	—
Claude Haiku 5.5	프론티어	실측	—
Claude Fable 5.1	프론티어	실측	데이터 보존 aws_review 필요
Claude Opus 5	프론티어	실측	—
Claude Sonnet 5	프론티어	실측	—
Claude Opus 4.8	프론티어	실측	—
GPT-6.1 Sol	프론티어	실측	—
GPT-6 Astra	프론티어	실측	—
GPT-6 Sol	프론티어	실측	—
GPT-6 Luna	프론티어	실측	—
GPT-5.6 Sol	프론티어	실측	—
Kimi K3	중국 오픈웨이트	실측	—
GLM 5.3	중국 오픈웨이트	실측	—
Claude Fable 5	Anthropic	측정 안 함	—
Claude Opus 4.7	Anthropic	측정 안 함	—
GPT-5.6 Terra	OpenAI	측정 안 함	—
gpt-oss-120b	OpenAI	측정 안 함	—
Grok 4.7	xAI	측정 안 함	—
DeepSeek V3.2	DeepSeek	측정 안 함	—
Qwen3 Coder Next	Qwen	측정 안 함	—
MiniMax M2.5	MiniMax	측정 안 함	—
Kimi K2.5	Moonshot AI	측정 안 함	—
GLM 5	Z.AI	측정 안 함	—

측정한 모델

실측한 프론티어·중국 오픈웨이트 모델과, Bedrock에 있지만 이번에 측정하지 않은 모델의 예를 보여줍니다.

출처: Amazon Bedrock 사용자 가이드(모델 카드, 리전별 제공 표), 2026-10-12·2026-10-14 확인

• 오픈웨이트 확인 [출처]: Kimi K3와 GLM 5.3의 Bedrock 모델 카드는 두 모델을 각각 "open-weight model", "open weight text generation model"이라고 적고 있습니다.

• Claude Fable 5.1 [사실]: 계정의 us-east-1 데이터 보존 모드가 aws_review 이상이어야 호출됩니다. 계정 소유자가 inherit에서 aws_review로 바꾼 뒤(2026-10-13 04:25:43 UTC) 실행했습니다.

• 측정 범위 [출처]: Amazon Bedrock us-east-1에서 호출할 수 있는 텍스트 생성 모델 중 14개를 측정했습니다. Bedrock에는 이 밖에도 Claude Fable 5·Claude Opus 4.7·GPT-5.6 Terra·gpt-oss-120b·Grok 4.7·DeepSeek V3.2·Qwen3 Coder Next·MiniMax M2.5·Kimi K2.5·GLM 5 등의 텍스트 생성 모델이 있지만 이번 측정에는 포함하지 않았습니다(Bedrock 문서 2026-10-14 기준).

데이터 보존 설정이 미치는 영향

Bedrock 사용자 가이드: Data retention(2026-10-13 확인) 기준입니다 [출처].

• 콘솔 화면 없이 API로 설정합니다. 예: aws bedrock put-account-data-retention --region us-east-1 --mode aws_review. 되돌릴 때는 --mode inherit로 다시 설정합니다.
• 이 계정이 해당 리전에서 보내는 모든 bedrock-runtime 요청에 적용됩니다.
• Fable 5·5.1 요청의 프롬프트와 출력은 AWS 경계 안에 최대 30일 보관되고, AWS가 사람 검토를 할 수 있습니다. 모델 제공사와는 공유되지 않습니다.
• 다른 모델은 각 모델이 허용하는 모드를 따릅니다. 보관 안 함(none)을 허용하는 모델의 요청은 이 설정을 켜도 보관되지 않습니다.
• 교차 리전 추론으로 호출하면 보관 데이터는 요청이 실제로 처리된 리전에 저장됩니다.

결과

비용과 시간

점 하나가 모델 하나입니다. 가로는 run당 비용 중앙값(로그 눈금), 세로는 run 시간 중앙값이며, 왼쪽 아래에 있을수록 싸고 빠릅니다.

AnthropicOpenAIMoonshot AIZ.AI

프론티어중국 오픈웨이트

데이터 보기

모델	벤더	그룹	실행당 비용(중앙값)	실행 시간(분, 중앙값)
Claude Opus 5.5	Anthropic	프론티어	$0.907	6.1
Claude Sonnet 5.5	Anthropic	프론티어	$0.306	3.8
Claude Haiku 5.5	Anthropic	프론티어	$0.065	7.4
Claude Fable 5.1	Anthropic	프론티어	$2.566	8.9
Claude Opus 5	Anthropic	프론티어	$1.999	8.4
Claude Sonnet 5	Anthropic	프론티어	$1.179	9.7
Claude Opus 4.8	Anthropic	프론티어	$2.018	7.2
GPT-6.1 Sol	OpenAI	프론티어	$0.527	8.1
GPT-6 Astra	OpenAI	프론티어	$3.495	7.9
GPT-6 Sol	OpenAI	프론티어	$0.291	3.1
GPT-6 Luna	OpenAI	프론티어	$0.027	4.2
GPT-5.6 Sol	OpenAI	프론티어	$0.755	4.1
Kimi K3	Moonshot AI	중국 오픈웨이트	$1.422	10.5
GLM 5.3	Z.AI	중국 오픈웨이트	$1.821	10.1

모델별 실행당 비용과 실행 시간

가로축은 실행당 비용(중앙값, 로그 스케일), 세로축은 실행 시간(분, 중앙값)입니다. 색은 벤더, 모양은 그룹(원=프론티어, 마름모=중국 오픈웨이트)을 나타냅니다. 가는 선은 각 축의 최소~최대 범위입니다.

출처: 이 보고서의 실측 70회(Amazon Bedrock us-east-1, 2026-10-12~2026-10-13 UTC). 비용은 2026-10-12에 확인한 단가로 계산했습니다.

모델별 결과

지표를 바꿔 가며 5회 실행의 범위(막대)와 중앙값(세로선)을 비교할 수 있고, 행을 펼치면 run별 값이 나옵니다. 아래 표는 같은 값을 숫자로 정리한 것입니다. 값은 완주한 run의 중앙값이고 괄호 안은 최소–최대이며, 비용은 [계산], 나머지는 [사실]입니다.

지표

• 완주한 실행
• 중앙값
• ×타임아웃(완주 값 없음)

모델

완주 실행 범위

$0.024$0.130$0.697$3.726

프론티어

Claude Opus 5.55/5 완주중앙값 $0.907▸5회 실행 보기

Claude Opus 5.5 — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	7.1	41	22,812	1,079,865	$1.034	PASS	2	0
2	완주	1	5.7	30	20,467	689,505	$0.872	PASS	2	0
3	완주	1	6.1	30	20,402	631,889	$0.861	PASS	2	0
4	완주	1	8.0	45	23,773	1,088,484	$1.054	PASS	3	0
5	완주	1	6.1	35	20,667	796,558	$0.907	PASS	2	0

Claude Sonnet 5.55/5 완주중앙값 $0.306▸5회 실행 보기

Claude Sonnet 5.5 — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	3.7	25	13,929	489,440	$0.319	PASS	2	0
2	완주	1	3.8	24	14,407	418,465	$0.305	FAIL	1	0
3	완주	1	4.1	27	14,309	603,161	$0.328	FAIL	2	0
4	완주	1	3.4	25	14,161	445,388	$0.306	PASS	3	0
5	완주	2	3.9	23	12,677	226,794	$0.257	PASS / PASS	2	1

Claude Haiku 5.55/5 완주중앙값 $0.065▸5회 실행 보기

Claude Haiku 5.5 — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	6.2	39	42,838	1,155,347	$0.046	PASS	4	0
2	완주	1	8.3	62	52,713	2,727,358	$0.070	PASS	4	0
3	완주	1	7.4	50	54,257	2,156,808	$0.065	PASS	4	0
4	완주	2	9.9	77	67,557	2,711,858	$0.084	FAIL / PASS	7	0
5	완주	1	7.0	49	47,874	2,032,399	$0.059	PASS	6	0

Claude Fable 5.15/5 완주중앙값 $2.566▸5회 실행 보기

Claude Fable 5.1 — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	8.9	44	29,187	1,238,647	$2.796	PASS	2	0
2	완주	1	10.9	58	28,567	1,564,029	$2.837	PASS	2	0
3	완주	1	6.9	36	22,047	787,229	$2.118	PASS	7	0
4	완주	1	9.3	46	25,586	1,183,739	$2.555	PASS	2	0
5	완주	1	8.4	44	26,693	1,062,192	$2.566	PASS	6	0

Claude Opus 55/5 완주중앙값 $1.999▸5회 실행 보기

Claude Opus 5 — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	6.8	50	24,165	1,138,625	$1.635	PASS	2	0
2	완주	1	7.3	56	26,436	1,452,008	$1.876	PASS	2	0
3	완주	1	14.0	91	40,478	3,851,983	$3.726	PASS	3	0
4	완주	1	10.3	69	32,053	1,769,367	$2.258	PASS	2	0
5	완주	1	8.4	57	28,503	1,555,721	$1.999	PASS	2	0

Claude Sonnet 55/5 완주중앙값 $1.179▸5회 실행 보기

Claude Sonnet 5 — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	11.3	102	36,492	3,758,302	$1.412	PASS	1	0
2	완주	1	8.3	80	32,142	2,787,977	$1.128	PASS	2	0
3	완주	1	9.7	85	31,074	3,059,198	$1.179	PASS	2	0
4	완주	1	8.1	77	31,127	2,909,277	$1.155	PASS	2	0
5	완주	1	11.4	93	34,760	4,019,069	$1.455	PASS	2	0

Claude Opus 4.85/5 완주중앙값 $2.018▸5회 실행 보기

Claude Opus 4.8 — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	6.6	60	23,680	1,749,809	$1.971	PASS	2	0
2	완주	1	6.6	56	22,316	1,675,909	$1.859	PASS	2	0
3	완주	1	9.6	75	29,333	2,735,633	$2.678	none	2	1
4	완주	1	7.6	62	27,140	1,873,275	$2.134	PASS	2	0
5	완주	1	7.2	60	23,804	1,877,268	$2.018	PASS	2	0

GPT-6.1 Sol5/5 완주중앙값 $0.527▸5회 실행 보기

GPT-6.1 Sol — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	8.8	53	22,847	1,385,667	$0.559	PASS	6	0
2	완주	1	6.7	46	18,490	1,112,514	$0.457	PASS	5	0
3	완주	1	8.1	45	20,621	1,164,468	$0.536	PASS	7	0
4	완주	1	8.4	44	22,189	1,096,209	$0.527	PASS	4	0
5	완주	1	6.5	49	19,083	1,251,798	$0.495	PASS	5	0

GPT-6 Astra5/5 완주중앙값 $3.495▸5회 실행 보기

GPT-6 Astra — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	7.5	46	22,221	1,325,517	$3.495	PASS	4	0
2	완주	1	7.3	48	21,151	1,208,409	$3.153	PASS	4	0
3	완주	1	7.9	48	21,299	1,139,606	$3.102	PASS	6	0
4	완주	1	8.8	50	23,685	1,340,715	$3.511	PASS	5	0
5	완주	1	8.0	55	22,250	1,479,623	$3.562	PASS	5	0

GPT-6 Sol5/5 완주중앙값 $0.291▸5회 실행 보기

GPT-6 Sol — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	3.2	32	8,428	456,816	$0.281	PASS	2	0
2	완주	1	2.9	36	9,605	592,640	$0.326	PASS	3	0
3	완주	1	2.5	33	7,967	432,181	$0.258	PASS	2	0
4	완주	1	3.3	51	9,441	818,653	$0.358	PASS	2	0
5	완주	1	3.1	41	8,544	564,091	$0.291	PASS	2	0

GPT-6 Luna5/5 완주중앙값 $0.027▸5회 실행 보기

GPT-6 Luna — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	5.8	59	16,847	1,227,597	$0.029	FAIL	2	0
2	완주	1	4.0	43	14,265	848,865	$0.025	PASS	3	0
3	완주	3	15.7	113	45,643	1,979,669	$0.066	FAIL / FAIL / PASS	5	0
4	완주	1	4.2	43	13,818	1,057,982	$0.027	PASS	2	0
5	완주	1	4.1	50	14,272	961,021	$0.024	PASS	2	0

GPT-5.6 Sol5/5 완주중앙값 $0.755▸5회 실행 보기

GPT-5.6 Sol — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	4.1	34	12,032	664,801	$0.818	PASS	4	0
2	완주	1	5.8	27	12,787	524,621	$0.755	FAIL	2	0
3	완주	1	3.4	32	10,223	584,537	$0.708	PASS	2	0
4	완주	1	5.8	31	12,480	775,728	$0.908	FAIL	2	0
5	완주	1	3.7	29	10,402	505,256	$0.667	PASS	3	0

중국 오픈웨이트

Kimi K35/5 완주중앙값 $1.422▸5회 실행 보기

Kimi K3 — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	9.8	61	39,505	1,658,186	$1.422	PASS	5	0
2	완주	1	12.0	61	47,056	1,856,453	$1.640	PASS	4	0
3	완주	1	10.6	65	35,008	1,637,495	$1.326	PASS	2	0
4	완주	1	10.5	63	40,008	1,815,345	$1.479	PASS	4	0
5	완주	1	8.3	57	32,640	1,276,997	$1.154	PASS	4	0

GLM 5.34/5 완주×중앙값 $1.821▸5회 실행 보기

GLM 5.3 — 5회 실행 보기

실행	상태	반복	분	LLM 요청	출력 토큰	총 토큰	비용	검증자	커밋	세션 자가종료
1	완주	1	10.3	74	48,793	2,876,201	$1.402	PASS	4	0
2	완주	1	9.9	89	68,386	4,364,926	$2.062	none	4	1
3	완주	1	8.2	86	50,777	3,389,784	$1.595	PASS	5	0
4	타임아웃	2	20.1	85	52,892	2,491,280	$1.433	FAIL	3	0
5	완주	1	15.0	73	77,914	4,143,819	$2.046	PASS	6	0

그룹	모델	완주	run당 비용(USD)	출력 토큰	전체 토큰	LLM 요청	랄프 반복	run 시간(분)
프론티어	Claude Opus 5.5	5/5	$0.907 ($0.861–$1.054)	20,667 (20,402–23,773)	796,558 (631,889–1,088,484)	35 (30–45)	1	6.1 (5.7–8.0)
프론티어	Claude Sonnet 5.5	5/5	$0.306 ($0.257–$0.328)	14,161 (12,677–14,407)	445,388 (226,794–603,161)	25 (23–27)	1–2	3.8 (3.4–4.1)
프론티어	Claude Haiku 5.5	5/5	$0.065 ($0.046–$0.084)	52,713 (42,838–67,557)	2,156,808 (1,155,347–2,727,358)	50 (39–77)	1–2	7.4 (6.2–9.9)
프론티어	Claude Fable 5.1	5/5	$2.566 ($2.118–$2.837)	26,693 (22,047–29,187)	1,183,739 (787,229–1,564,029)	44 (36–58)	1	8.9 (6.9–10.9)
프론티어	Claude Opus 5	5/5	$1.999 ($1.635–$3.726)	28,503 (24,165–40,478)	1,555,721 (1,138,625–3,851,983)	57 (50–91)	1	8.4 (6.8–14.0)
프론티어	Claude Sonnet 5	5/5	$1.179 ($1.128–$1.455)	32,142 (31,074–36,492)	3,059,198 (2,787,977–4,019,069)	85 (77–102)	1	9.7 (8.1–11.4)
프론티어	Claude Opus 4.8	5/5	$2.018 ($1.859–$2.678)	23,804 (22,316–29,333)	1,873,275 (1,675,909–2,735,633)	60 (56–75)	1	7.2 (6.6–9.6)
프론티어	GPT-6.1 Sol	5/5	$0.527 ($0.457–$0.559)	20,621 (18,490–22,847)	1,164,468 (1,096,209–1,385,667)	46 (44–53)	1	8.1 (6.5–8.8)
프론티어	GPT-6 Astra	5/5	$3.495 ($3.102–$3.562)	22,221 (21,151–23,685)	1,325,517 (1,139,606–1,479,623)	48 (46–55)	1	7.9 (7.3–8.8)
프론티어	GPT-6 Sol	5/5	$0.291 ($0.258–$0.358)	8,544 (7,967–9,605)	564,091 (432,181–818,653)	36 (32–51)	1	3.1 (2.5–3.3)
프론티어	GPT-6 Luna	5/5	$0.027 ($0.024–$0.066)	14,272 (13,818–45,643)	1,057,982 (848,865–1,979,669)	50 (43–113)	1–3	4.2 (4.0–15.7)
프론티어	GPT-5.6 Sol	5/5	$0.755 ($0.667–$0.908)	12,032 (10,223–12,787)	584,537 (505,256–775,728)	31 (27–34)	1	4.1 (3.4–5.8)
중국 오픈웨이트	Kimi K3	5/5	$1.422 ($1.154–$1.640)	39,505 (32,640–47,056)	1,658,186 (1,276,997–1,856,453)	61 (57–65)	1	10.5 (8.2–12.0)
중국 오픈웨이트	GLM 5.3	4/5	$1.821 ($1.402–$2.062)	59,582 (48,793–77,914)	3,766,802 (2,876,201–4,364,926)	80 (73–89)	1	10.1 (8.2–15.0)

토큰과 비용 구성

완주한 run의 전체 토큰 중 94%가 캐시 읽기

입력출력캐시 읽기캐시 쓰기

토큰 구성비용 구성(추정)

프론티어

Claude Opus 5.5전체 80만 토큰

Claude Opus 5.5 토큰 구성

캐시 읽기 91%

Claude Opus 5.5 비용 구성(추정)

출력 50%

Claude Sonnet 5.5전체 45만 토큰

Claude Sonnet 5.5 토큰 구성

캐시 읽기 88%

Claude Sonnet 5.5 비용 구성(추정)

출력 51%

Claude Haiku 5.5전체 216만 토큰

Claude Haiku 5.5 토큰 구성

캐시 읽기 93%

Claude Haiku 5.5 비용 구성(추정)

출력 45%

Claude Fable 5.1전체 118만 토큰

Claude Fable 5.1 토큰 구성

캐시 읽기 93%

Claude Fable 5.1 비용 구성(추정)

출력 56%

Claude Opus 5전체 156만 토큰

Claude Opus 5 토큰 구성

캐시 읽기 94%

Claude Opus 5 비용 구성(추정)

캐시 읽기 40%

Claude Sonnet 5전체 306만 토큰

Claude Sonnet 5 토큰 구성

캐시 읽기 97%

Claude Sonnet 5 비용 구성(추정)

캐시 읽기 54%

Claude Opus 4.8전체 187만 토큰

Claude Opus 4.8 토큰 구성

캐시 읽기 95%

Claude Opus 4.8 비용 구성(추정)

캐시 읽기 48%

GPT-6.1 Sol전체 116만 토큰

GPT-6.1 Sol 토큰 구성

캐시 읽기 92%

GPT-6.1 Sol 비용 구성(추정)

출력 44%

GPT-6 Astra전체 133만 토큰

GPT-6 Astra 토큰 구성

캐시 읽기 93%

GPT-6 Astra 비용 구성(추정)

캐시 읽기 40%

GPT-6 Sol전체 56만 토큰

GPT-6 Sol 토큰 구성

캐시 읽기 93%

GPT-6 Sol 비용 구성(추정)

캐시 읽기 39%

GPT-6 Luna전체 106만 토큰

GPT-6 Luna 토큰 구성

캐시 읽기 93%

GPT-6 Luna 비용 구성(추정)

캐시 읽기 40%

GPT-5.6 Sol전체 58만 토큰

GPT-5.6 Sol 토큰 구성

캐시 읽기 90%

GPT-5.6 Sol 비용 구성(추정)

캐시 쓰기 35%

중국 오픈웨이트

Kimi K3전체 166만 토큰

Kimi K3 토큰 구성

캐시 읽기 94%

Kimi K3 비용 구성(추정)

출력 46%

GLM 5.3전체 377만 토큰

GLM 5.3 토큰 구성

캐시 읽기 96%

GLM 5.3 비용 구성(추정)

캐시 읽기 69%

데이터 보기

모델	입력	출력	캐시 읽기	캐시 쓰기	전체	캐시 읽기 토큰 비중	캐시 읽기 비용 비중
프론티어
Claude Opus 5.5	74	20,667	722,474	53,343	796,558	91%	18%
Claude Sonnet 5.5	54	14,161	392,240	38,933	445,388	88%	14%
Claude Haiku 5.5	104	52,713	2,008,107	93,162	2,156,808	93%	34%
Claude Fable 5.1	92	26,693	1,096,620	61,437	1,183,739	93%	12%
Claude Opus 5	114	28,503	1,467,821	59,283	1,555,721	94%	40%
Claude Sonnet 5	170	32,142	2,960,551	70,704	3,059,198	97%	55%
Claude Opus 4.8	120	23,804	1,787,192	58,440	1,873,275	95%	49%
GPT-6.1 Sol	92	20,621	1,074,525	59,843	1,164,468	92%	22%
GPT-6 Astra	96	22,221	1,236,901	58,048	1,325,517	93%	39%
GPT-6 Sol	72	8,544	525,901	30,494	564,091	93%	40%
GPT-6 Luna	100	14,272	982,784	60,391	1,057,982	93%	40%
GPT-5.6 Sol	62	12,032	528,733	49,072	584,537	90%	31%
중국 오픈웨이트
Kimi K3	427	39,505	1,556,409	60,969	1,658,186	94%	36%
GLM 5.3	160	59,582	3,612,806	87,281	3,766,802	96%	68%

토큰 구성과 비용 구성

캐시 읽기는 캐시에 저장된 프롬프트 앞부분을 일반 입력보다 낮은 단가로 다시 읽는 토큰입니다.

출처: Bedrock이 보고한 토큰(완주한 run의 중앙값) × 2026-10-12 기준 단가

• 출력 토큰은 모든 모델에서 전체 토큰의 3% 이하였지만 단가가 가장 높아, 여러 모델에서 비용의 가장 큰 몫이었습니다. 캐시 읽기는 단가가 낮아도 양이 많아 비용의 상당 부분을 차지했고, GLM 5.3은 run 비용의 약 68%가 캐시 읽기였습니다 [계산].

빌더와 검증자의 분담

빌더검증자실행당 비용 (USD)

프론티어

Claude Opus 5.5빌더 23 / 검증자 11

Claude Opus 5.5: $0.907, 검증자 $0.135 (15%)

$0.907검증자 15%

Claude Sonnet 5.5빌더 17 / 검증자 8자기 종료 세션 1

Claude Sonnet 5.5: $0.306, 검증자 $0.037 (12%)

$0.306검증자 12%

Claude Haiku 5.5빌더 41 / 검증자 10

Claude Haiku 5.5: $0.065, 검증자 $0.005 (8%)

$0.065검증자 8%

Claude Fable 5.1빌더 33 / 검증자 13

Claude Fable 5.1: $2.566, 검증자 $0.375 (15%)

$2.566검증자 15%

Claude Opus 5빌더 44 / 검증자 14

Claude Opus 5: $1.999, 검증자 $0.203 (10%)

$1.999검증자 10%

Claude Sonnet 5빌더 71 / 검증자 10

Claude Sonnet 5: $1.179, 검증자 $0.061 (5%)

$1.179검증자 5%

Claude Opus 4.8빌더 52 / 검증자 9자기 종료 세션 1

Claude Opus 4.8: $2.018, 검증자 $0.133 (7%)

$2.018검증자 7%

GPT-6.1 Sol빌더 38 / 검증자 8

GPT-6.1 Sol: $0.527, 검증자 $0.055 (10%)

$0.527검증자 10%

GPT-6 Astra빌더 41 / 검증자 9

GPT-6 Astra: $3.495, 검증자 $0.278 (8%)

$3.495검증자 8%

GPT-6 Sol빌더 28 / 검증자 7

GPT-6 Sol: $0.291, 검증자 $0.047 (16%)

$0.291검증자 16%

GPT-6 Luna빌더 44 / 검증자 10

GPT-6 Luna: $0.027, 검증자 $0.007 (25%)

$0.027검증자 25%

GPT-5.6 Sol빌더 22 / 검증자 8

GPT-5.6 Sol: $0.755, 검증자 $0.181 (24%)

$0.755검증자 24%

중국 오픈웨이트

Kimi K3빌더 47 / 검증자 16

Kimi K3: $1.422, 검증자 $0.122 (9%)

$1.422검증자 9%

GLM 5.3빌더 65 / 검증자 16자기 종료 세션 1

GLM 5.3: $1.821, 검증자 $0.082 (4%)

$1.821검증자 4%

자기 종료 세션: 에이전트가 자신의 프로세스를 종료(exit 143)한 경우로, pi가 프롬프트를 명령행 인자로 받기 때문에 발생합니다.

검증자 판정 (공식 채점을 통과한 반복)

PASS: 62PORT 환경변수 미반영으로 FAIL: 5판정 없음 / 자기 종료: 2

검증자 PASS인데 채점에서 실패한 반복: 0

PORT FAIL 모델: GPT-5.6 Sol (2), GPT-6 Luna (1), Claude Sonnet 5.5 (2)

검증자 없는 비교군이 없어 효과는 판단 불가

데이터 보기

모델	빌더 요청	검증자 요청	빌더 비용	검증자 비용	검증자 비중	자기 종료 세션
프론티어
Claude Opus 5.5	23	11	$0.772	$0.135	15%	0
Claude Sonnet 5.5	17	8	$0.269	$0.037	12%	1
Claude Haiku 5.5	41	10	$0.061	$0.005	8%	0
Claude Fable 5.1	33	13	$2.192	$0.375	15%	0
Claude Opus 5	44	14	$1.773	$0.203	10%	0
Claude Sonnet 5	71	10	$1.101	$0.061	5%	0
Claude Opus 4.8	52	9	$1.887	$0.133	7%	1
GPT-6.1 Sol	38	8	$0.442	$0.055	10%	0
GPT-6 Astra	41	9	$3.196	$0.278	8%	0
GPT-6 Sol	28	7	$0.259	$0.047	16%	0
GPT-6 Luna	44	10	$0.022	$0.007	25%	0
GPT-5.6 Sol	22	8	$0.552	$0.181	24%	0
중국 오픈웨이트
Kimi K3	47	16	$1.300	$0.122	9%	0
GLM 5.3	65	16	$1.729	$0.082	4%	1

빌더와 검증자의 분담

막대 전체는 모델별 run당 비용 중앙값이고, 주황색 부분은 그중 검증자 비용 중앙값입니다. 모든 행이 같은 USD 축을 써서 막대 길이가 비용 크기를 나타냅니다. 아래 패널은 공식 채점을 통과한 반복에서 검증자가 낸 판정입니다.

출처: Bedrock이 보고한 토큰 × 단가(완주한 run의 중앙값), 검증자 판정은 REVIEW.md

• 검증자 비용은 run 비용의 약 4%(GLM 5.3)에서 25%(GPT-6 Luna)였습니다 [계산]. 랄프 반복이 대부분 1회로 끝나서, 빌더가 검증자의 REVIEW.md를 실제로 읽은 run은 반복이 2회 이상이었던 4개뿐입니다 [사실].

그룹 비교

중국 오픈웨이트 ÷ 프론티어

• 2.0×
  비용
  프론티어 $0.831중국 오픈웨이트 $1.621
• 2.3×
  출력 토큰
  프론티어 21,444중국 오픈웨이트 49,543
• 2.3×
  전체 토큰
  프론티어 1,174,104중국 오픈웨이트 2,712,494
• 1.5×
  LLM 요청
  프론티어 47중국 오픈웨이트 71
• 1.4×
  run 시간
  프론티어 7.3분중국 오픈웨이트 10.3분

모델별 실행당 비용 (로그 스케일)

1. 1GPT-6 Luna$0.027
2. 2Claude Haiku 5.5$0.065
3. 3GPT-6 Sol$0.291
4. 4Claude Sonnet 5.5$0.306
5. 5GPT-6.1 Sol$0.527
6. 6GPT-5.6 Sol$0.755
7. 7Claude Opus 5.5$0.907
8. 8Claude Sonnet 5$1.179
9. 9Kimi K3$1.422
10. 10GLM 5.3$1.821
11. 11Claude Opus 5$1.999
12. 12Claude Opus 4.8$2.018
13. 13Claude Fable 5.1$2.566
14. 14GPT-6 Astra$3.495

프론티어중국 오픈웨이트프론티어 범위 (최소–최대)

그룹 간 차이(약 2.0배)보다 프론티어 안의 차이(약 130배)가 훨씬 큽니다. 비용은 모델 단위로 판단해야 합니다.

중국 오픈웨이트 그룹은 모델이 2개뿐이라 그룹 값의 신뢰도가 낮습니다. 비용은 Amazon Bedrock 단가 기준이며, 자체 호스팅은 다루지 않습니다.

데이터 보기

지표	프론티어 중앙값	프론티어 최소–최대	중국 오픈웨이트 중앙값	중국 오픈웨이트 최소–최대	배수 (중국 ÷ 프론티어)
비용	$0.831	$0.027–$3.495	$1.621	$1.422–$1.821	2.0×
출력 토큰	21,444	8,544–52,713	49,543	39,505–59,582	2.3×
전체 토큰	1,174,104	445,388–3,059,198	2,712,494	1,658,186–3,766,802	2.3×
LLM 요청	47	25–85	71	61–80	1.5×
run 시간	7.3분	3.1분–9.7분	10.3분	10.1분–10.5분	1.4×

그룹 비교: 중국 오픈웨이트 vs 프론티어

그룹 값은 각 모델 중앙값들의 중앙값입니다. 타일의 큰 숫자는 중국 오픈웨이트 그룹 값을 프론티어 그룹 값으로 나눈 배수입니다.

출처: 이 보고서의 실측, 완주한 run의 중앙값

모델별 개요

• Claude Opus 5.5

  프론티어 · Anthropic
  us.anthropic.claude-opus-5-5

  비용

  $0.907 ($0.861–$1.054)

  비용 순위

  14개 중 7위 (낮은 순)

  출력 토큰

  20,667 (20,402–23,773)

  전체 토큰

  796,558 (631,889–1,088,484)

  캐시 읽기 토큰

  722,474 (558,985–1,008,530)

  실행 시간(분)

  6.1 (5.7–8.0)

  LLM 요청

  35 (빌더 23 / 검증자 11)

  완주

  5/5

  반복

  1, 1, 1, 1, 1

  검증자 비용 비중

  15%

  5회 모두 첫 반복에서 완주했고, 검증자도 5회 모두 PASS를 냈습니다.

• Claude Sonnet 5.5

  프론티어 · Anthropic
  us.anthropic.claude-sonnet-5-5

  비용

  $0.306 ($0.257–$0.328)

  비용 순위

  14개 중 4위 (낮은 순)

  출력 토큰

  14,161 (12,677–14,407)

  전체 토큰

  445,388 (226,794–603,161)

  캐시 읽기 토큰

  392,240 (178,476–548,677)

  실행 시간(분)

  3.8 (3.4–4.1)

  LLM 요청

  25 (빌더 17 / 검증자 8)

  완주

  5/5

  반복

  1, 1, 1, 1, 2

  검증자 비용 비중

  12%

  5회차는 첫 번째 반복에서 빌더가 자기 프로세스까지 종료했고(exit 143), 두 번째 반복에서 완주했습니다. 2·3회차는 서버가 PORT 환경 변수 대신 다른 포트에서 떠서 검증자가 FAIL을 냈지만, 공식 채점은 통과했습니다.

• Claude Haiku 5.5

  프론티어 · Anthropic
  us.anthropic.claude-haiku-5-5

  비용

  $0.065 ($0.046–$0.084)

  비용 순위

  14개 중 2위 (낮은 순)

  출력 토큰

  52,713 (42,838–67,557)

  전체 토큰

  2,156,808 (1,155,347–2,727,358)

  캐시 읽기 토큰

  2,008,107 (1,034,505–2,581,355)

  실행 시간(분)

  7.4 (6.2–9.9)

  LLM 요청

  50 (빌더 41 / 검증자 10)

  완주

  5/5

  반복

  1, 1, 1, 2, 1

  검증자 비용 비중

  8%

  4회차는 첫 번째 반복이 완료 선언 없이 끝났고(채점 0/13 파일), 두 번째 반복에서 완주했습니다. pi 0.87.1이 Haiku 5.5에 맞지 않는 thinking 형식을 보내 Bedrock이 요청을 거부하므로, pi 번들의 모델 이름 목록 두 곳에 haiku-5를 추가해 실행했습니다.

• Claude Fable 5.1

  프론티어 · Anthropic
  us.anthropic.claude-fable-5-1

  비용

  $2.566 ($2.118–$2.837)

  비용 순위

  14개 중 13위 (낮은 순)

  출력 토큰

  26,693 (22,047–29,187)

  전체 토큰

  1,183,739 (787,229–1,564,029)

  캐시 읽기 토큰

  1,096,620 (713,581–1,472,841)

  실행 시간(분)

  8.9 (6.9–10.9)

  LLM 요청

  44 (빌더 33 / 검증자 13)

  완주

  5/5

  반복

  1, 1, 1, 1, 1

  검증자 비용 비중

  15%

  계정의 us-east-1 데이터 보존 모드를 aws_review로 바꾼 뒤, 다른 13개 모델의 실행이 끝나고 약 4시간 18분 뒤에 단독으로 실행했습니다. 5회 모두 첫 반복에서 완주했고, 검증자도 5회 모두 PASS를 냈습니다.

• Claude Opus 5

  프론티어 · Anthropic
  us.anthropic.claude-opus-5

  비용

  $1.999 ($1.635–$3.726)

  비용 순위

  14개 중 11위 (낮은 순)

  출력 토큰

  28,503 (24,165–40,478)

  전체 토큰

  1,555,721 (1,138,625–3,851,983)

  캐시 읽기 토큰

  1,467,821 (1,057,977–3,729,782)

  실행 시간(분)

  8.4 (6.8–14.0)

  LLM 요청

  57 (빌더 44 / 검증자 14)

  완주

  5/5

  반복

  1, 1, 1, 1, 1

  검증자 비용 비중

  10%

  5회 모두 첫 반복에서 완주했고, 검증자도 5회 모두 PASS를 냈습니다. 3회차 비용이 중앙값의 약 1.9배였습니다(LLM 요청 91회, 반복 1회).

• Claude Sonnet 5

  프론티어 · Anthropic
  us.anthropic.claude-sonnet-5

  비용

  $1.179 ($1.128–$1.455)

  비용 순위

  14개 중 8위 (낮은 순)

  출력 토큰

  32,142 (31,074–36,492)

  전체 토큰

  3,059,198 (2,787,977–4,019,069)

  캐시 읽기 토큰

  2,960,551 (2,689,255–3,906,673)

  실행 시간(분)

  9.7 (8.1–11.4)

  LLM 요청

  85 (빌더 71 / 검증자 10)

  완주

  5/5

  반복

  1, 1, 1, 1, 1

  검증자 비용 비중

  5%

  5회 모두 첫 반복에서 완주했고, 검증자도 5회 모두 PASS를 냈습니다.

• Claude Opus 4.8

  프론티어 · Anthropic
  us.anthropic.claude-opus-4-8

  비용

  $2.018 ($1.859–$2.678)

  비용 순위

  14개 중 12위 (낮은 순)

  출력 토큰

  23,804 (22,316–29,333)

  전체 토큰

  1,873,275 (1,675,909–2,735,633)

  캐시 읽기 토큰

  1,787,192 (1,600,449–2,645,739)

  실행 시간(분)

  7.2 (6.6–9.6)

  LLM 요청

  60 (빌더 52 / 검증자 9)

  완주

  5/5

  반복

  1, 1, 1, 1, 1

  검증자 비용 비중

  7%

  3회차 검증자 세션이 자기 프로세스까지 종료해(exit 143) 판정이 남지 않았습니다. 공식 채점은 통과했습니다.

• GPT-6.1 Sol

  프론티어 · OpenAI
  us.openai.gpt-6.1-sol

  비용

  $0.527 ($0.457–$0.559)

  비용 순위

  14개 중 5위 (낮은 순)

  출력 토큰

  20,621 (18,490–22,847)

  전체 토큰

  1,164,468 (1,096,209–1,385,667)

  캐시 읽기 토큰

  1,074,525 (1,011,677–1,302,871)

  실행 시간(분)

  8.1 (6.5–8.8)

  LLM 요청

  46 (빌더 38 / 검증자 8)

  완주

  5/5

  반복

  1, 1, 1, 1, 1

  검증자 비용 비중

  10%

  5회 모두 첫 반복에서 완주했고, 검증자도 5회 모두 PASS를 냈습니다.

• GPT-6 Astra

  프론티어 · OpenAI
  us.openai.gpt-6-astra

  비용

  $3.495 ($3.102–$3.562)

  비용 순위

  14개 중 14위 (낮은 순)

  출력 토큰

  22,221 (21,151–23,685)

  전체 토큰

  1,325,517 (1,139,606–1,479,623)

  캐시 읽기 토큰

  1,236,901 (1,062,948–1,399,215)

  실행 시간(분)

  7.9 (7.3–8.8)

  LLM 요청

  48 (빌더 41 / 검증자 9)

  완주

  5/5

  반복

  1, 1, 1, 1, 1

  검증자 비용 비중

  8%

  5회 모두 첫 반복에서 완주했고, 검증자도 5회 모두 PASS를 냈습니다.

• GPT-6 Sol

  프론티어 · OpenAI
  us.openai.gpt-6-sol

  비용

  $0.291 ($0.258–$0.358)

  비용 순위

  14개 중 3위 (낮은 순)

  출력 토큰

  8,544 (7,967–9,605)

  전체 토큰

  564,091 (432,181–818,653)

  캐시 읽기 토큰

  525,901 (393,654–778,994)

  실행 시간(분)

  3.1 (2.5–3.3)

  LLM 요청

  36 (빌더 28 / 검증자 7)

  완주

  5/5

  반복

  1, 1, 1, 1, 1

  검증자 비용 비중

  16%

  5회 모두 첫 반복에서 완주했고, 검증자도 5회 모두 PASS를 냈습니다.

• GPT-6 Luna

  프론티어 · OpenAI
  us.openai.gpt-6-luna

  비용

  $0.027 ($0.024–$0.066)

  비용 순위

  14개 중 1위 (낮은 순)

  출력 토큰

  14,272 (13,818–45,643)

  전체 토큰

  1,057,982 (848,865–1,979,669)

  캐시 읽기 토큰

  982,784 (774,123–1,778,975)

  실행 시간(분)

  4.2 (4.0–15.7)

  LLM 요청

  50 (빌더 44 / 검증자 10)

  완주

  5/5

  반복

  1, 1, 3, 1, 1

  검증자 비용 비중

  25%

  3회차: 첫 번째 반복에서 빌더가 npm run dev를 포그라운드로 실행해 세션이 멈췄고, 300초 멈춤 감지로 종료됐습니다. 두 번째 반복 뒤 채점은 13개 파일 중 5개만 통과했고, 세 번째 반복에서 완주했습니다. 1회차는 서버가 PORT 환경 변수 대신 다른 포트에서 떠서 검증자가 FAIL을 냈지만, 공식 채점은 통과했습니다. 3회차 비용이 중앙값의 약 2.5배였습니다(LLM 요청 113회, 반복 3회).

• GPT-5.6 Sol

  프론티어 · OpenAI
  us.openai.gpt-5.6-sol

  비용

  $0.755 ($0.667–$0.908)

  비용 순위

  14개 중 6위 (낮은 순)

  출력 토큰

  12,032 (10,223–12,787)

  전체 토큰

  584,537 (505,256–775,728)

  캐시 읽기 토큰

  528,733 (451,226–704,329)

  실행 시간(분)

  4.1 (3.4–5.8)

  LLM 요청

  31 (빌더 22 / 검증자 8)

  완주

  5/5

  반복

  1, 1, 1, 1, 1

  검증자 비용 비중

  24%

  2·4회차는 서버가 PORT 환경 변수 대신 다른 포트에서 떠서 검증자가 FAIL을 냈지만, 공식 채점은 통과했습니다.

• Kimi K3

  중국 오픈웨이트 · Moonshot AI
  us.moonshotai.kimi-k3

  비용

  $1.422 ($1.154–$1.640)

  비용 순위

  14개 중 9위 (낮은 순)

  출력 토큰

  39,505 (32,640–47,056)

  전체 토큰

  1,658,186 (1,276,997–1,856,453)

  캐시 읽기 토큰

  1,556,409 (1,190,363–1,739,007)

  실행 시간(분)

  10.5 (8.3–12.0)

  LLM 요청

  61 (빌더 47 / 검증자 16)

  완주

  5/5

  반복

  1, 1, 1, 1, 1

  검증자 비용 비중

  9%

  5회 모두 첫 반복에서 완주했고, 검증자도 5회 모두 PASS를 냈습니다. 3회차에서 Bedrock 스트림 오류가 2번 났고, pi가 자동으로 다시 요청해 이어졌습니다. 모델 카드는 Converse에서 명시적 프롬프트 캐싱을 제공하지 않는다고 하지만, Bedrock은 캐시 읽기·쓰기 토큰을 보고했습니다(적용 방식 확인 불가).

• GLM 5.3

  중국 오픈웨이트 · Z.AI
  us.zai.glm-5.3

  비용

  $1.821 ($1.402–$2.062)

  비용 순위

  14개 중 10위 (낮은 순)

  출력 토큰

  59,582 (48,793–77,914)

  전체 토큰

  3,766,802 (2,876,201–4,364,926)

  캐시 읽기 토큰

  3,612,806 (2,752,084–4,200,005)

  실행 시간(분)

  10.1 (8.2–15.0)

  LLM 요청

  80 (빌더 65 / 검증자 16)

  완주

  4/5

  반복

  1, 1, 1, ×, 1

  검증자 비용 비중

  4%

  4회차: 첫 번째 반복에서 빌더가 테스트용 node 서버를 포그라운드로 띄운 채 멈췄고, 300초 멈춤 감지로 종료됐습니다. 두 번째 반복은 20분 상한에 걸려 .ralph-done을 만들기 전에 끝났습니다. 상한 직후 채점에서 저장소는 13개 파일을 모두 통과했지만, 완주 규칙(.ralph-done + 13개 파일 통과)에 따라 미완주로 집계했습니다. 2회차 검증자 세션이 자기 프로세스까지 종료해(exit 143) 판정이 남지 않았습니다. 공식 채점은 통과했습니다.

해석

• 단가가 1차 요인입니다. 입력·출력 단가가 $0.11/$0.55인 GPT-6 Luna, Claude Haiku 5.5 모델은 전체 토큰을 1,057,982개, 2,156,808개 썼는데도 run당 비용이 $0.027, $0.065였습니다.
• 같은 단가 등급에서는 사용량이 갈랐습니다. Claude Sonnet 5와 Sonnet 5.5는 입력·출력 단가가 같지만($2.2/$11), Sonnet 5는 LLM 요청 85회로 Sonnet 5.5의 25회보다 많았고 비용은 약 3.9배였습니다.
• 단가와 사용량이 겹치면 차이가 커집니다. Claude Opus 4.8은 Opus 5.5보다 단가가 높고(입력·출력 $5.5/$27.5 대 $4.4/$22) 요청도 많아(60회 대 35회) 비용이 약 2.2배였습니다.
• 5회 실행의 편차는 대체로 작았습니다. 12개 모델은 5회 중 최대 비용이 중앙값의 1.35배 이내였습니다. 예외는 Claude Opus 5 3회차(약 1.9배), GPT-6 Luna 3회차(약 2.5배)입니다.
• 이 비교는 Bedrock 단가 기준입니다. 오픈웨이트 모델을 직접 호스팅할 때의 비용은 다루지 않았습니다.
• 이상 사례: 미완주 1건, 멈춤 감지 후 완주 1건, 자기 종료 세션 3건, 일시적인 Bedrock 스트림 오류 2건이 있었습니다. 자세한 경위는 아래에 접어 두었습니다.

이상 사례 상세

• 미완주, GLM 5.3 4회차: 첫 번째 반복에서 빌더가 테스트용 node 서버를 포그라운드로 띄운 채 멈췄고, 300초 멈춤 감지로 종료됐습니다. 두 번째 반복은 20분 상한에 걸려 .ralph-done을 만들기 전에 끝났습니다. 상한 직후 채점에서 저장소는 13개 파일을 모두 통과했지만, 완주 규칙(.ralph-done + 13개 파일 통과)에 따라 미완주로 집계했습니다.
• 멈춤 감지, GPT-6 Luna 3회차: 첫 번째 반복에서 빌더가 npm run dev를 포그라운드로 실행해 세션이 멈췄고, 300초 멈춤 감지로 종료됐습니다. 두 번째 반복 뒤 채점은 13개 파일 중 5개만 통과했고, 세 번째 반복에서 완주했습니다.
• 자기 종료 세션(Claude Sonnet 5.5 빌더, Claude Opus 4.8 검증자, GLM 5.3 검증자): 에이전트가 자기 프로세스까지 종료해 exit 143으로 끝난 세션입니다. 이 중 Claude Sonnet 5.5 5회차만 반복이 1회 늘었습니다.
• Bedrock 스트림 오류(Kimi K3 3회차 2번): "Bedrock stream ended without a stop reason" 오류였고, pi가 자동으로 다시 요청해 완주에는 영향이 없었습니다.

적용 단가 [출처]

단가 (USD / 100만 토큰)

• GPT-6 Astra

  us.openai.gpt-6-astra
  입력$11출력$55캐시 읽기$1.1캐시 쓰기$13.75
  $55
• Claude Fable 5.1

  us.anthropic.claude-fable-5-1
  입력$11출력$55캐시 읽기$0.275캐시 쓰기$13.75
  $55
• Claude Opus 5

  us.anthropic.claude-opus-5
  입력$5.5출력$27.5캐시 읽기$0.55캐시 쓰기$6.875
  $27.5
• Claude Opus 4.8

  us.anthropic.claude-opus-4-8
  입력$5.5출력$27.5캐시 읽기$0.55캐시 쓰기$6.875
  $27.5
• GPT-5.6 Sol

  us.openai.gpt-5.6-sol
  입력$4.4출력$22캐시 읽기$0.44캐시 쓰기$5.5
  $22
• Claude Opus 5.5

  us.anthropic.claude-opus-5-5
  입력$4.4출력$22캐시 읽기$0.22캐시 쓰기$5.5
  $22
• Kimi K3

  us.moonshotai.kimi-k3
  입력$3.3출력$16.5캐시 읽기$0.33캐시 쓰기$4.125
  $16.5
• Claude Sonnet 5

  us.anthropic.claude-sonnet-5
  입력$2.2출력$11캐시 읽기$0.22캐시 쓰기$2.75
  $11
• GPT-6 Sol

  us.openai.gpt-6-sol
  입력$2.2출력$11캐시 읽기$0.22캐시 쓰기$2.75
  $11
• Claude Sonnet 5.5

  us.anthropic.claude-sonnet-5-5
  입력$2.2출력$11캐시 읽기$0.11캐시 쓰기$2.75
  $11
• GPT-6.1 Sol

  us.openai.gpt-6.1-sol
  입력$2.2출력$11캐시 읽기$0.11캐시 쓰기$2.75
  $11
• GLM 5.3

  us.zai.glm-5.3
  입력$1.848출력$5.808캐시 읽기$0.3432캐시 쓰기$2.31
  $5.808
• Claude Haiku 5.5

  us.anthropic.claude-haiku-5-5
  입력$0.11출력$0.55캐시 읽기$0.011캐시 쓰기$0.1375
  $0.55
• GPT-6 Luna

  us.openai.gpt-6-luna
  입력$0.11출력$0.55캐시 읽기$0.011캐시 쓰기$0.1375
  $0.55

데이터 보기

모델	입력	출력	캐시 읽기	캐시 쓰기	모델 ID
GPT-6 Astra	$11	$55	$1.1	$13.75	us.openai.gpt-6-astra
Claude Fable 5.1	$11	$55	$0.275	$13.75	us.anthropic.claude-fable-5-1
Claude Opus 5	$5.5	$27.5	$0.55	$6.875	us.anthropic.claude-opus-5
Claude Opus 4.8	$5.5	$27.5	$0.55	$6.875	us.anthropic.claude-opus-4-8
GPT-5.6 Sol	$4.4	$22	$0.44	$5.5	us.openai.gpt-5.6-sol
Claude Opus 5.5	$4.4	$22	$0.22	$5.5	us.anthropic.claude-opus-5-5
Kimi K3	$3.3	$16.5	$0.33	$4.125	us.moonshotai.kimi-k3
Claude Sonnet 5	$2.2	$11	$0.22	$2.75	us.anthropic.claude-sonnet-5
GPT-6 Sol	$2.2	$11	$0.22	$2.75	us.openai.gpt-6-sol
Claude Sonnet 5.5	$2.2	$11	$0.11	$2.75	us.anthropic.claude-sonnet-5-5
GPT-6.1 Sol	$2.2	$11	$0.11	$2.75	us.openai.gpt-6.1-sol
GLM 5.3	$1.848	$5.808	$0.3432	$2.31	us.zai.glm-5.3
Claude Haiku 5.5	$0.11	$0.55	$0.011	$0.1375	us.anthropic.claude-haiku-5-5
GPT-6 Luna	$0.11	$0.55	$0.011	$0.1375	us.openai.gpt-6-luna

적용 단가

us-east-1 엔드포인트에서 미국 교차 리전 추론으로 호출할 때의 단가이며, 2026-10-12에 확인했습니다. 막대는 출력 단가(로그 눈금)입니다.

출처: Amazon Bedrock 요금 페이지와 모델 카드, 2026-10-12 확인 — Amazon Bedrock 요금

• Anthropic: Amazon Bedrock 요금 페이지의 "Geo and In-region Cross-region Inference" 표입니다. 이 페이지가 쓰는 요금 데이터(2026-10-12T08:40:08Z 게시)에서 US East (N. Virginia) 값을 읽었습니다.
• OpenAI: Bedrock 모델 카드의 표준 단가(입력 272K 토큰 이하) 표에서 US 교차 리전 추론 행을 따랐습니다. 요청 하나의 컨텍스트는 최대 94,172 토큰이었으므로 장문 단가는 해당하지 않습니다 [사실].
• Kimi K3, GLM 5.3: 각각 Bedrock 모델 카드와 요금 페이지의 표입니다. Kimi K3의 캐시 쓰기는 공개된 유일한 값인 30분 캐시 단가를 썼습니다.
• Anthropic·OpenAI 모델의 미국 교차 리전 단가는 글로벌 교차 리전 단가보다 10% 높습니다. 공개 Price List API의 us-east-1 데이터(2026-10-10 게시본)에는 이 모델들의 항목이 없었습니다.

실행 비용 [계산]

구분	비용(보고 토큰 × 단가)	설명
집계에 쓴 실행	$88.42	격리 컨테이너에서 실행한 70개 run 전체(완주·미완주 포함). Claude Fable 5.1 5회 $12.87 포함
폐기한 1차 실행	$17.60	에이전트를 호스트에서 직접 실행해 run 간 간섭 가능성이 있어 집계에서 뺀 실행
합계	$106.02	모델별 사전 확인 호출(모델당 1~2회)은 소액이라 넣지 않았습니다

이 금액은 보고된 토큰 수에 단가를 곱한 계산값입니다. 실제 청구액은 AWS Cost Explorer에서 확인해야 하며, AWS Marketplace로 청구되는 모델은 청구서에 각 제공사 항목으로 표시됩니다.

한계와 해석 주의

1. 과제 하나, 모델당 5회입니다. 순위는 이 과제와 이 구성에서 관측한 결과입니다. 같은 모델에서도 가장 비싼 run이 가장 싼 run의 최대 약 2.7배(GPT-6 Luna)였습니다.
2. 빌더와 검증자 2-에이전트 구성입니다. 모든 모델을 pi와 Bedrock Converse에서 빌더+검증자로 실행했습니다. 그래서 토큰과 비용에는 검증자 몫이 포함됩니다.
3. 1차 실행은 폐기했습니다. 컨테이너 없이 호스트에서 동시에 실행했더니 에이전트가 pkill -f, fuser -k 같은 호스트 전체 명령으로 다른 run의 서버를 멈출 수 있었습니다. 그래서 격리 컨테이너로 다시 실행했습니다.
4. 검증자가 서버 포트를 완주 기준보다 엄격하게 봤습니다. 검증자 프롬프트의 PORT 환경 변수 요구는 완주 기준에 없으며, 완주 판정에는 영향이 없습니다.
5. 자기 종료 세션(exit 143)이 있었습니다. pi는 프롬프트를 명령줄 인자로 받기 때문에, 에이전트가 프롬프트 안의 문구로 pkill -f를 실행하면 자기 자신도 종료됩니다. 비교를 위해 실행 도중 프롬프트는 바꾸지 않았습니다.
6. 검증자의 효과는 판단할 수 없습니다(확인 불가). 검증자 없는 비교군이 없습니다.
7. 그룹 2는 모델이 2개입니다. 그룹 대표값의 신뢰도가 낮습니다.
8. Kimi K3의 캐시 동작이 모델 카드 설명과 달랐습니다. Converse 호출에서도 캐시 토큰이 보고됐고, 보고된 그대로 계산했습니다. 적용 방식은 확인하지 못했습니다(확인 불가).
9. 실행 시점이 다릅니다. Claude Fable 5.1은 다른 모델보다 약 4시간 18분 뒤에 단독으로 실행했고, 이것이 run 시간에 준 영향은 측정하지 않았습니다 [추정].
10. 비용은 2026-10-12 단가로 계산한 값입니다. 단가가 바뀌면 결과도 달라집니다.

재현 정보

• 도구 버전: pi coding agent 0.87.1(Haiku 5.5용 수정 1곳), hurl 8.0.1, Node 22.23.3, Docker 이미지 기반 Amazon Linux 2023
• 설정값: 사고 설정 medium, 영어 프롬프트, 반복 상한 30회, run 시간 상한 1,200초, 멈춤 감지 300초, 모델당 5회
• 프롬프트: 빌더는 PROMPT-en.md를 그대로 썼고, 검증자 프롬프트는 이 보고서에서 새로 썼습니다.
• run별 수치: "모델별 결과" 차트에서 모델 행을 펼치면 5회 각각의 값이 나옵니다. 같은 값이 이 저장소의 src/data/ralph-loop-bedrock.json(runs 항목)에 있습니다.
• 하네스 스크립트와 원 데이터(세션 기록, run별 지표, 집계 파일)는 이 저장소에 포함하지 않았습니다. 과제·빌더 프롬프트·채점용 Hurl 테스트는 공개 저장소에 있습니다.

참고 자료

• 로보코(Roboco) 정도현, 랄프 루프 모델별 완주 비교 (참고한 리포트, 2026-10-14 05:27 UTC 확인)
• roboco-io/coding-agent-benchmark (과제, 빌더 프롬프트, 채점용 Hurl 테스트)
• Amazon Bedrock 요금
• Amazon Bedrock 사용자 가이드: Data retention
• RealWorld 백엔드 API 명세
• pi coding agent