arcprize/arc-agi-3-benchmarking

55Python 최신

What It Calls

외부 API 사용 사용자 키 필요 유료 무료 등급 있음 저장소 자체 서비스

키 없이 되는 범위: 텍스트 생성·이미지 생성·음성 인식·음성 합성·임베딩(OpenAI): 키가 없으면 오류로 멈추는 분기가 있습니다.

기능 행렬
기능	공급자	구분	기본 설정	대체 경로
텍스트 생성·이미지 생성·임베딩	Google Gemini API 호출 위치 6곳 `benchmarking/google_continuation.py:31` `benchmarking/google_continuation.py:35` `benchmarking/runtime_adapters.py:413` `benchmarking/runtime_adapters.py:415` `benchmarking/runtime_adapters.py:423` `benchmarking/runtime_clients.py:75`	키 필요	`generativelanguage.googleapis.com`	다른 공급자 선택
텍스트 생성·이미지 생성·음성 인식·음성 합성·임베딩	OpenAI 호출 위치 1곳 `benchmarking/chat_streaming.py:71`	키 필요	`api.openai.com`	없음
텍스트 생성	anthropic, gemini, openrouter, xai 호출 위치 4곳 `benchmarking/runtime_clients.py:54` `benchmarking/runtime_clients.py:56` `benchmarking/runtime_clients.py:67` `benchmarking/runtime_clients.py:75`	키 필요	`api.x.ai`, `openrouter.ai` 외 2개	없음
외부 API (arcprize.org)	arcprize.org 저장소 자체 서비스 호출 위치 1곳 `main.py:60`	미확정	`arcprize.org`	없음
텍스트 생성	Anthropic Claude 호출 위치 1곳 `benchmarking/runtime_clients.py:67`	선택 사항	`api.anthropic.com`	다른 공급자 선택
텍스트 생성	OpenRouter 호출 위치 1곳 `benchmarking/runtime_clients.py:56`	선택 사항	`openrouter.ai`	다른 공급자 선택
텍스트 생성·이미지 생성	xAI Grok 호출 위치 2곳 `benchmarking/runtime_clients.py:54` `benchmarking/runtime_clients.py:56`	선택 사항	`api.x.ai`	다른 공급자 선택

외부 API
API	인증	코드 근거	요금	가격 페이지	확인일
Google Gemini API	사용자 키 필요	`benchmarking/runtime_adapters.py:413`텍스트, 이미지 생성 및 임베딩 기능은 Google Gemini API를 통해 제공되며, 이를 위해 Google Gemini API 키가 필요합니다.	무료 등급 있음	가격 페이지	2026-10-05
OpenAI	사용자 키 필요	`benchmarking/chat_streaming.py:71`텍스트 및 이미지 생성, 음성 인식 및 합성, 임베딩 기능은 OpenAI를 통해 제공되며, 호출 실패 시 오류가 발생합니다.	유료	가격 페이지	2026-10-05
arcprize.org저장소 자체 서비스	자격증명 확인 필요	`main.py:60`키·주소가 없을 때 멈추는지 확인하지 못했습니다	요금 정보 없음	-	-
Anthropic Claude	사용자 키 필요	`benchmarking/runtime_clients.py:67`텍스트 생성 시 Anthropic Claude를 사용할 수 있으며, 다른 공급자를 선택할 수도 있습니다.	유료	가격 페이지	2026-10-05
OpenRouter	사용자 키 필요	`benchmarking/runtime_clients.py:56`텍스트 생성 시 OpenRouter를 사용할 수 있으며, 다른 공급자를 선택할 수도 있습니다.	무료 등급 있음	가격 페이지	2026-10-05
xAI Grok	사용자 키 필요	`benchmarking/runtime_clients.py:54`텍스트 및 이미지 생성에 xAI Grok을 사용할 수 있으며, 다른 공급자를 선택할 수도 있습니다.	유료	가격 페이지	2026-10-05

외부로 나가는 데이터: 프롬프트 텍스트 · 확인 불가 5곳

점검 범위: 전체 점검 — 코드·설정 파일 61개 전부 (저장소 파일 76개) · 트리 잘림 없음 · 서브모듈 없음

다음 행동

다른 저장소 점검 이 결과가 틀렸어요

배지 미리보기

[![external API](https://whatitcalls.reactiveworks.dev/badge/arcprize/arc-agi-3-benchmarking.svg)](https://whatitcalls.reactiveworks.dev/ko/arcprize/arc-agi-3-benchmarking)

README 에서는 「external API · used」 로 보입니다.

이 분석이 도움이 됐나요?

신선도 상세커밋 3239e22 · 점검일 2026-10-07

점검 커밋: 3239e226352f3daff4e6f4a8fa92cb15d5f5e8b5
커밋 시각: 2026-10-06 21:37 UTC
점검 시각: 2026-10-07 11:48 UTC
마지막 HEAD 확인: 2026-10-07 11:47 UTC · 3239e22 (점검 커밋과 같음)
읽기 깊이: 기본 점검 (400개 · 8MB 까지)
스캐너·판정 규칙: scan-5+verdict-4
요금 카탈로그: 판 2
정정 리비전: 0
요약: 모델 ollama-cloud/gemma4:31b-cloud · 일부 규칙 문장

외부 전송 상세

확인됨 프롬프트 텍스트가 Google Gemini API와 OpenAI로 전송됩니다. benchmarking/chat_streaming.py:73 benchmarking/google_continuation.py:58 benchmarking/runtime_adapters.py:404
확인 불가 보내는 내용을 코드에서 찾지 못한 공급자: anthropic, gemini, openrouter, xai, arcprize.org, Anthropic Claude, OpenRouter, xAI Grok

README 주장 ↔ 코드 차이

README 주장과 코드가 어긋나는 곳을 찾지 못했습니다.

코드 인용

원문은 저장하지 않습니다. 코드는 점검 커밋에 고정된 GitHub 링크로 보여 주고, 저장된 인용은 근거당 최대 3줄 · 파일당 최대 6줄입니다.

출처: arcprize/arc-agi-3-benchmarking · 커밋 3239e22 · benchmarking/runtime_clients.py

L11 호출 주소
L54 SDK 호출
L56 호출 주소
L67 SDK 호출
그 밖의 근거 1개

출처: arcprize/arc-agi-3-benchmarking · 커밋 3239e22 · benchmarking/runtime_adapters.py

L413 SDK 호출

출처: arcprize/arc-agi-3-benchmarking · 커밋 3239e22 · benchmarking/chat_streaming.py

L71 SDK 호출
L85 실패 처리
L87 실패 처리

점검 범위 상세

파일 수

전체 파일: 76
점검한 파일: 61 (80%)

매니페스트

우선 파일 전부 읽음

pyproject.toml

해석 못 한 import 경로 (0개)

없음

제외한 파일

.md 9
(none) 3
.ini 1
.yaml 1
lockfile 1

점검 안 한 외부 코드: 없음
잘림·상한: 없음

정정 이력

아직 정정 이력이 없습니다.

이 결과가 틀렸어요 · 정정 정책