슈퍼클루 수학·과학 축은 38문항이었습니다: 점수 간격을 문항 수로 되돌리면 1위와 2위는 1문항 차

TL;DR

슈퍼클루 2026년 11월 보드의 수학·과학 추론 점수 9개(76.32, 73.68, 71.05, 71.05, 68.42, 68.42, 65.79, 63.16, 57.89)는 전부 38분의 정수입니다. 점수가 이 값들로만 떨어진다는 것은 이 축이 38문항짜리 시험이라는 뜻이고, 1문항이 2.63점입니다. 슈퍼클루가 문항 수를 공개한 것은 아니며, 저희가 점수 간격에서 거꾸로 계산한 값입니다.

이렇게 읽으면 표의 모습이 달라집니다.

• 1위 GPT-6.1-Sol은 29문항, 2위 Darwin-180B-RSI-R3는 28문항을 맞힌 것으로 읽힙니다. 두 모델의 차이는 1문항입니다.
• 38문항에서 정답률의 95% 신뢰구간은 약 ±13점입니다. 9개 모델의 구간이 모두 서로 겹칩니다.
• 모델 9개가 지금 실력 그대로 38문항을 다시 치른다고 가정해 20만 번 시뮬레이션하면, 다윈은 GPT보다 앞서는 경우가 34.5%, 동률이 10.1%, 뒤지는 경우가 55.3%였습니다. 다윈의 평균 순위는 3.5위입니다.
• 그래도 부모 모델 Qwen3.8-Flash(22문항)보다 앞서는 경우는 91.1%로 안정적입니다.

비드래프트는 이 보드에서 평가를 받은 모델의 개발사이고, 벤치마크 운영자가 아닙니다. 아래 계산은 전부 보드에 표시된 점수만 사용했고, 저희가 문항별 정오 기록을 갖고 있지 않다는 한계는 본문에 적었습니다.

점수에서 문항 수를 어떻게 알아냈나요?

방법은 단순합니다. 정수 개의 문항을 채점해 정답률을 백분율로 적으면, 가능한 점수는 k/n × 100뿐입니다. 점수가 소수 둘째 자리까지 나와 있으면 이 격자에 얼마나 정확히 들어맞는지 볼 수 있습니다.

9개 점수가 모두 들어맞는 가장 작은 n을 찾았습니다.

def min_n(scores, maxn=200):
    for n in range(1, maxn):
        if all(abs(round(s / 100 * n) / n * 100 - s) <= 0.005 + 1e-9 for s in scores):
            return n

math_sci = [76.32, 73.68, 71.05, 71.05, 68.42, 68.42, 65.79, 63.16, 57.89]
print(min_n(math_sci))   # 38

n이 38이면 맞힌 문항 수는 29, 28, 27, 27, 26, 26, 25, 24, 22로 떨어지고, 9개 점수가 모두 소수 둘째 자리까지 일치합니다. 19문항이라면 76.32는 14.5문항이 되어 성립하지 않습니다. 76문항이나 114문항도 수학적으로는 맞지만 38의 배수이므로, 가장 단순한 설명은 38문항입니다.

우연일 가능성은 낮습니다. 소수 둘째 자리 점수 9개가 38분의 정수 격자에 한꺼번에 놓일 확률은 무작위라면 극히 작습니다.

다른 축도 같은 방식으로 보면 각 축마다 문항 수가 다릅니다. 공개된 점수 두 개씩만으로 보면 에이전트 코딩(69.23, 65.38)은 26문항, 정밀 지시 이행(68.97, 44.83)은 29문항과 맞습니다. 두 값만으로 역산한 것이라 수학·과학 축보다는 근거가 약합니다.

환각 억제와 초장문 문맥의 점수(83.19, 95.63 등)는 이 격자에 들어맞지 않습니다. 문항 수준이 아니라 연속적인 지표를 평균한 축으로 보입니다. 부분 점수가 있는 문항이 섞여 있으면 분모가 달라질 수 있다는 점은 열어 두어야 합니다.

1문항 차이는 얼마나 큰 차이인가요?

정답률 p인 모델이 n문항을 풀면 맞힌 수의 표준편차는 sqrt(n·p·(1-p))입니다. 다윈(28/38)과 GPT(29/38)가 각각 독립적으로 38문항을 푼다고 보면, 두 모델의 맞힌 수 차이의 표준편차는 약 3.8문항입니다. 관측된 차이 1문항은 그 표준편차의 4분의 1 정도입니다.

윌슨 방식으로 95% 신뢰구간을 계산하면 이렇게 됩니다.

from math import sqrt
def wilson(x, n, z=1.96):
    p = x / n; d = 1 + z * z / n
    c = (p + z * z / (2 * n)) / d
    h = z * sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / d
    return round((c - h) * 100, 1), round((c + h) * 100, 1)

print(wilson(28, 38))   # (58.0, 85.0)

가장 높은 모델의 구간 아래쪽(60.8)과 가장 낮은 모델의 구간 위쪽(72.1)도 겹칩니다. 이 표의 9개 값은 "높고 낮은 순서"로는 읽히지만, 구간으로 보면 9개가 하나의 덩어리입니다.

다시 치르면 순위가 바뀔까요?

신뢰구간은 추상적이어서, 순위로 직접 옮겨 보았습니다. 9개 모델의 실력이 지금 관측된 정답률과 같다고 가정하고, 38문항을 독립적으로 20만 번 다시 치르게 했습니다. 맞힌 수가 같으면 무작위로 순위를 가립니다(시드 2026 고정, 아래 숫자는 이 가정 아래의 계산값입니다).

import numpy as np
rng = np.random.default_rng(2026)
p = np.array([29, 28, 27, 27, 26, 26, 25, 24, 22]) / 38
cnt = rng.binomial(38, p, size=(200_000, 9))        # 열 0 = GPT, 열 1 = 다윈, 열 8 = Qwen3.8-Flash

print((cnt[:, 1] > cnt[:, 0]).mean())                # 다윈이 GPT보다 많이 맞힘
print((cnt[:, 1] == cnt[:, 0]).mean())               # 동률
order = np.argsort(-(cnt + rng.random(cnt.shape) * 0.5), axis=1)   # 동률은 무작위로 가름
rank = np.empty_like(order)
rank[np.arange(len(cnt))[:, None], order] = np.arange(1, 10)
print((rank[:, 1] == 1).mean(), rank[:, 1].mean())   # 다윈의 1위 비율, 평균 순위

몇 가지를 구분해서 읽어야 합니다.

1. 1위 자리는 확정적이지 않습니다. 점수상 가장 높은 GPT도 다시 치르면 1위가 되는 경우가 세 번에 한 번(34.7%) 정도입니다. 점수 1위가 실력 1위라는 보장은 이 길이의 시험에서는 나오지 않습니다.
2. 다윈의 2위도 마찬가지입니다. 2위라는 표시는 사실이고, 다시 치르면 다윈이 상위권(평균 3.5위)에 머무를 가능성이 크다는 것까지가 말할 수 있는 범위입니다.
3. 부모 모델과의 차이는 다릅니다. 22문항과 28문항, 6문항 차이는 시뮬레이션에서 91.1%의 경우에 유지됩니다. 지식은 같고 추론 경로만 다시 세운 모델이 같은 시험에서 앞섰다는 방향은 이 계산으로도 흔들리지 않습니다. 다만 독립을 가정한 단순 비교의 z 값은 1.47로 95% 문턱(1.96)에는 못 미칩니다. 같은 문항으로 채점한 짝지은 비교는 이보다 좁게 나오지만, 저희에게는 문항별 정오 기록이 없어 계산하지 못했습니다.

이 시뮬레이션은 얼마나 믿을 만한가요?

한계가 분명합니다.

• 모델 간 독립을 가정했습니다. 실제로는 같은 38문항을 모든 모델이 풀기 때문에, 어려운 문항은 모두에게 어렵습니다. 이 상관은 모델 사이의 차이를 안정시키므로, 실제 순위 변동은 이 시뮬레이션보다 작을 가능성이 큽니다. 위 확률은 흔들림의 상한에 가까운 추정으로 읽으십시오.
• 관측 정답률을 진짜 실력으로 놓았습니다. 관측값 자체가 38문항의 표본이므로 이 가정에는 이미 불확실성이 섞여 있습니다.
• 문항별 정오 기록이 없습니다. 어떤 문항을 누가 틀렸는지 모르므로 짝지은 검정이나 문항 난이도 분석은 할 수 없었습니다.
• 9개 모델만 다뤘습니다. 보드에는 19개 모델이 있고, 저희가 점수를 확인한 것은 수학·과학 축에서 공개해 온 9개입니다.
• 모델 자체의 실행 간 변동은 넣지 않았습니다. 같은 모델이 같은 문항을 다시 풀어도 샘플링 때문에 답이 달라질 수 있고, 이 변동이 더해지면 실제 흔들림은 커집니다.

이 한계들이 서로 반대 방향으로 작용하므로, 정확한 확률을 말하기보다는 "1문항 차이는 순위를 정하기에 충분하지 않다"는 정도가 안전한 결론입니다.

1문항 차이를 가려내려면 문항이 몇 개 필요한가요?

독립 비교를 가정하고 계산해 보겠습니다. 정답률이 75% 안팎인 두 모델이 2.63점(1문항 분량) 차이를 95% 수준으로 구별하려면 모델마다 약 2,080문항이 필요합니다.

pm = (28/38 + 29/38) / 2
d = 1 / 38
n_needed = 2 * pm * (1 - pm) * 1.96**2 / d**2   # 약 2080

짝지은 비교를 쓰면 이보다 줄어들지만, 38문항과는 자릿수가 다릅니다. 비공개 시험지를 매달 새로 만드는 방식은 암기를 막는 장점이 있는 대신, 시험지가 짧아지면 순위 해상도가 떨어지는 대가가 따릅니다. 이것은 슈퍼클루만의 문제가 아니라 비공개 월간 평가가 가진 구조적 성격입니다. 공개 보드는 문항이 많은 대신 새어 나갈 수 있습니다. 어느 쪽이 낫다는 이야기가 아니라, 읽는 방법이 다르다는 이야기입니다.

순위표를 읽을 때는 무엇을 확인해야 하나요?

저희가 이번 계산에서 정리한 확인 순서입니다.

1. 점수가 소수 둘째 자리까지 나와 있으면, 점수 간격의 최소 단위를 보고 문항 수를 역산해 봅니다. 간격이 2.63점이면 38문항입니다.
2. 점수 차이를 "점"이 아니라 "문항 수"로 바꿉니다. 2.64점 차이는 1문항입니다.
3. 1위와 2위의 차이가 표준편차(여기서는 약 3.8문항)보다 작으면 순위로 읽지 않고 "같은 구간"으로 읽습니다.
4. 같은 보드라도 축마다 1문항의 값이 다릅니다(2.63, 3.45, 3.85점). 축을 비교할 때는 점수 차이가 아니라 문항 차이로 맞춥니다.

저희 입장에서도 이 읽기 방식은 같이 적용됩니다. 다윈의 수학·과학 2위는 보드에 적힌 사실이고 앞으로도 그렇게 적겠습니다. 다만 그 순위가 1위와의 능력 차이를 뜻하지 않으며, 다윈이 1위와 통계적으로 구분되지 않는다는 점도 같이 적는 것이 맞다고 봅니다. 이전에 올린 글들에서 "19개 중 전체 2위"를 강조한 부분은 이 맥락 안에서 읽어 주십시오.

자주 묻는 질문

38문항이라는 것은 슈퍼클루가 밝힌 숫자인가요?
아닙니다. 보드에 표시된 점수의 최소 간격에서 거꾸로 계산한 값입니다. 9개 점수가 모두 38분의 정수와 소수 둘째 자리까지 일치한다는 점이 근거이고, 부분 점수나 가중치가 있다면 실제 구성은 다를 수 있습니다.

점수가 2개뿐인 축은 어떻게 하나요?
에이전트 코딩과 정밀 지시 이행은 점수 2개씩만 확인해 역산했으므로 26문항, 29문항은 추정에 가깝습니다. 수학·과학 축 38문항이 가장 근거가 단단합니다.

다윈이 1위와 통계적으로 같다면 순위 표시가 의미가 없나요?
아닙니다. 순위는 이 시험에서 실제로 나온 결과이고, 같은 모델이 다음 달 시험에서 비슷한 위치에 오르는지는 월별 기록이 쌓여야 알 수 있습니다. 한 달 치 순위는 방향을 보여 주지만 확정하지 않습니다.

이 계산을 직접 재현할 수 있나요?
본문의 코드 조각을 이어 붙이면 됩니다. 입력은 보드에 표시된 점수 9개이고, 필요한 것은 numpy뿐입니다. 시드를 2026으로 고정하면 같은 숫자가 나옵니다(난수 생성기 버전에 따라 소수 첫째 자리가 달라질 수 있습니다).

왜 자사 모델 결과를 이렇게 낮춰서 읽나요?
순위표를 읽는 방법은 누구에게나 같아야 하기 때문입니다. 저희 점수를 읽는 잣대를 다른 모델 점수에 쓰는 잣대와 다르게 둘 수는 없습니다. 같은 이유로 이전에 저희 보드 1위 11개의 두께를 같은 잣대로 재 본 글도 올렸습니다.

슈퍼클루 점수 자체는 신뢰할 수 있나요?
시험지를 매달 새로 만들고 공개하지 않아 문제 노출에 의한 오염 위험이 낮다는 점은 분명한 장점입니다. 이 글은 그 점수를 의심하는 것이 아니라, 38문항이라는 길이가 순위에 허용하는 해상도를 계산한 것입니다.

출처는 슈퍼클루 보드에 표시된 11월 점수와, 저희가 공개해 온 11월 슈퍼클루 정리의 점수표입니다.

Further reading

• 매달 시험지를 새로 만드는 평가기관: 슈퍼클루 2026년 11월 보드, 글로벌 19개 모델 한 표: 이 글이 문항 수를 따져 본 보드의 전체 표입니다.
• 2위와 0.05점 차이도 1위일까: 허깅페이스 보드 44곳에서 자사 1위 11개의 두께를 재 봤습니다: 같은 잣대로 자사 1위를 점검한 글입니다.