Dev.to AI 🤖 Ai 👁 0 📖 1 min read

파일은 16.5GB인데 코딩 과제는 28개: POCKET-27B-Pi가 원 정밀도 53.8GB 모델을 앞선 이유와 직접 돌려 보는 법

TL;DR 비드래프트가 코딩 전문 모델 POCKET-27B-Pi를 허깅페이스에 공개했습니다. Q4_K_M 기준 파일 하나가 16.5GB이고, 24GB 그래픽카드 한 장에서 돕니다. 같은 그래픽카드, 같은 과제, 같은 제한시간에서 Terminal-Bench 2.1 공통 48과제 중 28개(58.3%)를 풀었습니다. 오리지날 Qwen3.8-27B는 19개(39.6%), 53.8GB 원 정밀

TL;DR

  • 비드래프트가 코딩 전문 모델 POCKET-27B-Pi를 허깅페이스에 공개했습니다. Q4_K_M 기준 파일 하나가 16.5GB이고, 24GB 그래픽카드 한 장에서 돕니다.
  • 같은 그래픽카드, 같은 과제, 같은 제한시간에서 Terminal-Bench 2.1 공통 48과제 중 28개(58.3%)를 풀었습니다. 오리지날 Qwen3.8-27B는 19개(39.6%), 53.8GB 원 정밀도 pi 모델은 21개(43.8%)입니다.
  • 오리지날 대비 +47%, 원 정밀도 pi 모델 대비 +33%입니다. 파일은 각각 더 작고, 3.3분의 1입니다.
  • 같은 50과제에서 과제당 에이전트 단계 수 중앙값은 15단계로, 오리지날 가중치 판의 36.5단계보다 절반 이하입니다. 100단계 한도까지 간 실행은 0건입니다.
  • 모델: https://huggingface.co/FINAL-Bench/POCKET-27B-Pi-GGUF (Apache-2.0)

Terminal-Bench 2.1 공통 48과제 해결률

코딩 에이전트에서 모델 크기는 왜 점수가 되는가?

채팅용 모델은 답이 몇 초 늦어도 사용자가 기다리면 끝입니다. 코딩 에이전트는 다릅니다. 에이전트는 파일을 읽고, 명령을 실행하고, 결과를 보고 다음 수를 정하는 일을 수십 번 반복합니다. 한 번 반복할 때마다 모델의 답을 한 번 기다립니다. 과제에 제한시간이 있으면 모델의 응답 속도가 곧 시도할 수 있는 단계 수가 됩니다.

간단한 어림셈으로 보면 이렇습니다. 아래 숫자는 설명을 위한 가정(illustrative)이며 실측치가 아닙니다.

# 설명용 어림셈: 제한시간 3600초, 단계당 모델 응답 + 도구 실행 시간(가정)
budget = 3600
for name, sec_per_turn in [("큰 파일 판", 60), ("작은 파일 판", 40)]:
    print(name, "시도 가능 단계 수 =", budget // sec_per_turn)
# 큰 파일 판 시도 가능 단계 수 = 60
# 작은 파일 판 시도 가능 단계 수 = 90

같은 그래픽카드에서 8개 에이전트를 동시에 돌리면 메모리 대역폭을 나눠 쓰기 때문에 파일이 작을수록 이 차이가 더 벌어집니다. POCKET의 출발점이 바로 여기입니다. 큰 모델을 사람들이 실제로 가진 장비에서 빠르게 돌 만큼 줄이고, 줄인 뒤에도 일을 해내는지 실제 과제로 재서 확인합니다.

어떤 조건으로 쟀는가?

비교는 같은 장비에 네 가지 판을 올려 같은 일을 시키는 방식입니다.

항목 조건
벤치마크 Terminal-Bench 2.1
에이전트 pi 코딩 에이전트
생각 기능 끔
시도 횟수 과제당 1회
제한시간 과제당 1시간
동시 실행 그래픽카드 한 장에서 에이전트 세션 8개
집계 대상 네 판이 모두 끝낸 공통 48과제

공통 과제만 세는 이유는 간단합니다. 어떤 판이 끝내지 못한 과제가 섞이면 분모가 달라져 비교가 흐려집니다. 네 판이 모두 끝낸 48과제로 맞추면 숫자가 같은 문제집 위에서 나옵니다.

모델 파일 크기 해결한 과제 해결률
오리지날: Qwen3.8-27B 원본 가중치 (POCKET-27B) 22.4GB 48개 중 19개 39.6%
pi 모델: Qwen3.8-27B-pi-adapted, 원 정밀도 53.8GB 48개 중 21개 43.8%
POCKET-27B-Pi Q4_K_M 16.5GB 48개 중 28개 58.3%
POCKET-27B-Pi Q6_K 22.1GB 48개 중 27개 56.3%

둘만 맞붙인 공통 50과제에서도 POCKET-27B-Pi Q4_K_M이 30개, 원 정밀도 원본이 23개를 풀었습니다. Q4_K_M과 Q6_K는 공통 62과제에서 똑같이 39개씩 풀었습니다. 파일이 더 작은 Q4_K_M이 같은 품질을 더 가볍게 내는 셈입니다.

같은 과제를 풀 때 단계 수는 어떻게 다른가?

점수만큼 눈여겨볼 지표가 단계 수입니다. 같은 50과제에서 POCKET-27B-Pi와 원본 가중치 판(POCKET-27B)을 비교했습니다.

과제당 에이전트 단계 수 중앙값

같은 50과제 POCKET-27B-Pi POCKET-27B
해결한 과제 29개 19개
100단계 한도까지 간 실행 0건 14건
과제당 단계 수 (중앙값) 15단계 36.5단계

같은 50과제 결과

POCKET-27B-Pi는 계획하고, 실행하고, 멈춥니다. 쓰는 단계가 절반 이하이므로 기다리는 시간이 줄고 생성하는 글자 수도 함께 줄어듭니다. 한도까지 달리다 끝나는 실행이 0건이라는 점은 에이전트를 무인으로 돌릴 때 비용 예측이 쉬워진다는 뜻이기도 합니다.

pi 어댑터는 무엇을 더하는가?

POCKET-27B-Pi는 공개 모델 Qwen3.8-27B와, 허깅페이스 하네스 팀이 공개한 pi 코딩 에이전트 어댑터를 하나로 합친 모델입니다. 어댑터는 검증기 보상으로 강화학습한 것이고, 비드래프트는 이를 가중치에 합쳐 어댑터 없이 파일 하나로 실행되게 만든 뒤 PC에 들어가는 크기로 줄였습니다.

어댑터 제작자가 원 정밀도 기준으로 발표한 성적은 이렇습니다.

  • SWE-bench Pro 고난도 51과제: 39.2%에서 64.7%로
  • Terminal-Bench 2.1: 39.5%에서 55.8%로
  • 생각을 끈 상태에서도 Terminal-Bench 2.1은 최대 강도 생각 모드의 원본 모델과 같은 수준
  • 과제당 생성하는 글자 수는 약 4.5분의 1
과제당 중앙값 pi 어댑터 생각 모드 원본
생성 토큰, SWE-bench Pro 9.4천 48.8천
생성 토큰, Terminal-Bench 2.1 3.7천 16.5천
모델 호출 수, SWE-bench Pro 21회 61회

비드래프트의 측정도 이 발표와 맞아떨어집니다. 원본 가중치를 그대로 담은 POCKET-27B는 비드래프트 측정에서 38.0%를 풀었고, 제작자가 발표한 원본 모델 성적은 39.5%입니다. 측정 환경이 서로 다른데도 두 숫자가 가까우므로, 위 비교표의 출발선이 같다고 볼 수 있습니다.

단계 수는 비용으로 어떻게 바뀌는가?

단계 수 중앙값 15와 36.5의 차이는 점수보다 운영 비용에서 더 크게 보입니다. 에이전트는 단계마다 이전 대화를 다시 읽고 새 출력을 만듭니다. 단계가 절반 이하면 모델이 읽는 맥락의 누적량도, 새로 쓰는 글자 수도 함께 줄어듭니다. 아래는 가정을 둔 설명용 계산입니다(illustrative, 실측 아님).

# 설명용 가정: 단계마다 새로 생성하는 토큰 수를 같다고 둔다.
tokens_per_turn = 250          # 가정
for name, turns in [("POCKET-27B 원본 가중치", 36.5), ("POCKET-27B-Pi", 15)]:
    print(name, "과제당 생성 토큰 어림 =", int(turns * tokens_per_turn))
# POCKET-27B 원본 가중치 과제당 생성 토큰 어림 = 9125
# POCKET-27B-Pi 과제당 생성 토큰 어림 = 3750

단계당 생성량이 같다는 가정이라 절대값은 의미가 없지만, 비율은 단계 수의 비율을 그대로 따릅니다. 사내 서버에서 돌리면 토큰당 요금은 없지만 그래픽카드가 일하는 시간은 그대로 전기와 대기열로 돌아옵니다. 같은 과제를 더 적은 단계로 끝내는 모델은 같은 서버에서 더 많은 과제를 처리할 수 있습니다.

내 팀에는 Q4_K_M과 Q6_K 중 무엇이 맞는가?

두 파일은 같은 모델을 다른 크기로 줄인 것입니다. 이번 측정에서 둘의 차이는 이렇습니다.

항목 Q4_K_M Q6_K
파일 크기 16.5GB 22.1GB
공통 48과제 해결 28개 (58.3%) 27개 (56.3%)
공통 62과제 직접 대결 39개 39개

고르는 기준은 세 가지로 정리할 수 있습니다.

  1. 그래픽카드 메모리가 24GB라면 Q4_K_M이 모델 외에 긴 맥락(예시의 65,536 토큰)을 올릴 여유를 더 줍니다. 파일이 22.1GB인 Q6_K는 같은 24GB에서 맥락에 쓸 메모리가 훨씬 적습니다.
  2. 에이전트를 여러 개 동시에 돌릴 계획이라면 파일이 작은 쪽이 같은 장비에서 더 많은 세션을 감당합니다. 이번 측정이 8세션 동시 실행이었다는 점을 떠올리면 됩니다.
  3. 그래픽카드 메모리가 넉넉하다면 두 파일을 모두 내려받아 팀의 실제 저장소와 과제로 몇 번 돌려 보고 고르면 됩니다. 점수가 이번 측정에서 거의 같으므로, 결정은 메모리와 속도가 좌우합니다.

결과를 팀 안에서 다시 재현하려면 무엇을 고정해야 하는가?

코딩 에이전트 평가는 조건이 조금만 달라져도 숫자가 움직입니다. 비교가 의미를 가지려면 다음을 고정하고 기록해야 합니다.

  • 과제 묶음: 어떤 과제를 쓰는지 목록으로 고정합니다. 이번 비교는 네 판이 모두 끝낸 48과제입니다.
  • 제한시간과 시도 횟수: 과제당 1회, 1시간으로 정했습니다. 시간 제한은 작은 파일의 응답 속도가 점수로 이어지는 통로이므로 바꾸면 결과도 달라집니다.
  • 생각 기능 설정: 모두 끈 상태입니다. 켜면 생성량과 시간이 크게 달라집니다.
  • 동시 실행 수: 8세션입니다. 세션 수가 달라지면 단계당 응답 시간이 달라집니다.
  • 샘플링 설정: 모델 카드의 --temp 0.8 --top-p 1.0 --top-k 0 --min-p 0을 그대로 씁니다.

이렇게 고정한 뒤에 풀린 과제 수, 단계 수 중앙값, 한도에 걸린 실행 수를 세 줄로 남기면 다음에 모델을 바꿀 때 같은 자로 다시 잴 수 있습니다.

코드가 밖으로 나가지 않는다는 것은 무슨 뜻인가?

기업의 소스 코드는 밖으로 내보내기 가장 어려운 자산 가운데 하나입니다. POCKET-27B-Pi는 사내 PC나 서버 안에서 돌기 때문에 코드가 외부 서비스로 전송되지 않습니다. 사용량에 따른 요금이 없고, 한 번 내려받으면 인터넷이 끊겨도 씁니다. 필요한 장비는 24GB 그래픽카드 한 장입니다.

어떻게 직접 돌려 보는가?

llama.cpp의 llama-server 한 줄이면 됩니다. 아래는 공개 모델 카드와 같은 설정입니다.

llama-server -hf FINAL-Bench/POCKET-27B-Pi-GGUF:Q4_K_M   -ngl 999 -c 65536 --port 8080 --alias pocket-27b-pi   --temp 0.8 --top-p 1.0 --top-k 0 --min-p 0   --chat-template-kwargs '{"enable_thinking":false}'

그다음 pi 코딩 에이전트가 이 서버를 보도록 ~/.pi/agent/models.json에 추가합니다.

{
  "providers": {
    "local": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "dummy",
      "models": [{ "id": "pocket-27b-pi" }]
    }
  }
}
pi --provider local --model pocket-27b-pi --print "tests/test_parser.py 테스트가 왜 실패하는지 찾아서 고쳐 줘."

내 환경에서 재 보려면 같은 과제 묶음을 고정하고 세 가지를 같이 기록하면 됩니다. 풀린 과제 수, 과제당 단계 수 중앙값, 한도에 걸린 실행 수입니다. 점수 하나보다 이 세 숫자가 함께 있어야 모델을 바꿀 때 비용과 속도까지 비교할 수 있습니다.

POCKET 제품군에서 코딩 모델은 어디에 있는가?

POCKET은 큰 모델을 개인 기기에 넣는 비드래프트의 제품군입니다. 수학·과학 추론의 POCKET-Darwin-180B, 노트북과 휴대폰용 POCKET-35B, 다국어 대화용 POCKET-26B에 이어 코딩 전문 POCKET-27B-Pi가 더해졌습니다.

정리하면 무엇이 달라지는가?

이번 공개의 핵심은 세 가지입니다. 첫째, 16.5GB 파일 하나가 같은 장비와 같은 제한시간에서 오리지날 모델보다 47%, 원 정밀도 pi 모델보다 33% 더 많은 과제를 풀었습니다. 둘째, 과제당 단계 수 중앙값이 15단계로 짧아 기다림과 생성량이 함께 줄었습니다. 셋째, 모든 재료와 결과물이 Apache-2.0이고 24GB 그래픽카드 한 장에서 돌아, 코드를 밖으로 보내지 않는 사내 코딩 에이전트를 지금 바로 세울 수 있습니다. 직접 돌려 본 결과나 다른 과제 묶음에서의 숫자는 댓글로 남겨 주세요. 같은 방식으로 이어서 비교하겠습니다.

자주 묻는 질문

Q. 16.5GB 파일이 53.8GB 원 정밀도 모델보다 많이 푼 이유는 무엇인가요?
A. 이 평가는 과제당 1시간 제한이 있는 에이전트 작업입니다. 같은 그래픽카드에서 작은 파일이 더 빨리 답하므로 제한시간 안에 더 많은 단계를 밟고 더 많은 과제를 끝냅니다. Q4_K_M과 Q6_K가 같은 62과제에서 똑같이 39개를 푼 점은 줄인 뒤에도 답의 품질이 유지됨을 보여 줍니다.

Q. 필요한 하드웨어는 무엇인가요?
A. Q4_K_M 기준 파일 16.5GB이고, 24GB 그래픽카드 한 장이면 됩니다. Q6_K는 22.1GB입니다.

Q. 라이선스는 무엇인가요?
A. 재료와 결과물 모두 Apache-2.0입니다.

Q. 인터넷 없이 쓸 수 있나요?
A. 한 번 내려받으면 네트워크 없이 동작합니다. 코드는 사내 장비 밖으로 나가지 않습니다.

Q. 생각 기능을 켜야 하나요?
A. 위 측정은 모두 생각 기능을 끈 상태입니다. 실행 예시의 enable_thinking: false가 같은 설정입니다.

Further reading

📰 Read the original article on Dev.to AI

Originally published by Dev.to AI. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.