Mistral Large 4를 로컬에서 실행하는 방법

Mistral Large 4 오픈 웨이트가 2026년 10월 29일 Hugging Face에 공개되었습니다. Mistral이 자사 API에서 제공하는 것과 동일한 1.05T 파라미터 모델을 수정된 MIT 라이선스로, FP8 및 NVFP4 체크포인트와 커뮤니티 GGUF 퀀트로 받을 수 있습니다. 승인 절차 없이 다운로드하고, vLLM이나 SGLang으로 8개의 데이터센터 GPU에서 서빙하거나, 하드웨어를 건너뛰고 Mistral API에서 mistral-large-4를 백만 입력 토큰당 $0.70에 호출할 수 있습니다.

지금 Apidog 사용해 보기

아래 내용: 10월 6일 프리뷰 이후 달라진 점, 다운로드 크기, 경로별 하드웨어, 그리고 라이선스. 모델 개요는 Mistral Large 4 출시 분석에서, 요청 형식과 SDK 코드는 Mistral Large 4 API 가이드에서 확인하세요.

Mistral Large 4 오픈 웨이트란 무엇인가요?

Mistral Large 4 오픈 웨이트는 Mistral의 플래그십 모델인 "Le Chonk"의 다운로드 가능한 체크포인트입니다. 약 1.05T 총 파라미터, 토큰당 약 49B 활성(임베딩과 출력 레이어를 포함하면 52B), 1.6B 비전 인코더, 1M 토큰 컨텍스트 윈도우를 갖춘 멀티모달 전문가 혼합(mixture-of-experts) 모델로, Mistral Ecosystem Open-Weight License로 공개되었습니다.

공식 모델 카드에는 72개의 텍스트 레이어와 128개의 라우팅된 전문가가 나열되어 있으며, 토큰당 4개를 선택하고 1개의 공유 전문가를 더합니다.

이번 릴리스는 프리뷰의 고정된 사본이 아닙니다. Mistral의 오픈 웨이트 발표에 따르면, 모델은 웨이트가 공개되기 전 코딩과 사이버보안에 초점을 맞춘 3주간의 추가 강화학습을 거쳤습니다.

10월 6일 프리뷰 이후 달라진 점

프리뷰 기간에 Large 4를 테스트해 보셨다면, 지금 네 가지가 달라졌습니다.

추론 관련 변경은 코드를 망가뜨립니다. 프리뷰 통합이 reasoning_effort: "none"을 보낸다면 "low"로 바꾸세요. Hugging Face 출시 포스트에 따르면 Transformers는 none을 high로 실행하므로, 오래된 설정은 실패하는 대신 토큰을 낭비합니다.

이 글의 모든 벤치마크 수치는 벤더가 보고한 것입니다. Mistral은 또한 Cognition의 비공개 FrontierCode 2.0 벤치마크에서 19.7%로 자사 차트 내 최고 오픈 웨이트 점수를 기록했으며, Artificial Analysis Coding Agent Index에서 48%로 GLM-5.3과 대략 동률이라고 주장합니다. 11월 2일 확인 시점에 독립적 재현은 아직 진행 중이었습니다.

Mistral Large 4를 실행하는 세 가지 방법

세 가지 경로가 있으며, 올바른 선택은 여러분이 얼마나 많은 하드웨어를 통제하느냐에 달려 있습니다.

1. Mistral API를 호출한다. 모델 id mistral-large-4, 백만 토큰당 입력 $0.70, 캐시된 입력 $0.07, 출력 $2.10. GPU 불필요.
2. 호스팅 제공업체를 이용한다. Mistral은 OpenRouter, NVIDIA 호스팅 엔드포인트와 NIM 컨테이너, 그리고 Azure에서 프라이빗 배포도 제공하는 Microsoft Foundry를 나열합니다.
3. 웨이트를 자체 호스팅한다. Hugging Face에서 다운로드하고 자체 머신에서 vLLM, SGLang, Transformers 또는 llama.cpp로 서빙합니다.

경로 1 또는 2로 시작하세요. 구체적인 이유가 있을 때 경로 3으로 이동하세요. 네트워크를 떠날 수 없는 데이터, 직접 소유해야 하는 파인튜닝, 또는 8-GPU 노드를 계속 바쁘게 유지하는 볼륨 같은 이유입니다.

Mistral Large 4 다운로드 방법

공식 리포지토리는 게이트가 없으므로(Hugging Face API가 둘 다 gated: false를 보고), 어떤 계정이나 익명 클라이언트도 받을 수 있습니다. 진짜 관문은 크기입니다.

2026년 11월 2일 각 리포지토리의 파일 목록을 합산한 값입니다. Unsloth도 unsloth/Mistral-Large-4-1T-A52B-GGUF로 GGUF 퀀트를 게시합니다.

Hugging Face CLI로 필요한 파일만 다운로드하세요:

pip install -U huggingface_hub
hf download mistralai/Mistral-Large-4-1T-A52B-NVFP4 \
  --local-dir ./mistral-large-4-nvfp4

FP8 다운로드는 1 Gbps를 지속하면 두 시간 조금 넘게 걸립니다.

Mistral Large 4 자체 호스팅 방법

모든 공식 서빙 예제는 GPU 8개를 갖춘 노드 하나와 텐서 병렬화 8을 가정합니다. 각 엔진이 기대하는 사양은 다음과 같습니다.

vLLM

모델 카드는 vLLM을 권장하며 전용 Docker 이미지를 제공합니다:

docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:~/.cache/huggingface \
  -p 8000:8000 \
  --ipc=host \
  vllm/vllm-openai:mistral-large-4 \
  --model mistralai/Mistral-Large-4-1T-A52B \
  --tensor-parallel-size 8 \
  --tool-call-parser mistral \
  --reasoning-parser mistral \
  --enable-auto-tool-choice \
  --gpu-memory-utilization 0.85

두 파서 플래그를 모두 유지하세요. 그렇지 않으면 사고 텍스트가 content에 섞여 들어가고 도구 호출이 원시 텍스트로 도착합니다. 더 빠른 디코딩을 위해 카드에는 선택적 DSpark 추론 디코더가 문서화되어 있습니다: --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}'를 추가하세요.

해당 드래프터를 사용한 8x H200에서 Hugging Face는 요청 하나에 대해 초당 약 65 토큰, 부하 상태에서 1,000개의 ShareGPT 대화 전체에 대해 초당 약 480 토큰을 측정했습니다.

SGLang도 작동합니다. 모델 카드의 sglang serve 예제는 --tp-size 8, --speculative-algorithm DSPARK, 그리고 auto 추론 및 도구 호출 파서를 사용합니다.

Mac에서 llama.cpp

llama.cpp 팀은 출시일 당일 지원을 제공했습니다. Q2_K 퀀트(381 GB)는 512 GB 통합 메모리를 갖춘 Apple Silicon Ultra 머신 한 대에 들어갑니다:

curl -LsSf https://llama.app/install.sh | sh
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

Hugging Face는 M3 Ultra 한 대에서 프리필 초당 약 90 토큰, 생성 초당 15 토큰을 보고합니다. 프라이빗 실험에는 괜찮지만 에이전트 루프에는 느립니다. 2비트 퀀트는 품질도 떨어지므로 먼저 자체 작업에서 테스트하세요.

Mistral이 권장하는 샘플링은 모든 추론 수준에서 temperature=1.0과 top_p=0.95입니다.

자체 호스팅 모델 호출하기

vLLM과 SGLang 모두 OpenAI 호환 서버를 노출하므로, 요청은 다른 채팅 완성과 동일하게 보입니다:

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistralai/Mistral-Large-4-1T-A52B",
    "messages": [{"role": "user", "content": "RFC 9110 섹션 9를 5개의 불릿으로 요약해 줘."}],
    "reasoning_effort": "medium",
    "temperature": 1.0,
    "top_p": 0.95
  }'

호스팅 API에서는 동일한 본문을 Bearer 키와 함께 "model": "mistral-large-4"로 https://api.mistral.ai/v1/chat/completions에 보내세요. vLLM OpenAI 호환 서버 문서에 허용되는 필드가 나열되어 있습니다.

Apidog CLI로 Claude Code가 두 엔드포인트를 테스트하게 하기

자체 호스팅 모델은 조용히 실패합니다. 파서 플래그가 빠지면 추론이 content로 새거나, 도구 호출이 일반 텍스트로 돌아옵니다. curl 명령을 손으로 붙여넣는 대신 코딩 에이전트가 Apidog CLI로 두 경로를 모두 확인하게 하세요.

한 번 설정하세요:

npm install -g apidog-cli@latest
apidog login --with-token <YOUR_TOKEN>
npx -y skills add https://apidog.com   # pick Claude Code when prompted

그런 다음 Claude Code에 프롬프트 하나를 주세요:

In Apidog project <id>, create two environments: "ml4-self-hosted" with base URL
http://localhost:8000 and "ml4-mistral-api" with base URL https://api.mistral.ai.
Add a POST /v1/chat/completions endpoint and a test case that sends a tool-calling
request with reasoning_effort "low", then asserts status 200, that choices[0].message
has a tool_calls array, and that message.content holds no thinking text.
Run it against both environments and tell me where they differ.

에이전트는 각 스키마를 읽고, 페이로드를 검증하고, 케이스를 실행합니다:

apidog environment create ml4-self-hosted --project <id> --base-url http://localhost:8000
apidog environment create ml4-mistral-api --project <id> --base-url https://api.mistral.ai
apidog cli-schema get endpoint-create
apidog cli-schema get test-case-create
apidog cli-schema validate test-case-create --file case.json
apidog test-case create --project <id> --file case.json
apidog run --test-case <caseId> --project <id> -e <selfHostedEnvId> -r cli,json
apidog run --test-case <caseId> --project <id> -e <apiEnvId> -r cli,json

Apidog 앱에서 실행을 보려면 --upload-report를 추가하거나, 동일한 apidog run ... -r junit 라인을 CI에 넣어 vLLM 업그레이드가 깨진 도구 호출과 함께 배포되지 않게 하세요. Claude Code에서의 Apidog CLI 가이드에서 설정을 더 자세히 다룹니다. Apidog의 무료 플랜은 최대 4명의 사용자를 지원합니다.

라이선스: 할 수 있는 것과 할 수 없는 것

Mistral Ecosystem Open-Weight License는 조건 하나가 추가된 MIT입니다.

할 수 있는 것: 저작권 및 허가 고지를 사본에 유지하는 한, 상업적 및 비상업적 용도로 모델과 그 파생물을 실행, 배포, 파인튜닝, 수정할 수 있습니다.

Mistral로부터 별도의 상업적 라이선스가 필요한 경우: "Model as a Service"로 운영하는 경우입니다. 이 라이선스는 이를 제3자가 추론 또는 사후 학습을 위해 모델이나 그 파생물에 접근할 수 있게 하는 것으로 정의합니다.

이 조건이 적용되지 않는 경우: 내부 사용, 모델이 특정 기능이나 하네스 안에 들어가는 최종 사용자 제품, 단순히 다른 사람이 호스팅하는 모델로 요청을 중계하는 것, Mistral 자체 제품을 통한 사용입니다.

내부 코딩 어시스턴트나 모델 위에 구축된 제품 기능은 괜찮지만, 원시 추론을 재판매하려면 계약이 필요합니다. 이는 요약이며 법률 자문이 아닙니다.

다른 오픈 웨이트 모델에 대한 유사한 워크스루는 GLM-5.3 자체 호스팅 가이드를 참조하세요.

자체 호스팅할까요, API를 호출할까요?

볼륨이 적거나, 서버 제한을 튜닝하지 않고 1M 컨텍스트를 원하거나, 이미 8-GPU 노드를 운영하고 있지 않다면 API를 호출하세요. 백만 토큰당 입력 $0.70, 출력 $2.10 기준으로, 월 1억 입력 토큰에 2천만 출력 토큰이면 캐싱 할인 전 $112입니다.

데이터가 네트워크를 떠날 수 없거나, 파인튜닝을 직접 소유하고 싶거나(Hugging Face는 8x B300 노드에서 TRL을 사용한 LoRA 학습을 보여줍니다), 꾸준한 볼륨이 노드를 계속 바쁘게 유지할 때 자체 호스팅하세요. Mistral의 Forge 서비스는 자체 데이터로 튜닝하기 위한 관리형 옵션입니다.

FAQ

Mistral Large 4 오픈 웨이트는 무료로 다운로드할 수 있나요?

네. Hugging Face의 두 공식 리포지토리 모두 게이트가 없으므로 접근을 요청하지 않고 다운로드할 수 있습니다. 비용은 실행하는 데 있습니다. 공식 FP8 체크포인트는 약 1,061 GB이고 서빙 예제는 데이터센터 GPU 8개를 사용합니다.

Mistral Large 4를 단일 GPU에서 실행할 수 있나요?

공식 레시피 중 하나 GPU를 다루는 것은 없습니다. 모든 vLLM, SGLang, Transformers 예제는 텐서 병렬화와 함께 GPU 8개를 사용합니다. 문서화된 가장 작은 설정은 512 GB 통합 메모리를 갖춘 Apple Silicon Ultra 머신 한 대에서 381 GB Q2_K 퀀트를 사용하는 llama.cpp입니다.

Mistral Large 4는 오픈 소스인가요?

오픈 웨이트이지, OSI 의미의 오픈 소스는 아닙니다. 상업적 사용을 허용하는 수정된 MIT 라이선스로 웨이트를 받지만, 제3자에게 추론 또는 사후 학습 서비스로 모델을 제공하려면 Mistral로부터 별도의 상업적 라이선스가 필요합니다.

오픈 웨이트 모델이 API 모델과 동일한가요?

Mistral에 따르면 공개된 체크포인트는 10월 6일 프리뷰 이후 3주간의 추가 강화학습을 거쳤으며, API는 업데이트된 모델을 mistral-large-4로 제공합니다. 추론 모드도 달라졌습니다. low, medium 또는 high를 사용하세요.

Mistral Large 4 API 비용은 얼마인가요?

2026년 11월 2일 기준으로 Mistral은 백만 입력 토큰당 $0.70, 백만 캐시된 입력 토큰당 $0.07, 백만 출력 토큰당 $2.10을 제시합니다.