미스트랄, 1조 매개변수 라지 4 공개

최근 30일 조회수 —좋아요 —

핵심 요약

미스트랄이 100만 토큰 문맥과 희소 연산을 지원하는 멀티모달·다국어 MoE 모델 라지 4를 공개했다.

미스트랄, 1조 매개변수 라지 4 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

미스트랄(Mistral)이 약 1조 개의 전체 매개변수를 갖춘 멀티모달·다국어 모델 미스트랄 라지 4(Mistral Large 4·Le Chonk)를 공개했다. 허깅페이스 블로그에 따르면 이 모델은 토큰마다 490억 개 매개변수만 활성화하는 전문가 혼합(MoE) 구조로, 텍스트와 이미지를 입력받아 텍스트를 생성한다. 컨텍스트 창은 100만 토큰이며 공식 체크포인트는 FP8과 NVFP4 두 종류다.1

미스트랄 라지 4는 전문가 일부를 골라 계산하는 방식과 이전 토큰 가운데 참조할 위치를 고르는 희소 어텐션을 함께 쓰고, 픽스트랄(Pixtral) 비전 인코더를 결합했다. 가중치는 미스트랄 생태계 오픈웨이트 라이선스로 배포된다. 이 라이선스는 MIT 라이선스를 변형했지만 모델을 서비스 형태로 제공하는 사업에는 제한을 둔다. Unsloth와 llama.cpp 팀이 만든 GGUF 버전도 제공된다.

허깅페이스는 사이버보안, 코딩 에이전트, 멀티모달 작업을 주요 강점으로 제시했다. 실제 취약점을 재현한 뒤 패치하는 Artificial Analysis Cyber Index에서는 82%를 기록했다. 다만 악성코드 분석과 탐지 규칙 작성 능력은 미스트랄 내부 시험 결과이며, 일부 폐쇄형 모델이 같은 시험에서 거부 응답 탓에 0점에 가깝다는 비교 역시 미스트랄 측 설명이다.1

Footnotes

  1. Hugging Face 블로그·커뮤니티, 「Welcome Le Chonk: Mistral Large 4 on Hugging Face」 ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Welcome Le Chonk: Mistral Large 4 on Hugging Face — Hugging Face 블로그·커뮤니티 · 자료: 2026. 10. 29.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.