VocabX, SLM 추론 비용 77% 절감
최근 30일 조회수 —좋아요 —핵심 요약
Dharma AI가 작업별 비용에 맞춘 어휘 재구성으로 포르투갈어 논술 채점 모델의 추론 비용을 77% 줄였다.

Dharma AI가 소형 언어모델(SLM)의 어휘를 작업별 비용에 맞춰 재구성하는 기법 VocabX를 공개했다. 회사는 포르투갈어 논술 자동 채점 서비스에 적용한 결과, 기본 모델을 바꾸지 않고 측정된 추론 비용을 77% 줄였다고 Hugging Face 블로그에서 밝혔다.1
이 서비스는 40억 매개변수의 Qwen3-4B를 바탕으로 논술과 제시문을 읽고 역량별 점수·평가를 JSON으로 생성한다. 그러나 기존 토크나이저는 여러 언어와 분야를 지원하도록 설계돼, 반복되는 포르투갈어 평가 문구와 JSON 구조를 여러 토큰으로 쪼갰다. 생성 단계마다 실제 작업에서 거의 쓰지 않는 항목까지 포함한 15만1,669개 어휘 전체의 점수도 계산해야 했다.
VocabX는 단순 출현 빈도 대신 토큰별 비용을 기준으로 어휘를 특화한다. Dharma AI는 같은 기본 모델과 데이터, 학습 방식을 유지했다고 설명했다. 다만 공개된 수치는 아직 심사 중인 논문의 현 버전에 따른 것으로, 정식 출판 전 달라질 수 있다.
Footnotes
-
Hugging Face 블로그·커뮤니티, 「How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications — Hugging Face 블로그·커뮤니티 · 자료: 2026. 10. 22.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.