엔비디아, 인도 22개 언어 데이터셋 공개
최근 30일 조회수 —좋아요 —핵심 요약
엔비디아와 AI4Bharat가 2조8천억 토큰 규모의 인도 언어 데이터셋과 생성 파이프라인을 공개한다.

엔비디아(NVIDIA)가 인도 헌법에 등재된 22개 언어의 사전학습 데이터셋 Nemotron-pretraining-Indic-v1과 이를 만든 오픈소스 데이터 생성 파이프라인을 공개할 예정이라고 16일 Hugging Face 블로그에서 발표했다. IIT 마드라스와 산하 연구소 AI4Bharat가 공동 개발했으며, 데이터 규모는 약 2조8천억 토큰이다.1
데이터셋은 22개 언어의 고유 문자 토큰 2조6,010억 개와 12개 언어의 로마자 표기 토큰 2,246억 개로 구성된다. 모두 합쳐 34개 언어·문자 조합을 지원한다. 수학·코드·질의응답 등 선별한 영어 자료를 번역했으며, 각 결과를 원문과 대조하고 수식·표·코드가 보존됐는지 검사했다.
함께 공개할 GPU 가속 파이프라인에는 문서 단위 번역, 품질 평가와 부분 수정 절차뿐 아니라 프롬프트와 거대언어모델(LLM) 작업 흐름도 담긴다. 개발자는 자체 문서에 이를 적용하거나 검사 기준을 바꿀 수 있다. 엔비디아는 이 가운데 12개 언어의 합성·자연어 자료 100억 토큰을 Nemotron 3.5 Super VL 추가 사전학습에 이미 사용했다고 밝혔다. 다만 합성 데이터는 지역 지식과 문화적 맥락을 담은 자연 작성 자료를 보완하는 용도라고 설명했다.
Footnotes
-
Hugging Face 블로그·커뮤니티, 「Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline — Hugging Face 블로그·커뮤니티 · 자료: 2026. 10. 16.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.