허깅페이스, Trainium 모델 호환성 공개
최근 30일 조회수 —좋아요 —핵심 요약
인기 모델의 AWS Trainium2 실행 여부와 메모리·시간·재현 스크립트를 공개한다.

허깅페이스는 10월 23일 블로그·커뮤니티 글에서 AWS Trainium에서 허브의 인기 모델이 수정 없이 실행되는지 확인할 수 있는 torch-neuronx model support 스페이스를 소개했다. 허깅페이스 블로그·커뮤니티 발표에 따르면 모델별 통과 여부와 샤딩에 사용한 Trainium 코어 수, 컴파일을 포함한 실행 시간, 최대 장치 메모리를 보여주며, 같은 환경에서 재현할 수 있는 run.py도 제공한다.
이 기능은 허브의 다운로드·트렌딩 순위를 바탕으로 모델을 검색하고, Neuron 컴파일러 neuronx-cc와 Transformers 버전별 결과를 조회하도록 구성됐다. 시험은 Trainium2(trn2) 인스턴스에서 모델 가중치를 담을 수 있는 최소 코어 수로 샤딩한 뒤 토큰 32개를 생성해 검사한다. 단일 코어 모델은 CPU 실행 결과와 비교하고, 샤딩 모델은 소형 판정 모델로 영어 문장의 유창성을 확인한다. 결과와 실패 오류, 전체 소프트웨어 버전, 실행 스크립트는 공개 데이터셋 aws-neuron/torch-neuronx-model-support에도 저장된다.
현재 대상은 텍스트 생성과 이미지·텍스트 입력 모델을 포함한 Transformers 모델로 제한되며, 최대 Trainium2 장치 4개, 즉 16코어 안에 들어가는 모델만 시험한다. 통과 판정은 처리량이나 더 긴 생성에 관해서는 아무것도 보장하지 않는다. 허깅페이스는 향후 Diffusers와 Sentence Transformers, 다른 Transformers 작업으로 범위를 넓힐 계획이라고 밝혔다.
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Does Your Model Run on AWS Trainium? Look It Up — Hugging Face 블로그·커뮤니티 · 자료: 2026. 10. 23.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.