허깅페이스, Trainium 모델 호환성 공개

최근 30일 조회수 —좋아요 —

핵심 요약

인기 모델의 AWS Trainium2 실행 여부와 메모리·시간·재현 스크립트를 공개한다.

허깅페이스, Trainium 모델 호환성 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

허깅페이스는 10월 23일 블로그·커뮤니티 글에서 AWS Trainium에서 허브의 인기 모델이 수정 없이 실행되는지 확인할 수 있는 torch-neuronx model support 스페이스를 소개했다. 허깅페이스 블로그·커뮤니티 발표에 따르면 모델별 통과 여부와 샤딩에 사용한 Trainium 코어 수, 컴파일을 포함한 실행 시간, 최대 장치 메모리를 보여주며, 같은 환경에서 재현할 수 있는 run.py도 제공한다.

이 기능은 허브의 다운로드·트렌딩 순위를 바탕으로 모델을 검색하고, Neuron 컴파일러 neuronx-cc와 Transformers 버전별 결과를 조회하도록 구성됐다. 시험은 Trainium2(trn2) 인스턴스에서 모델 가중치를 담을 수 있는 최소 코어 수로 샤딩한 뒤 토큰 32개를 생성해 검사한다. 단일 코어 모델은 CPU 실행 결과와 비교하고, 샤딩 모델은 소형 판정 모델로 영어 문장의 유창성을 확인한다. 결과와 실패 오류, 전체 소프트웨어 버전, 실행 스크립트는 공개 데이터셋 aws-neuron/torch-neuronx-model-support에도 저장된다.

현재 대상은 텍스트 생성과 이미지·텍스트 입력 모델을 포함한 Transformers 모델로 제한되며, 최대 Trainium2 장치 4개, 즉 16코어 안에 들어가는 모델만 시험한다. 통과 판정은 처리량이나 더 긴 생성에 관해서는 아무것도 보장하지 않는다. 허깅페이스는 향후 Diffusers와 Sentence Transformers, 다른 Transformers 작업으로 범위를 넓힐 계획이라고 밝혔다.

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Does Your Model Run on AWS Trainium? Look It Up — Hugging Face 블로그·커뮤니티 · 자료: 2026. 10. 23.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.