허깅페이스, AWS Trainium용 TorchNeuron 공개

최근 30일 조회수 —좋아요 —

핵심 요약

PyTorch 네이티브 백엔드 TorchNeuron이 허깅페이스 라이브러리를 직접 지원하며 공개 베타로 출시됐다.

허깅페이스, AWS Trainium용 TorchNeuron 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

허깅페이스(Hugging Face)는 AWS Trainium을 위한 PyTorch 네이티브 백엔드 TorchNeuron을 공개했다. TorchNeuron은 2026년 10월 20일부터 공개 베타로 제공되며, pip install torch-neuronx로 설치할 수 있다. Transformers, Diffusers, Accelerate, PEFT, TRL과 Kernels가 이를 직접 지원해 기존 가속기에서 쓰던 클래스와 스크립트를 큰 변경 없이 Trainium에서 실행할 수 있다는 게 허깅페이스의 설명이다.1

TorchNeuron은 Trainium을 PyTorch의 네이티브 neuron 장치로 연결한다. 즉시 실행(eager execution), torch.compile, DTensor와 FSDP2 같은 분산 처리 기능을 지원하며, Neuron Kernel Interface(NKI)를 이용한 사용자 정의 연산과 하드웨어 최적화도 가능하다. PyTorch의 PrivateUse1 확장 지점을 활용해 별도 디스패치 키 없이 백엔드를 등록한다.2

기존 Optimum Neuron은 PyTorch XLA 기반 torch-neuronx의 지연 실행, 정적 형태 제한, 그래프 단절 때마다 발생하는 재컴파일을 전용 모델·트레이너 코드로 감쌌다. 허깅페이스는 앞으로 Optimum Neuron 대신 각 라이브러리를 직접 쓰도록 권고한다. 텍스트 생성에서는 사용량 상위 100개 모델 아키텍처 가운데 89%를 기본 지원한다고 밝혔는데, Optimum Neuron v0.4.5의 46%보다 43%포인트 높다. 다만 잦은 재컴파일을 줄이려면 생성 작업에 정적 캐시를 쓰는 것이 권장된다.1

Footnotes

  1. Hugging Face 블로그·커뮤니티, 「TorchNeuron: running HF models on AWS Trainium is easier than ever」 ↩ ↩2

  2. Hugging Face 블로그·커뮤니티, 「Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium.」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. TorchNeuron: running HF models on AWS Trainium is easier than ever — Hugging Face 블로그·커뮤니티 · 자료: 2026. 10. 19.
  2. Profiling TorchNeuron (Part 1): System-level profiling on AWS Trainium. — Hugging Face 블로그·커뮤니티 · 자료: 2026. 10. 22.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요.