PyTorch 2.15, 애플 MPS 추론 성능 개선
최근 30일 조회수 —좋아요 —핵심 요약
FP8 지원과 전용 커널로 애플 실리콘의 MoE 추론 속도와 메모리 효율, 정확도를 높였다.

허깅페이스(Hugging Face) PyTorch 팀은 PyTorch 2.15에서 애플 실리콘용 MPS(Metal Performance Shaders) 백엔드의 FP8 지원과 언어모델 추론 최적화를 확대했다고 20일 밝혔다. FP8 float8_e4m3fn 텐서는 BF16의 절반만큼 메모리를 쓰며, F.scaled_mm으로 GPU에서 직접 연산할 수 있다.1
허깅페이스가 공개한 자체 측정치에서 전문가 혼합(MoE) 모델의 디코딩 속도는 2.14보다 5~6.5배 빨라졌다. M3 Ultra와 torch.compile 환경에서 Qwen3.6-35B-A3B는 초당 9.4토큰에서 61.3토큰으로, LFM2.5-8B-A1B는 23.6토큰에서 123.6토큰으로 향상됐다. 그룹 행렬곱과 디코딩 전용 경로, GPU·CPU 동기화 축소, 빠른 톱-k 라우팅을 적용한 결과다. 단일 행 선형 계층에는 행렬·벡터 전용 커널이 추가됐고, 어휘 전체에 적용하는 소프트맥스는 약 8배 빨라졌다는 설명이다.
메모리와 정확도 문제도 손봤다. Wan2.2의 타일형 VAE 영상 디코딩은 드라이버 메모리 정점이 270GiB에서 약 8GiB로 줄었다. MPS에서 깨지던 Qwen-Image-2.1의 이미지 편집은 패딩 수정 뒤 CPU 대비 PSNR이 10.06dB에서 29.95dB로 높아졌다. 다만 공개된 수치는 허깅페이스 팀의 특정 모델·하드웨어 측정 결과다. MPS는 이제 macOS 15 이상이 필요하며, PyTorch 2.15는 Python 3.11 이상을 요구한다.
Footnotes
-
Hugging Face 블로그·커뮤니티, 「MPS in PyTorch 2.15」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- MPS in PyTorch 2.15 — Hugging Face 블로그·커뮤니티 · 자료: 2026. 10. 20.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.