아마존, MoE 협력 반영한 가지치기 HOPE 공개

최근 30일 조회수 —좋아요 —

핵심 요약

HOPE는 전문가 간 상호작용을 반영해 MoE 메모리를 줄이면서 기존 가지치기보다 성능을 높였다.

아마존, MoE 협력 반영한 가지치기 HOPE 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

아마존 연구진이 전문가 혼합(Mixture-of-Experts·MoE) 언어모델을 줄일 때 전문가 사이의 협력 관계까지 고려하는 가지치기 기법 HOPE(Higher-Order Pruning of Experts)를 공개했다. 11월 9일 허깅페이스 블로그에 실린 아마존의 설명에 따르면, HOPE는 각 전문가를 개별 점수로 평가하는 기존 1차 방식과 달리 전문가 쌍의 상호작용을 반영하는 2차 방식이다.1

MoE는 토큰마다 일부 전문가만 활성화하지만, 추론할 때는 모든 전문가의 가중치를 메모리에 올려야 한다. 아마존이 든 Qwen3.5-122B 사례는 48개 MoE 층마다 전문가 256개를 두며, 약 250GB에 이르는 매개변수 메모리의 95%를 전문가 다층퍼셉트론(MLP)이 차지한다. 정작 토큰 하나에 실제로 쓰이는 전문가는 층마다 8개뿐이다.

전문가 가지치기는 덜 유용한 전문가를 영구 삭제해 이 부담을 낮추며, 별도 학습 없이 양자화와 함께 적용할 수 있다. 다만 아마존은 전문가들이 반복적으로 함께 활성화되는 안정적인 협력 집단을 이루므로, 독립적으로 순위를 매겨 삭제하면 특히 높은 가지치기 비율에서 성능을 더 잃을 수 있다고 설명했다. 회사 측 실험에서 HOPE는 전문가를 50% 제거했을 때 비교 기법 가운데 평균 순위가 가장 높았고, 에이전트형 코딩 과제에서는 차선 방식보다 최대 6.1% 높은 성능을 기록했다.

Footnotes

  1. Hugging Face 블로그·커뮤니티, 「Your Experts Have Partners. There’s HOPE for Keeping Them Together」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Your Experts Have Partners. There's HOPE for Keeping Them Together — Hugging Face 블로그·커뮤니티 · 자료: 2026. 11. 9.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.