MoE
6건
기사 통계를 확인하고 있습니다.

32GB 메모리서 180B MoE 구동 실험
전문가 가중치를 SSD에서 선택적으로 불러와 32GB 메모리로 180B MoE 모델을 구동했다.

아마존, MoE 협력 반영한 가지치기 HOPE 공개
HOPE는 전문가 간 상호작용을 반영해 MoE 메모리를 줄이면서 기존 가지치기보다 성능을 높였다.

미스트랄, 1조 매개변수 라지 4 공개
미스트랄이 100만 토큰 문맥과 희소 연산을 지원하는 멀티모달·다국어 MoE 모델 라지 4를 공개했다.

Reflection, 5010억 매개변수 ‘Beam’ 공개
코딩·에이전트 작업에 특화된 오픈소스 MoE 모델 Beam이 Apache 2.0으로 공개됐다.

메타, 멀티모달 모델 ‘뮤즈 스파크 오픈’ 공개
메타가 8160억 매개변수와 100만 토큰 문맥 창을 갖춘 오픈 가중치 멀티모달 모델을 공개했다.

리퀴드 AI, 온디바이스 추론 모델 공개
240억 매개변수 중 20억 개만 활성화하며 13만1천 토큰 문맥과 도구 호출을 지원한다.