허깅페이스, 모델 회귀 탐지 MIC 제안

최근 30일 조회수 —좋아요 —

핵심 요약

축소 모델과 기준 출력을 활용해 Transformers의 모델 회귀를 PR 단계에서 CPU로 탐지한다.

허깅페이스, 모델 회귀 탐지 MIC 제안 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

허깅페이스가 Transformers의 모델 회귀를 풀리퀘스트(PR) 단계에서 잡기 위한 표준 transformers-mic을 제안했다. 모델 통합 계약(Model Integration Contract·MIC)은 축소 모델인 픽스처, 실제 사용법을 담은 실행 가능한 마크다운 예제, 사람이 검토한 기준 출력으로 구성된다. 같은 예제를 픽스처에서 실행했을 때 기준 출력이 유지되는지 CPU 환경에서 검사하는 방식이다.1

제안의 배경은 2026년 7월 30일 T5에 파이토치의 SDPA(Scaled Dot-Product Attention)를 적용하면서 발생한 UMT5 회귀다. 디코더가 미래 토큰을 참조할 수 있게 됐지만 오류가 발생하지 않아 9월 28일 수정될 때까지 메인 브랜치에 남았다. 허깅페이스가 5개월치 커밋을 재실행한 결과, 소형 UMT5 픽스처는 이 기간 모든 해당 커밋에서 기준 대비 1.22의 레이블 로그확률 차이를 감지했다.1

Transformers는 750종이 넘는 모델을 지원하며 메인 브랜치에서 CPU 테스트 8만8,000여 개, 매일 GPU 테스트 20만여 개를 수행한다. 그러나 모든 PR에서 실제 체크포인트를 시험하기는 어렵다. 실험용 UMT5 픽스처는 원본 1,227MB를 66MB로 줄여 CPU에서 실행했다. MIC는 전체 통합 테스트를 대체하지 않으며, 변경 파일에 맞는 계약을 골라 조기 회귀 탐지 가능성을 높이는 보완책이다.1

Footnotes

  1. Hugging Face 블로그·커뮤니티, 「Transformers Model Integration Contracts」 ↩ ↩2 ↩3

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Transformers Model Integration Contracts — Hugging Face 블로그·커뮤니티 · 자료: 2026. 11. 3.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.