Ai2, 장문 상태 추적 벤치마크 공개
최근 30일 조회수 —좋아요 —핵심 요약
StateBench는 긴 문서의 상태 변화와 개체 간 의존관계를 모델 구조별로 평가한다.

Ai2가 긴 문서에서 개체 정보의 변화를 언어모델이 얼마나 정확히 추적하는지 평가하는 벤치마크 StateBench를 공개했다. 11월 3일 Hugging Face 블로그에 올라온 Ai2 커뮤니티 글에 따르면, StateBench는 상태 갱신의 복잡도를 네 단계로 나눠 서로 다른 모델 구조의 장단점을 비교한다.1
가장 쉬운 ‘R-trivial’은 처음 정한 값이 바뀌지 않아 이를 찾아내면 된다. ‘Aperiodic’은 값이 여러 번 바뀌므로 마지막 할당을 찾아야 한다. ‘Soluble’은 x = x + 5처럼 현재 값에 변화를 누적하며, 가장 어려운 ‘General finite’는 x = y처럼 다른 변수의 값을 참조해 개체 사이의 의존관계까지 추적해야 한다. 다섯 물체의 위치를 연속으로 맞바꾸며 특정 물체를 따라가는 문제도 마지막 단계에 포함된다.
Ai2는 이 벤치마크로 직접 학습시킨 순환형·하이브리드 모델이 트랜스포머보다 훨씬 긴 입력까지 일반화했다고 밝혔다. 다만 Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol·Luna를 포함한 프런티어 모델도 입력이 길어지면 복잡한 상태 추적에서 성능이 무너졌다고 보고했다. 이는 최신 값 검색과 연쇄적 상태 계산을 구분해, 모델이 어느 복잡도까지 처리하는지 구조별로 진단하려는 시도다.
Footnotes
-
Hugging Face 블로그·커뮤니티, 「StateBench: Testing how language models track state changes over long documents」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- StateBench: Testing how language models track state changes over long documents — Hugging Face 블로그·커뮤니티 · 자료: 2026. 11. 4.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.