ThinkingBox 보상 학습, 성공률 9.08%p 상승
최근 30일 조회수 —좋아요 —핵심 요약
DB 판정값으로 Qwen3.8-27B를 학습해 평균 성공률과 반복 안정성을 높였지만 과제 범위는 좁아졌다.

마이크로소프트(Microsoft)와 허깅페이스(Hugging Face)는 데이터베이스 최종 상태를 검사하는 에이전트 평가 도구 ThinkingBox의 판정값을 강화학습(RL) 보상으로 확장했다. 양측은 벤치마크 밖의 ThinkingBox 형식 과제를 훈련에 활용하는 ThinkingBox-Training을 깃허브에 공개했다고 공동 블로그에서 밝혔다.1
ThinkingBox-Bench는 실제 백엔드와 도구를 제공한 뒤 데이터베이스가 기대한 상태로 바뀌었는지 검사하는 507개 과제로 구성된다. 연구진은 이 실행 결과를 0 또는 1의 보상으로 삼고, 기본 모델의 성공 확률을 한 차례 측정해 너무 쉽거나 풀기 어려운 과제를 제외했다. 이후 고정된 훈련 묶음으로 Qwen3.8-27B를 GRPO 방식으로 50단계 미세조정했다.
각 과제를 20회씩, 총 1만140회 평가한 결과 평균 성공률인 pass@1은 51.70%(5,242회)에서 60.78%(6,163회)로 9.08%포인트 올랐다. 20번 모두 성공한 과제도 38개(7.50%)에서 107개(21.10%)로 늘었다. 반면 한 번이라도 성공한 과제 비율인 pass@20은 453개(89.35%)에서 446개(87.97%)로 줄었다. 반복 성공의 안정성은 높아졌지만 해결 가능한 과제의 범위는 소폭 좁아진 셈이다.
Footnotes
-
Hugging Face 블로그·커뮤니티, 「Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox — Hugging Face 블로그·커뮤니티 · 자료: 2026. 10. 23.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.