ThinkingBox 보상 학습, 성공률 9.08%p 상승

최근 30일 조회수 —좋아요 —

핵심 요약

DB 판정값으로 Qwen3.8-27B를 학습해 평균 성공률과 반복 안정성을 높였지만 과제 범위는 좁아졌다.

ThinkingBox 보상 학습, 성공률 9.08%p 상승 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

마이크로소프트(Microsoft)와 허깅페이스(Hugging Face)는 데이터베이스 최종 상태를 검사하는 에이전트 평가 도구 ThinkingBox의 판정값을 강화학습(RL) 보상으로 확장했다. 양측은 벤치마크 밖의 ThinkingBox 형식 과제를 훈련에 활용하는 ThinkingBox-Training을 깃허브에 공개했다고 공동 블로그에서 밝혔다.1

ThinkingBox-Bench는 실제 백엔드와 도구를 제공한 뒤 데이터베이스가 기대한 상태로 바뀌었는지 검사하는 507개 과제로 구성된다. 연구진은 이 실행 결과를 0 또는 1의 보상으로 삼고, 기본 모델의 성공 확률을 한 차례 측정해 너무 쉽거나 풀기 어려운 과제를 제외했다. 이후 고정된 훈련 묶음으로 Qwen3.8-27B를 GRPO 방식으로 50단계 미세조정했다.

각 과제를 20회씩, 총 1만140회 평가한 결과 평균 성공률인 pass@1은 51.70%(5,242회)에서 60.78%(6,163회)로 9.08%포인트 올랐다. 20번 모두 성공한 과제도 38개(7.50%)에서 107개(21.10%)로 늘었다. 반면 한 번이라도 성공한 과제 비율인 pass@20은 453개(89.35%)에서 446개(87.97%)로 줄었다. 반복 성공의 안정성은 높아졌지만 해결 가능한 과제의 범위는 소폭 좁아진 셈이다.

Footnotes

  1. Hugging Face 블로그·커뮤니티, 「Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Turning Database Grading into RL Rewards: Post-Training Agents with ThinkingBox — Hugging Face 블로그·커뮤니티 · 자료: 2026. 10. 23.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.