Ai2, 잘못된 질문 전제 평가하는 XYBench 공개

최근 30일 조회수 —좋아요 —

핵심 요약

XYBench 평가에서 주요 AI 모델은 잘못된 접근보다 사용자의 실제 목표를 짚어 해결하는 능력이 부족했다.

Ai2, 잘못된 질문 전제 평가하는 XYBench 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

Ai2가 사용자의 질문에 깔린 잘못된 전제를 찾아 실제 목표에 맞는 답을 제시하는지 평가하는 벤치마크 XYBench를 공개했다. 카네기멜런대·엔비디아·존스홉킨스대 연구진과 함께 개발했으며, EMNLP 2026 최우수 리소스 논문상을 받았다.1

XYBench는 사용자가 목표 X를 이루려 하면서 부적절한 방법 Y를 먼저 정한 뒤 Y만 질문하는 ‘XY 문제’를 다룬다. 예컨대 아직 따뜻한 컵케이크가 원인인데도 흘러내리는 프로스팅을 되직하게 만드는 법만 묻는 상황이다. 전체 8,115개 문항은 스택 오버플로 1,557개, 스택 익스체인지 184개, 수작업 사례 102개, 위키하우 기반 생성 문항 6,272개로 구성됐다.

Ai2에 따르면 Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B, DeepSeek-V4 Pro를 평가한 결과, 다섯 모델 모두 해결책을 제시하면서도 잘못된 접근에 답변의 초점을 두는 경향을 보였다. 사람의 참조 답변보다 사용자를 기존 접근에서 벗어나 실제 목표에 맞는 해결책으로 이끄는 비율도 낮았다. 다만 위키하우 문항은 Sonnet 4.5로 생성한 뒤 맥락을 보강하고, 문자 그대로 답해도 문제가 대부분 풀리는 사례는 제외했다.1

Footnotes

  1. Hugging Face 블로그·커뮤니티, 「XYBench: Helping with the problem behind the question」 ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. XYBench: Helping with the problem behind the question — Hugging Face 블로그·커뮤니티 · 자료: 2026. 11. 14.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.