Ai2, LLM 참신성 평가의 불안정성 확인

최근 30일 조회수 —좋아요 —

핵심 요약

프롬프트 표현에 따라 LLM의 연구 아이디어 참신성 판정 정확도가 50%포인트 넘게 달라졌다.

Ai2, LLM 참신성 평가의 불안정성 확인 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

Ai2가 대규모 언어 모델(LLM)이 과학 연구 아이디어의 참신성을 얼마나 안정적으로 판별하는지 평가한 연구 ‘Old Ideas, Novel Problems’를 공개했다. 논문과 함께 벤치마크·데이터·코드, 새 평가 세트를 만드는 자동화 파이프라인도 Hugging Face 블로그를 통해 배포했다.1

Ai2는 GPT-5.1·5.2·5.4, Claude Sonnet 4.5, Claude Opus 4.5·4.6 등 6개 모델을 ‘참신성 판정자’로 시험했다. 그 결과 같은 아이디어라도 프롬프트의 단어 몇 개를 바꾸자 두 아이디어 중 더 참신한 쪽을 고르는 정확도가 50%포인트 넘게 달라진 실험이 있었다. 문헌 검색이나 추론량 확대도 일관된 개선을 보이지 않았으며, 참신성 평가 전용 시스템 2종은 단순한 Claude Opus 4.6 프롬프트보다 낮은 성능을 냈다고 Ai2는 밝혔다.

벤치마크는 ICLR 2026 동료평가에서 독창성을 직접 언급한 대목을 추출해 만들었다. 분야별 상위 10%에 든 채택 논문 가운데 참신성에 이견이 없던 아이디어 154개를 고참신성 집합으로, 하위 10%의 탈락 논문 가운데 독창성 우려만 제기된 아이디어 145개를 저참신성 집합으로 구성했다. 별도 검증에서는 주석자가 50건 중 47건의 참신성 신호 판정에 동의했다. 결과는 LLM이 만든 연구 아이디어를 다른 LLM으로 평가하는 현재 방식이 설정 변화에 취약하다는 점을 보여준다.

Footnotes

  1. Hugging Face 블로그·커뮤니티, 「Can we trust LLMs to judge whether a research idea is novel?」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Can we trust LLMs to judge whether a research idea is novel? — Hugging Face 블로그·커뮤니티 · 자료: 2026. 10. 28.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.