보안 취약점 평가 CWE-bench v2 공개

최근 30일 조회수 —좋아요 —

핵심 요약

100개 과제로 91종 취약점 수정 능력을 평가했으며 Gemini 4 Argon이 최고 성능을 기록했다.

보안 취약점 평가 CWE-bench v2 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

콜리니어 AI(Collinear AI)가 보안 취약점 수정 능력을 평가하는 CWE-bench v2를 공개했다. Hugging Face 블로그·커뮤니티에 따르면 공개 세트는 실제 오픈소스 저장소에서 보안 약점을 찾아 기존 기능을 깨뜨리지 않고 고치는 100개 과제로 구성되며, 91종의 공통 취약점 유형(CWE)을 다룬다. 채점은 프로그램으로 수행돼 결과를 결정론적으로 재현할 수 있고, 과제·채점기·실행 도구도 공개됐다.

각 과제는 현실적인 지시인지, 채점 대상 행동을 지시에서 추론할 수 있는지, 특정 수정 형태에 종속되지 않는지 등을 수작업으로 검토했다. 알려진 원본 패치를 외운 해법이 통과하지 못하도록 검증기도 점검했다. 다만 모델이 보지 않은 비공개 세트는 별도로 유지하며, 평가는 콜리니어 AI에 요청해야 한다.

평가한 11개 모델 중 Gemini 4 Argon이 pass@1 67.8%, pass@4 81.0%로 선두였고 Claude Opus 5.5가 각각 67.3%, 78.0%로 뒤를 이었다. 100개 중 95개는 적어도 한 모델이 풀었지만, 선두 모델도 19%는 네 차례 모두 실패했다. 비용 대비 성능에서는 DeepSeek V4.1 Flash가 실행당 0.04달러로 pass@1 57.0%를 기록했으며, Claude Opus 5.5는 1.83달러, Gemini 4 Argon은 3.92달러였다. 이는 취약점 범위와 재현성을 넓힌 동시에, 최고 성능 모델에도 해결되지 않은 과제가 상당함을 보여준다.

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. CWE-bench v2: More coverage, quality, and transparency — Hugging Face 블로그·커뮤니티 · 자료: 2026. 11. 3.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.