허깅페이스, 토큰 풀링 학습법 공개

최근 30일 조회수 —좋아요 —

핵심 요약

멀티벡터 임베딩을 4분의 1로 줄이면서 검색 성능의 97.8%를 유지하는 학습법이 공개됐다.

허깅페이스, 토큰 풀링 학습법 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

허깅페이스 커뮤니티가 멀티벡터 임베딩 모델의 저장 공간을 줄이면서 검색 품질을 지키는 ‘토큰 풀링 인지 학습’ 방법을 공개했다. 비슷한 문서 토큰 벡터를 병합할 때 중요한 정보가 보존되도록 인코더를 학습하는 방식으로, 센텐스 트랜스포머스(Sentence Transformers)에서 재현할 수 있는 예제도 함께 제시했다.1

멀티벡터 모델인 ColBERT는 질의 토큰마다 문서에서 가장 가까운 벡터를 찾는 MaxSim 점수를 사용해 세밀한 검색이 가능하지만, 문서 하나에 수백 개의 벡터가 쌓일 수 있다. 블로그의 계산에 따르면 128차원 벡터 200개를 좌표당 4비트 잔차 양자화로 저장하면 문서당 12.8KB, 문서 100만 개에 12.8GB가 필요하다. 문서당 벡터를 50개로 풀링하면 같은 차원과 정밀도에서 3.2GB로 줄어든다.

공개된 방법은 워드(Ward) 계층적 군집화로 유사한 토큰 벡터를 묶고, 각 군집의 평균을 다시 정규화해 MaxSim 검색에 쓴다. 작성자 실험에서 pool_factor=4를 적용한 일반 학습 모델은 벡터 수를 4분의 1로 줄였을 때 풀링하지 않은 NanoBEIR nDCG@10 성능의 94.6%를 유지했다. 풀링 인지 학습 모델은 같은 저장 예산에서 유지율을 97.8%로 높였다. 다만 이는 블로그 작성자가 공개한 실험 결과이며, 다른 데이터셋과 운용 환경에서의 성능은 자료에 제시되지 않았다.

Footnotes

  1. Hugging Face 블로그·커뮤니티, 「Token Pooling-Aware Training for Multi-Vector Embedding Models」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Token Pooling-Aware Training for Multi-Vector Embedding Models — Hugging Face 블로그·커뮤니티 · 자료: 2026. 11. 11.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.