Dharma AI, 파인튜닝 시간 예측 모델 공개

최근 30일 조회수 —좋아요 —

핵심 요약

공유 GPU 클러스터의 운영 데이터를 학습한 CatBoost 모델이 파인튜닝 완료 시간을 MAE 1.71시간으로 예측했다.

Dharma AI, 파인튜닝 시간 예측 모델 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

Dharma AI가 공유 GPU 클러스터에서 생성형 언어 모델의 파인튜닝 완료 시간을 예측하는 회귀 모델을 공개했다. Dharma AI는 11월 18일 허깅페이스 블로그에서 엔비디아 H200으로 수행한 지도 파인튜닝(SFT) 272건, 총 7,382 GPU·시간의 운영 데이터를 분석했다고 밝혔다.1

통상 쓰이는 부동소수점 연산량(FLOPs) 기반 계산은 모델 매개변수와 학습 토큰, GPU 수, 최대 처리량, 모델 FLOPs 활용률(MFU)을 이용한다. 그러나 실제 작업에는 환경 설정과 모델 다운로드·로딩, 토큰화, 평가, 체크포인트 업로드, 최종 모델 저장도 포함된다. 네트워크와 저장장치를 함께 쓰는 클러스터에서는 이런 시간이 작업 설정과 자원 경합에 따라 달라져, 계산량이 같은 작업도 종료 시점이 수시간 벌어질 수 있다는 설명이다.

Dharma AI의 비교에서 평가 토큰까지 반영한 FLOPs 방식은 결정계수(R²) 0.31, 평균절대오차(MAE) 12.41시간을 기록했다. 반면 작업 배치 전에 알 수 있는 평가 주기, 체크포인트 정책, GPU당 부하, 파인튜닝 방식 등을 학습한 CatBoost 회귀 모델은 5겹 교차검증에서 R² 0.98, MAE 1.71시간, 중앙값 오차 0.51시간을 냈다. 대기 시간은 예측 대상에서 제외했다. 다만 이는 Dharma AI의 자체 운영 데이터와 사전 공개 결과이며, 전체 논문은 추후 arXiv에 게재될 예정이다.

Footnotes

  1. Hugging Face 블로그·커뮤니티, 「Why your fine-tuning job takes longer than the FLOPs say」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Why your fine-tuning job takes longer than the FLOPs say — Hugging Face 블로그·커뮤니티 · 자료: 2026. 11. 19.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.