MTEB 점수 설명: #1 모델이 최고의 RAG 선택지가 아닌 이유
Hugging Face MTEB 리더보드에는 5,000개 이상의 임베딩 모델 제출이 있으며, 거의 매주 새로운 모델이 1위를 차지합니다. 함정은 이렇습니다: 그 #1 모델이 당신이 배포해야 할 모델일 가능성이 높지 않습니다. 당신이 보고 있는 MTEB 점수는 8가지 작업 유형에 걸친 평균이며, 그중 단 하나만이 문서에 대한 검색 증강 생성(RAG)이 얼마나 잘 작동하는지를 예측합니다. 우리는 이것을 어렵게 배웠습니다. 2026년 4월, 우리의 최고 순위 선택지는 우리 자체 코퍼스에서 더 저렴한 모델에 졌습니다. 이 가이드는 숫자가 실제로 의미하는 바, RAG를 위해 어느 열을 신뢰해야 하는지, 그리고 왜 리더보드가 시작점이지 최종 판단이 아닌지를 설명합니다.
핵심 요약
- MTEB는 다중 작업 벤치마크입니다. 헤드라인 "전체" 점수는 8가지 작업 유형을 하나의 평균으로 혼합합니다.
- RAG의 경우, 전체 평균이 아닌 Retrieval 하위 탭(nDCG@10)만이 프로덕션 품질을 예측합니다.
- 실제 임베딩 모델은 0영샷에서 0.4–0.7 nDCG@10을 기록합니다. 1.0은 완벽한 순위를 의미합니다.
- MTEB를 사용하여 후보 모델을 선정한 후 자신의 코퍼스에서 테스트하세요. #1 모델은 종종 지는 경향이 있습니다.
MTEB 점수란 무엇인가?
MTEB는 Massive Text Embedding Benchmark를 의미하며, 텍스트 임베딩 모델을 평가하기 위한 개방형 다중 작업 제품군입니다. MTEB 점수는 8가지 작업 유형에 걸친 전체 수치로 평균화된 작업별 지표입니다. 이것은 2022년에 Muennighoff와 동료들에 의해 소개되었습니다(arXiv 2210.07316, EACL 2023에서 발표).
벤치마크는 누구나 모델을 제출할 수 있는 공개 Hugging Face Space로 존재합니다. 대부분의 사람들이 인용하는 숫자는 "전체 평균"이며, 검색, 분류, 클러스터링 및 기타 5가지 작업 계열을 하나의 수치로 혼합합니다. 바로 이것이 헤드라인 순위가 오도하는 이유입니다. 모델은 클러스터링에서 강력하면서 당신의 제품이 의존하는 유일한 작업에서는 평범하게 평균을 이겨낼 수 있습니다. 원본 논문은 대약 58개의 데이터셋과 112개 언어에 걸친 8가지 작업 유형을 다룹니다.
8가지 MTEB 작업 카테고리(및 각 점수가 측정하는 것)
MTEB는 임베딩 평가를 8가지 작업 유형으로 그룹화하며, 각각은 다른 지표로 평가됩니다. 따라서 "높은 MTEB 점수"는 어느 작업을 읽고 있는지 알 때까지 거의 아무 의미도 없습니다. 분류에서 0.85(정확도)와 검색에서 0.85(nDCG@10)는 완전히 다른 능력을 설명합니다.
아무도 깔끔하게 발행하지 않는 디코더 테이블입니다. 메트릭은 작업에 따라 변합니다:
위의 작업 대 메트릭 매핑은 MTEB 논문(arXiv 2210.07316)에서 확인되었습니다. 한 가지 핵심은 MTEB 전체 평균에서 모델이 최고점을 받을 수 있지만 당신의 제품이 실행하는 단일 작업에서는 평범할 수 있다는 것입니다.
RAG에 실제로 중요한 MTEB 점수는 무엇인가?
RAG의 경우, 전체 평균을 무시하고 nDCG@10으로 평가된 Retrieval 하위 탭을 읽으세요. RAG는 문서에 대한 의미론적 검색으로, 이것이 정확히 검색 작업입니다. STS는 대략 상관관계가 있지만 보조적입니다. 모델은 전체 리더보드에서 우승할 수 있지만 검색에서는 중위권을 차지할 수 있으므로, 검색 열이 프로덕션 품질을 예측하는 하나입니다.
전체 혼합이 오도하는 이유는 무엇입니까? 검색 부분 집합은 MS MARCO, Natural Questions, HotpotQA와 같은 일반 웹 및 QA 데이터셋으로 구성되어 있습니다. 분류에서 빛나는 모델은 검색 숫자가 처지는 동안 훌륭한 평균을 게시할 수 있습니다. Hugging Face 리더보드(huggingface.co/spaces/mteb/leaderboard, 2026년 7월 13일 접속)를 열고 무엇이든 비교하기 전에 검색 탭으로 필터링하세요.
자신의 평가를 스크립트하면, 동일한 필터가 코드에 적용됩니다:
검색 열을 읽은 후, 다음 질문은 어느 모델을 선택할 것인가입니다. 우리의 허브 게시물은 실제로 배포할 임베딩 모델과 전체 벤치마크 숫자를 다루고, 해당 벡터가 어디에 있을지를 선택하는 경우, 2026년 최고의 벡터 데이터베이스에 대한 우리의 가이드가 함께합니다.
nDCG@10 점수는 실제로 무엇을 의미하는가?
nDCG@10은 상위 10개의 검색된 결과가 얼마나 잘 순위가 매겨져 있는지를 측정합니다. 1.0 점수는 모든 관련 문서가 맨 위에 있다는 의미입니다. 0은 아무것도 없다는 의미입니다. 실제 임베딩 모델은 영샷에서 약 0.4–0.7 범위에 착지합니다. 따라서 0.55의 nDCG@10은 정상이며 깨진 것이 아닙니다.
이것을 검색 상자 채점과 같다고 생각하세요. 당신은 올바른 답변이 어딘가가 아니라 먼저 나타나는지 관심이 있습니다. 왜냐하면 당신의 LLM은 당신이 제공하는 상위 몇 개 청크만 읽기 때문입니다. 쿼리가 모호하고 관련 문서가 완벽하게 정렬되는 경우는 드물기 때문에 아무도 1.0을 달성하지 못합니다. 따라서 nDCG@10 0.55가 당신을 놀라게 한다면, 걱정하지 마세요. 이것은 정상적이고 배포 가능한 영샷 점수이며, 0.4–0.7 범위는 물리 법칙이 아닌 일반적인 범위입니다(zeroentropy.dev에 의해 입증됨).
우리는 MTEB #1을 우리 자신의 RAG 코퍼스와 비교했습니다(그리고 그것은 우승하지 못했습니다)
우리는 MTEB 영어 검색 탭을 토핑하는 모델을 가지고 우리 자신의 10,000개 문서 기술 문서 코퍼스에서 6가지 다른 모델에 대해 실행했으며, 손으로 표시한 약 120개 쿼리 세트에 대해 점수를 매겼습니다. 리더보드 리더는 강력한 Recall@10을 게시했지만 첫 번째로 끝나지 않았으며, 2개의 더 저렴한 옵션이 결정을 바꾸기에 충분히 가까이 착지했습니다. 약 120개 쿼리만으로는 이들을 리더보드가 아닌 방향성으로 취급합니다.
우리의 테스트 윈도우에서 MTEB 영어 리더보드 리더는 Gemini Embedding 001이었습니다(2026년 4월 스냅샷에서 상위); 아래 통계는 Hugging Face MTEB 게시판에서 나오며, 숫자가 스냅샷 이동으로 바뀌기 때문에 우리는 날짜와 함께 우리 것을 인용합니다:
리더보드가 우리에게 말해주지 않은 두 가지입니다. 첫째, 공개 #1(Gemini)은 우리의 코퍼스에서 Voyage-4-large에 의해 다가갔습니다. 그 게시판에 제출조차 하지 않는 모델입니다. 둘째, 자체 호스팅된 개방형 모델(Qwen3-8B)은 토큰당 비용이 없으면서 거의 같은 수준에 도달했으며, OpenAI의 잘린 1024차원 벡터는 3배 더 작은 저장소로 0.83 Recall@10을 유지했습니다. MTEB는 일반 웹 및 QA 텍스트에 대해 검색을 순위를 매깁니다. 우리의 코퍼스는 자신의 방식으로 청크화된 특수 기술 어휘이므로 순서가 재배열됩니다. 그것이 자신의 데이터에 대해 테스트하는 전체 주장입니다. 자신의 RAG 코퍼스에서 테스트하는 방법에 대한 우리의 설명은 평가 측면을 다루며, 허브 게시물은 전체 방법론을 담고 있습니다.
왜 리더보드 #1이 당신의 최고 선택지가 아닌가
3가지가 당신의 실제 우승자를 결정합니다: 도메인 어휘(일반 데이터셋이 포함하지 않은 전문용어), 청크 크기(짧은 대 긴 문단은 다른 모델을 선호함), 쿼리 언어입니다. 바로 이것이 MTEB가 최종 답변이 아닌 후보 선정 도구인 이유입니다. 순위는 어떤 모델이 타당한지를 알려주지, 어느 것이 당신의 데이터에 맞는지는 알려주지 않습니다.
다음은 실제로 순위를 뒤집는 코퍼스 요소들입니다:
- 도메인 전환: 법률, 의료 또는 코드베이스 텍스트는 MS MARCO가 샘플링한 적이 없는 어휘를 포함합니다.
- 청크 크기: 짧은 문단에 대해 튜닝된 모델은 800토큰 청크에서 비틀거릴 수 있습니다.
- 쿼리 언어 및 스타일: 다국어 또는 키워드 중심 쿼리는 순서를 빠르게 재배열합니다.
우리의 경험상, 신뢰할 수 있는 워크플로우는 지루하지만 작동합니다: MTEB 검색 탭을 사용하여 3–4명의 후보를 선정한 후, 자신의 문서에서 Recall@10 및 nDCG@10을 측정하세요. 일반 RAG 도구 모음은 파이프라인에 도움이 되며, 자신의 데이터에서 모델을 평가하는 구조화된 방식을 위해, 그 검토는 평가 측면을 다룹니다. 북마크할 가치가 있는 2가지 관련 읽기: Ollama를 사용한 로컬 임베딩 모델 실행, 그리고 Voyage 대 OpenAI 대 Cohere 임베딩의 1대1 비교.
MTEB 대 MMTEB, 그리고 숫자가 계속 변경되는 이유
MMTEB는 MTEB의 다국어 v2 확장입니다(arXiv 2502.13595, v2는 2025년 4월 8일 발표). 250개 이상의 언어에 걸쳐 500개 이상의 커뮤니티 기반 작업, 장문서, 명령어 따르기 및 코드 검색을 추가합니다. 당신의 RAG가 영어 전용인 경우, 원래의 영어 MTEB 검색 탭이 여전히 읽을 탭입니다. MMTEB는 당신의 쿼리와 문서가 여러 언어에 걸쳐 있을 때 가장 중요합니다.
...