Multilingual-E5-Base
基于 xlm-roberta-base 的多语言通用文本嵌入模型(12 层、768 维、约 278M 参数),检索场景需使用 query: 与 passage: 前缀,输入超过 512 tokens 会被截断。
最后核实:
https://huggingface.co/intfloat/multilingual-e5-base特点与限制
主要特点
- 768 维向量、12 层编码器
- 官方声明支持 xlm-roberta 的 100 种语言
- 检索任务使用 query: 与 passage: 前缀(模型卡 FAQ 明确要求)
- 最大输入 512 tokens
- 由 xlm-roberta-base 初始化并在多语数据上持续训练,处于 small 与 large 档位之间的中间规模
使用边界
- 输入超过 512 tokens 会被截断,长文档检索需要自行切分。
- 前缀与训练方式不一致会带来检索性能下降;对称相似度任务官方建议也使用 query: 前缀。
- 官方成绩由发布方运行且未披露评测运行日期,本站未复现。
- MTEB 结果仓库收录有该型号(revision 83519381 等)的多批次社区提交记录,执行者与运行配置未核实,未导入。
模型信息
- 家族与版本
- E5 / Base
- 输入与输出
- 文本 → 向量
- 公开参数规模
- 0.278B(以以下来源口径为准)
- 激活 / 有效参数
- 未提供 / 未提供
- 参数口径
- 官方模型卡标注该型号 12 层、向量维度 768,由 xlm-roberta-base 初始化;模型卡与技术报告均未单列参数量,本记录沿用约 278M 的公开部署口径(与 xlm-roberta-base 同量级),核对当日 HF 仓库张量合计 278,044,162(约 278.0M),未从权重文件大小反推。 参数来源
- 原生上下文
- 512 tokens
- 扩展上下文
- 未提供
- 语言声明
- 多语言(官方声明支持 xlm-roberta 的 100 种语言;低资源语言可能出现性能下降);语言支持不代表对应语言的评测水平。
- 权重许可
- MIT
- 代码许可
- 未核实
- 训练资料
- 模型卡披露两阶段训练:弱监督对比预训练(Filtered mC4 约 1B 对、CC News 400M、NLLB 翻译对 2.4B、Wikipedia 150M、Filtered Reddit 800M、S2ORC 100M、Stackexchange 50M、xP3 80M 等)与监督微调(MS MARCO、NQ、Trivia QA、ELI5、DuReader、KILT、MIRACL 16 语言、Mr. TyDi 11 语言等,且只用各数据集的训练集);未公开可直接复核的完整原始语料。
能力依据
模型变体:专用版;家族与版本:E5 / Base
向量检索
Mr. TyDi · Avg MRR@1065.9分(0–100)Mr. TyDi(11 种语言的检索数据集) · 多语言(11 种语言)MIRACL · nDCG@1062.3分(0–100)MIRACL dev set(16 种语言的检索子集) · 多语言(16 种语言)MTEB · 任务集平均分59.5分(0–100)MTEB(英文部分任务集,56 datasets) · 英语查看评估与来源收起补充信息
向量检索
发布方公开成绩:模型卡报告 Mr. TyDi 平均 MRR@10 为 65.9;多语 E5 技术报告(arXiv:2402.05672,称 small/base/large 于 2023 年年中发布)报告 MIRACL dev 集平均 nDCG@10 为 62.3、MTEB 英文部分平均分 59.5。三项均为发布方运行;512 tokens 截断是部署时的主要限制。
- 模型卡与同名技术报告分别给出检索(Mr. TyDi、MIRACL)与通用任务集(MTEB 英文)成绩,且同表列出 small/large 档位对照。
- 模型卡披露弱监督预训练与监督微调的数据集构成及规模。
- 官方 FAQ 明确说明 query:/passage: 前缀的使用规则。
- 所有数值由模型发布方运行,未找到许可明确且确认为独立方的同型号结果;MTEB 结果仓库虽有该型号记录,但执行者与运行配置未在本批次核实。
- 来源未披露评测运行日期、模型 revision 与硬件条件,本站未复现。
- 512 tokens 输入上限限制长文档与长查询场景;报告数值不覆盖中文等单语细分。
Mr. TyDi · Avg MRR@10
65.9 分(0–100)官方报告 · intfloat(模型发布方)官方自测
展开评测条件与来源
- 模型标识 / 修订
- intfloat/multilingual-e5-base / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- Mr. TyDi(11 种语言的检索数据集) / 未提供
- 基准 / 报告版本
- 模型卡 Benchmark Results on Mr. TyDi 表
- Few-shot / 输出上限
- 未提供 / 未提供 tokens
- 提示模板 / 设置
- 未提供;模型卡 Mr. TyDi 表列出 multilingual-e5-base 平均 MRR@10 为 65.9,并给出逐语言结果(如 ar 72.3、te 86.6、th 72.7);同表 multilingual-e5-small 为 64.4、multilingual-e5-large 为 70.5。该表未标注模型 revision、评测运行日期与硬件条件;本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- intfloat / intfloat-multilingual-e5-model-card
- 来源
- https://huggingface.co/intfloat/multilingual-e5-base
- 来源使用说明
- 引用来源;许可:未提供;仅引用官方模型卡表中的少量成绩并保留来源链接;不复制整表或基准数据,Mr. TyDi 等基准与数据集继续适用各自许可。 查看说明
- 比较状态
- 不可比:来源未披露足以复现和统一对齐的完整模型 revision、编码配置与运行条件;该结果仅记录发布方模型卡口径,不加入跨型号比较组。
MIRACL · nDCG@10
62.3 分(0–100)官方报告 · Microsoft E5 团队(模型发布方)官方自测
展开评测条件与来源
- 模型标识 / 修订
- intfloat/multilingual-e5-base / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- MIRACL dev set(16 种语言的检索子集) / dev
- 基准 / 报告版本
- Multilingual E5 技术报告 Table 6(arXiv v1)
- Few-shot / 输出上限
- 未提供 / 未提供 tokens
- 提示模板 / 设置
- 未提供;技术报告 Table 6(nDCG@10 与 R@100,MIRACL dev 集)报告 mE5-base 平均 nDCG@10 为 62.3(同表 R@100 为 93.1;mE5-small 60.8、mE5-large 66.5、mE5-large-instruct 65.7;Table 4 为多模型对照)。报告未披露模型 revision、评测运行日期与硬件条件;本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- microsoft-e5-team / microsoft-e5-multilingual-report-2024
- 来源
- https://arxiv.org/html/2402.05672v1
- 来源使用说明
- 引用来源;许可:未提供;仅引用技术报告中的少量评测事实并保留作者与来源链接;不复制报告表格或基准数据,MIRACL 等基准继续适用各自许可。 查看说明
- 比较状态
- 不可比:来源未披露足以复现和统一对齐的完整模型 revision、编码配置与运行条件;该结果仅记录原技术报告口径,不加入跨型号比较组。
MTEB · 任务集平均分
59.5 分(0–100)官方报告 · Microsoft E5 团队(模型发布方)官方自测
展开评测条件与来源
- 模型标识 / 修订
- intfloat/multilingual-e5-base / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- MTEB(英文部分任务集,56 datasets) / 未提供
- 基准 / 报告版本
- Multilingual E5 技术报告 Table 3(arXiv v1)
- Few-shot / 输出上限
- 未提供 / 未提供 tokens
- 提示模板 / 设置
- 未提供;技术报告 Table 3(MTEB 英文部分,56 datasets)报告 mE5-base 平均分为 59.5(同表 mE5-small 57.9、mE5-large 61.5、LaBSE 45.2、BGE large-en-v1.5 64.2)。报告说明该分数是所列任务集的平均,未披露使用的 MTEB 版本、评测运行日期与硬件条件;本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- microsoft-e5-team / microsoft-e5-multilingual-report-2024
- 来源
- https://arxiv.org/html/2402.05672v1
- 来源使用说明
- 引用来源;许可:未提供;仅引用技术报告中的少量评测事实并保留作者与来源链接;不复制报告表格或基准数据,MTEB 等基准继续适用各自许可。 查看说明
- 比较状态
- 不可比:任务集平均分口径且来源未披露完整模型 revision、MTEB 版本与运行条件;该结果仅记录原技术报告口径,不加入跨型号比较组。
运行条件与获取
Sentence Transformers
系统支持未提供 · Safetensors / PyTorch(官方仓库同时提供 ONNX 等导出格式) · 未指定量化
官方支持;本站尚未进行推理验证。
硬件:未核实。本站未实测;内存、显存和速度取决于运行时、精度、输入长度与硬件,不将参数量或文件大小换算为资源保证。
内存:未核实;显存:未核实。
依赖:sentence-transformers。
STEP 01 安装依赖
模型卡 Package requirements 给出的安装命令(示例带旧版版本约束,实际版本需与目标环境匹配)。
pip install sentence_transformers~=2.2.2STEP 02 加载模型并编码
按模型卡示例用 SentenceTransformer 加载 intfloat/multilingual-e5-base;每条文本需按训练口径加 query: 或 passage: 前缀;本站未下载权重或执行模型,需在目标设备验证。