Llama 3.1 8B Instruct
Meta 的 8B 级指令微调文本模型,官方定位多语言对话、工具调用与通用助手场景,支持 128K 上下文。
最后核实:
https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct特点与限制
主要特点
- 官方8B档位,128K上下文,采用GQA
- 官方声明英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语8种支持语言
- 官方卡提供Transformers聊天与工具调用(tools+chat template)示例
- 官方评测表同时提供英语与多语言基准行
使用边界
- 权重需在 Hugging Face 登录并接受 Llama 3.1 Community License;许可为自定义商业许可,含月活超7亿需另行申请等条款,并受可接受使用政策约束。
- 官方基准由Meta内部评测库运行,未披露提示模板、解码参数与权重revision,不能与外部榜单直接横比。
- 官方多语言MMLU显示印地语、泰语等非英语语种明显低于欧洲语种,官方也说明超出8种支持语言时应自行微调与防护,不能把英语成绩外推到中文。
- 模型卡说明该模型应作为系统的一部分部署,并推荐搭配Llama Guard 3等防护组件,但本站未验证这些组件的效果。
- 本站未复现官方评测,也未在设备上运行模型。
模型信息
- 家族与版本
- Llama / 3.1
- 输入与输出
- 文本 → 文本
- 公开参数规模
- 8.03B(以以下来源口径为准)
- 激活 / 有效参数
- 未提供 / 未提供
- 参数口径
- 官方模型卡以8B档位标注该型号;HF权重元数据safetensors张量参数和为8,030,261,248(约8.03B)。未另列激活或有效参数口径。 参数来源
- 原生上下文
- 131,072 tokens
- 扩展上下文
- 未提供
- 语言声明
- 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语;语言支持不代表对应语言的评测水平。
- 权重许可
- Llama 3.1 Community License
- 代码许可
- 未核实
- 训练资料
- 官方模型卡披露:预训练使用约15万亿token的公开来源数据,微调数据包含公开指令数据集与超过2500万条合成样本,知识截止2023年12月;未公开完整可复核的逐样本语料清单。
能力依据
模型变体:指令版;家族与版本:Llama / 3.1
文本生成
MMLU · accuracy(macro_avg/acc)69.4%MMLU · enIFEval · score80.4%IFEval · enGSM8K · exact match(em_maj1@1)84.5%GSM8K · en查看评估与来源收起补充信息
文本生成
官方内部评测库报告MMLU 5-shot为69.4%、IFEval为80.4%、GSM8K 8-shot CoT为84.5%、MATH 0-shot CoT为51.9%;多语言MMLU显示欧洲语种约60-62%,印地语与泰语在50左右。整体处于8B档位的通用助手水平,成绩口径未完整公开。
- 官方在同一张表内并列8B与70B/405B Instruct对照,档位定位可直接查看。
- 英语知识、指令遵循、数学与代码各有独立口径,未混用为单一总分。
- 官方提供多语言MMLU分语种数值,可观察非英语表现的差距。
- 全部成绩由发布方内部评测库运行,未披露提示模板、解码参数与模型revision,不能与外部榜单直接横比。
- IFEval行未注明shot数与指标定义,只能按来源原样记录。
- 多语言MMLU不含中文行;印地语、泰语明显低于英欧语种,官方提示超出8种支持语言时需自行微调与防护。
- 未找到许可明确且确认为独立方的同型号同条件复测;本站未复现任何一项基准。
MMLU · accuracy(macro_avg/acc)
69.4%官方报告 · Meta(模型发布方自报)官方自测
展开评测条件与来源
- 模型标识 / 修订
- meta-llama/Meta-Llama-3.1-8B-Instruct / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- MMLU / 未提供
- 基准 / 报告版本
- 官方模型卡Instruction tuned models表
- Few-shot / 输出上限
- 5 / 未提供 tokens
- 提示模板 / 设置
- 未提供;Meta官方模型卡说明全部结果由内部评测库运行;该表未披露提示模板、解码参数与权重revision,8B Instruct列同时与Llama 3 8B/70B Instruct、Llama 3.1 405B Instruct对照。本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- meta / meta-llama-3-1-8b-instruct-meta-card-instruct-table
- 来源
- https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct
- 来源使用说明
- 引用来源;许可:未提供;仅摘录模型卡中的少量型号成绩并保留发布方署名与来源链接;不复制整表或底层基准数据。 查看说明
- 比较状态
- 不可比:来源使用发布方内部评测库,未披露足以复现和对齐的模型revision、提示模板与解码配置;该结果仅记录原报告口径,不加入跨型号比较组。
IFEval · score
80.4%官方报告 · Meta(模型发布方自报)官方自测
展开评测条件与来源
- 模型标识 / 修订
- meta-llama/Meta-Llama-3.1-8B-Instruct / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- IFEval / 未提供
- 基准 / 报告版本
- 官方模型卡Instruction tuned models表
- Few-shot / 输出上限
- 未提供 / 未提供 tokens
- 提示模板 / 设置
- 未提供;Meta官方模型卡该行的shot数与指标定义未单独标注(表格# Shots与Metric列留空),同表列出Llama 3 8B Instruct为76.8。内部评测库运行,未披露提示模板与解码配置。本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- meta / meta-llama-3-1-8b-instruct-meta-card-instruct-table
- 来源
- https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct
- 来源使用说明
- 引用来源;许可:未提供;仅摘录模型卡中的少量型号成绩并保留发布方署名与来源链接;不复制整表或底层基准数据。 查看说明
- 比较状态
- 不可比:来源使用发布方内部评测库,且该行未注明shot数与指标定义,未披露足以复现和对齐的模型revision与提示模板;该结果仅记录原报告口径,不加入跨型号比较组。
GSM8K · exact match(em_maj1@1)
84.5%官方报告 · Meta(模型发布方自报)官方自测
展开评测条件与来源
- 模型标识 / 修订
- meta-llama/Meta-Llama-3.1-8B-Instruct / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- GSM8K / 未提供
- 基准 / 报告版本
- 官方模型卡Instruction tuned models表(CoT)
- Few-shot / 输出上限
- 8 / 未提供 tokens
- 提示模板 / 设置
- 未提供;Meta官方模型卡8-shot并启用思维链;同表列出Llama 3 8B Instruct为80.6、Llama 3.1 70B Instruct为95.1。内部评测库运行,未披露CoT模板与解码配置。本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- meta / meta-llama-3-1-8b-instruct-meta-card-instruct-table
- 来源
- https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct
- 来源使用说明
- 引用来源;许可:未提供;仅摘录模型卡中的少量型号成绩并保留发布方署名与来源链接;不复制整表或底层基准数据。 查看说明
- 比较状态
- 不可比:来源使用发布方内部评测库,未披露足以复现和对齐的模型revision、CoT模板与解码配置;该结果仅记录原报告口径,不加入跨型号比较组。
MATH · exact match(final_em,CoT)
51.9%官方报告 · Meta(模型发布方自报)官方自测
展开评测条件与来源
- 模型标识 / 修订
- meta-llama/Meta-Llama-3.1-8B-Instruct / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- MATH / 未提供
- 基准 / 报告版本
- 官方模型卡Instruction tuned models表(CoT)
- Few-shot / 输出上限
- 0 / 未提供 tokens
- 提示模板 / 设置
- 未提供;Meta官方模型卡0-shot并启用思维链;同表列出Llama 3 8B Instruct为29.1、Llama 3.1 405B Instruct为73.8。内部评测库运行,未披露CoT模板、答案抽取方式与解码配置。本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- meta / meta-llama-3-1-8b-instruct-meta-card-instruct-table
- 来源
- https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct
- 来源使用说明
- 引用来源;许可:未提供;仅摘录模型卡中的少量型号成绩并保留发布方署名与来源链接;不复制整表或底层基准数据。 查看说明
- 比较状态
- 不可比:来源使用发布方内部评测库,未披露足以复现和对齐的模型revision、CoT模板与答案抽取方式;该结果仅记录原报告口径,不加入跨型号比较组。
代码
HumanEval · pass@172.6%HumanEval · enMBPP++ · pass@172.8%MBPP++(base version) · en查看评估与来源收起补充信息
代码
官方模型卡Code行报告HumanEval 0-shot pass@1为72.6%、MBPP++(base version)0-shot pass@1为72.8%,显示其在该档位的短程序功能正确性水平;这不代表仓库级修改或真实工程任务的成功率。
- 官方对该型号同时报告HumanEval与MBPP++两项代码基准,metric明确为pass@1。
- 同表并列Llama 3 8B Instruct与Llama 3.1 405B Instruct对照值。
- 两项均为函数级短程序基准,与仓库级修改、依赖环境与长上下文代码任务差距较大。
- 内部评测库运行,未披露提示模板、采样参数与判题配置,本站未复现。
- 不能将这些分数与不同提示或不同评测框架的HumanEval结果直接排名。
HumanEval · pass@1
72.6%官方报告 · Meta(模型发布方自报)官方自测
展开评测条件与来源
- 模型标识 / 修订
- meta-llama/Meta-Llama-3.1-8B-Instruct / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- HumanEval / 未提供
- 基准 / 报告版本
- 官方模型卡Instruction tuned models表(Code行)
- Few-shot / 输出上限
- 0 / 未提供 tokens
- 提示模板 / 设置
- 未提供;Meta官方模型卡0-shot pass@1;同表列出Llama 3 8B Instruct为60.4、Llama 3.1 405B Instruct为89.0。内部评测库运行,未披露提示模板、采样与解码配置。本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- meta / meta-llama-3-1-8b-instruct-meta-card-instruct-table
- 来源
- https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct
- 来源使用说明
- 引用来源;许可:未提供;仅摘录模型卡中的少量型号成绩并保留发布方署名与来源链接;不复制整表或底层基准数据。 查看说明
- 比较状态
- 不可比:来源使用发布方内部评测库,未披露足以复现和对齐的模型revision、提示模板与采样配置;该结果仅记录原报告口径,不加入跨型号比较组。
MBPP++ · pass@1
72.8%官方报告 · Meta(模型发布方自报)官方自测
展开评测条件与来源
- 模型标识 / 修订
- meta-llama/Meta-Llama-3.1-8B-Instruct / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- MBPP++(base version) / 未提供
- 基准 / 报告版本
- 官方模型卡Instruction tuned models表(Code行)
- Few-shot / 输出上限
- 0 / 未提供 tokens
- 提示模板 / 设置
- 未提供;Meta官方模型卡0-shot pass@1,表中标注为“MBPP ++ base version”;同表列出Llama 3 8B Instruct为70.6、Llama 3.1 405B Instruct为88.6。内部评测库运行,未披露判题与采样配置。本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- meta / meta-llama-3-1-8b-instruct-meta-card-instruct-table
- 来源
- https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct
- 来源使用说明
- 引用来源;许可:未提供;仅摘录模型卡中的少量型号成绩并保留发布方署名与来源链接;不复制整表或底层基准数据。 查看说明
- 比较状态
- 不可比:来源使用发布方内部评测库,未披露足以复现和对齐的模型revision、判题与采样配置;该结果仅记录原报告口径,不加入跨型号比较组。
运行条件与获取
Transformers
系统支持未提供 · Safetensors · 未指定量化
官方支持;本站尚未进行推理验证。
硬件:未核实。本站未实测;显存与内存占用取决于精度、上下文长度、批大小与运行时,不将参数量或文件体积换算为资源保证。
内存:未核实;显存:未核实。
依赖:transformers>=4.43.0、torch、accelerate(device_map="auto"需要)。
STEP 01 登录并接受许可
该仓库为需要手动确认的受限仓库,需在 Hugging Face 登录并接受 Llama 3.1 Community License 后才能获取权重;本站未执行。
STEP 02 准备运行环境
官方卡要求 transformers >= 4.43.0 才能对该系列做对话推理;官方给出的命令为 pip install --upgrade transformers,此处按终端写法转换为 python -m pip。多卡或自动设备映射需要另装 accelerate。本站未执行安装。
python -m pip install --upgrade transformersSTEP 03 加载模型并生成
按官方示例用 transformers.pipeline("text-generation", model="meta-llama/Meta-Llama-3.1-8B-Instruct", model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto") 加载并以消息列表调用;工具调用可用 tokenizer.apply_chat_template(messages, tools=...) 生成提示。本站未下载权重或执行模型。