SmolLM2-1.7B-Instruct
Hugging Face 的 1.7B 档位指令模型,主打端侧运行,支持改写、摘要与函数调用等轻量任务。
最后核实:
https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct特点与限制
主要特点
- 1.7B档位,训练上下文扩展到8K(论文4.6节)
- 官方卡提供Transformers、TRL CLI与Transformers.js三种运行示例
- 官方卡给出函数调用的系统提示与工具调用解析示例
- SFT+DPO对齐,SFT数据集SmolTalk公开
使用边界
- 官方说明主要面向英语,其他语言能力未声明。
- 官方卡引用的BFCL 27%为第三方榜单数值,本站未按该榜单口径核实,未作为评测记录导入。
- 模型卡也提示生成内容可能不准确、不一致或带训练数据偏见,需自行核验重要信息。
- 官方模型卡的指令版评测表没有代码基准行;本条目收录的HumanEval来自论文表,论文与模型卡的GSM8K等数值存在小版本差异,均已注明来源。
- 本站未复现评测,也未在设备上运行模型。
模型信息
- 家族与版本
- SmolLM / 2
- 输入与输出
- 文本 → 文本
- 公开参数规模
- 1.7B(以以下来源口径为准)
- 激活 / 有效参数
- 未提供 / 未提供
- 参数口径
- 官方模型卡将1.7B列为该家族三档规模之一(135M/360M/1.7B);HF权重元数据safetensors张量参数和为1,711,376,384(约1.71B)。未另列激活或有效参数口径。 参数来源
- 原生上下文
- 8,192 tokens
- 扩展上下文
- 未提供
- 语言声明
- 英语(官方说明主要理解和生成英语内容;模型卡未声明其他语言支持);语言支持不代表对应语言的评测水平。
- 权重许可
- Apache-2.0
- 代码许可
- 未核实
- 训练资料
- 官方模型卡披露:1.7B在11万亿token上预训练,数据混合包括FineWeb-Edu、DCLM、The Stack及官方整理的新数学与代码数据集;指令版经SmolTalk(公开数据与自建数据)SFT,并基于UltraFeedback做DPO;训练使用256张H100与nanotron/alignment-handbook;未提供完整逐样本语料清单。
能力依据
模型变体:指令版;家族与版本:SmolLM / 2
文本生成
IFEval · score(Average prompt/inst)56.7%IFEval · enMMLU-Pro(MCF) · score(MCF)19.3%MMLU-Pro · enGSM8K · score48.2%GSM8K · en查看评估与来源收起补充信息
文本生成
官方模型卡报告IFEval为56.7%、MMLU-Pro(MCF)为19.3%、GSM8K 5-shot为48.2%、MT-Bench为6.13,同表与Llama 3.2 1B Instruct、Qwen2.5-1.5B-Instruct对照。整体表现为1.7B档位的英语助手水平,指令遵循与数学相对突出,知识宽度有限。
- 官方卡在同一表内并列同档位对照模型,定位可直接查看并说明使用lighteval与zero-shot口径。
- 指令遵循、知识问答、数学与对话分别有独立口径,未合成为单一总分。
- 卡上给出改写、摘要与函数调用的示例提示。
- 官方卡未披露权重revision、提示模板、生成预算与完整解码配置,不能与外部榜单直接横比。
- MMLU-Pro(MCF)与GSM8K等数值存在论文(48.8)与模型卡(48.2)的小版本差异,本条目按模型卡口径记录。
- 模型卡说明其内容可能不准确、不一致或带训练数据偏见,重要信息需自行核验。
- 未找到许可明确且确认为独立方的同型号条件对齐复测;本站未复现任何一项基准。
IFEval · score(Average prompt/inst)
56.7%官方报告 · HuggingFaceTB(模型发布方自报)官方自测
展开评测条件与来源
- 模型标识 / 修订
- HuggingFaceTB/SmolLM2-1.7B-Instruct / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- IFEval / 未提供
- 基准 / 报告版本
- 官方模型卡Instruction Model表
- Few-shot / 输出上限
- 0 / 未提供 tokens
- 提示模板 / 设置
- 未提供;官方卡说明全部评测使用lighteval且除非另注为zero-shot;同表列出Llama 3.2 1B Instruct 53.5、Qwen2.5-1.5B-Instruct 47.4。模型卡未披露提示模板、生成预算与解码配置。本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- huggingfacetb / smollm2-1-7b-instruct-card-instruct-table
- 来源
- https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct
- 来源使用说明
- 引用来源;许可:未提供;仅摘录少量官方评测事实并署名链接;模型权重Apache-2.0不代表评测表数据自动采用相同许可。 查看说明
- 比较状态
- 不可比:官方卡未披露权重revision、提示模板、生成预算及完整解码条件;该结果仅记录原报告口径,不加入跨型号比较组。
MMLU-Pro(MCF) · score(MCF)
19.3%官方报告 · HuggingFaceTB(模型发布方自报)官方自测
展开评测条件与来源
- 模型标识 / 修订
- HuggingFaceTB/SmolLM2-1.7B-Instruct / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- MMLU-Pro / 未提供
- 基准 / 报告版本
- 官方模型卡Instruction Model表
- Few-shot / 输出上限
- 0 / 未提供 tokens
- 提示模板 / 设置
- 未提供;官方卡以MMLU-Pro(MCF)口径列出19.3;同表Llama 3.2 1B Instruct 12.7、Qwen2.5-1.5B-Instruct 24.2。评测使用lighteval且除非另注为zero-shot,未披露提示模板与解码配置。本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- huggingfacetb / smollm2-1-7b-instruct-card-instruct-table
- 来源
- https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct
- 来源使用说明
- 引用来源;许可:未提供;仅摘录少量官方评测事实并署名链接;模型权重Apache-2.0不代表评测表数据自动采用相同许可。 查看说明
- 比较状态
- 不可比:官方卡未披露权重revision、提示模板、生成预算及完整解码条件;该结果仅记录原报告口径,不加入跨型号比较组。
GSM8K · score
48.2%官方报告 · HuggingFaceTB(模型发布方自报)官方自测
展开评测条件与来源
- 模型标识 / 修订
- HuggingFaceTB/SmolLM2-1.7B-Instruct / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- GSM8K / 未提供
- 基准 / 报告版本
- 官方模型卡Instruction Model表(5-shot)
- Few-shot / 输出上限
- 5 / 未提供 tokens
- 提示模板 / 设置
- 未提供;官方卡标注为5-shot;同表Llama 3.2 1B Instruct 26.8、Qwen2.5-1.5B-Instruct 42.8。评测使用lighteval,未披露采样与答案抽取配置。本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- huggingfacetb / smollm2-1-7b-instruct-card-instruct-table
- 来源
- https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct
- 来源使用说明
- 引用来源;许可:未提供;仅摘录少量官方评测事实并署名链接;模型权重Apache-2.0不代表评测表数据自动采用相同许可。 查看说明
- 比较状态
- 不可比:官方卡未披露权重revision、提示模板、生成预算及完整解码条件;该结果仅记录原报告口径,不加入跨型号比较组。
MT-Bench · score
6.13 分(报告口径)官方报告 · HuggingFaceTB(模型发布方自报)官方自测
展开评测条件与来源
- 模型标识 / 修订
- HuggingFaceTB/SmolLM2-1.7B-Instruct / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- MT-Bench / 未提供
- 基准 / 报告版本
- 官方模型卡Instruction Model表
- Few-shot / 输出上限
- 未提供 / 未提供 tokens
- 提示模板 / 设置
- 未提供;官方卡列出MT-Bench 6.13;同表Llama 3.2 1B Instruct 5.48、Qwen2.5-1.5B-Instruct 6.52。模型卡未说明裁判模型、评分提示与生成预算。本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- huggingfacetb / smollm2-1-7b-instruct-card-instruct-table
- 来源
- https://huggingface.co/HuggingFaceTB/SmolLM2-1.7B-Instruct
- 来源使用说明
- 引用来源;许可:未提供;仅摘录少量官方评测事实并署名链接;模型权重Apache-2.0不代表评测表数据自动采用相同许可。 查看说明
- 比较状态
- 不可比:官方卡未披露裁判配置、权重revision、提示模板与生成预算;该结果仅记录原报告口径,不加入跨型号比较组。
代码
HumanEval · score28.1%HumanEval · en查看评估与来源收起补充信息
代码
SmolLM2论文Table 5报告指令版HumanEval为28.1%,同表Llama3.2-1B为33.5%、Qwen2.5-1.5B为30.5;官方模型卡的指令版评测表本身没有代码行,代码能力证据只来自论文表格。
- 论文给出该指令版的HumanEval数值,并与同档位模型并列对照。
- 论文未披露提示模板、采样与判题配置,无法与外部HumanEval结果对齐比较。
- 28.1%的短程序功能正确率不代表仓库级代码任务能力。
- 官方模型卡未收录该代码成绩,卡片后续更新也未补充代码行。
- 本站未运行模型或复核生成代码。
HumanEval · score
28.1%官方报告 · HuggingFaceTB(论文作者自报)官方自测
展开评测条件与来源
- 模型标识 / 修订
- HuggingFaceTB/SmolLM2-1.7B-Instruct / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- HumanEval / 未提供
- 基准 / 报告版本
- SmolLM2论文Table 5(1-2B指令模型对比)
- Few-shot / 输出上限
- 未提供 / 未提供 tokens
- 提示模板 / 设置
- 未提供;SmolLM2论文5.4节说明为最终指令版SmolLM2与Qwen2.5-1.5B-Instruct、Llama3.2-1B-Instruct的对比表(列名省略了-Instruct后缀);同表列出Llama3.2-1B为33.5、Qwen2.5-1.5B为30.5。论文未披露该行提示模板、采样与输出预算。本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- huggingfacetb / smollm2-1-7b-instruct-paper-table5
- 来源
- https://arxiv.org/abs/2502.02737
- 来源使用说明
- 引用来源;许可:未提供;仅引用SmolLM2论文中的少量成绩事实并保留出处链接;不复制论文表格或图像。 查看说明
- 比较状态
- 不可比:论文未披露该行的权重revision、提示模板、采样与输出预算配置;该结果仅记录原报告口径,不加入跨型号比较组。
运行条件与获取
Transformers
系统支持未提供 · Safetensors · 未指定量化
官方支持;本站尚未进行推理验证。
硬件:未核实。本站未实测;内存、显存与速度取决于精度、输入长度、运行时与硬件,不将参数量或文件体积换算为资源保证。
内存:未核实;显存:未核实。
依赖:transformers、torch、accelerate(多卡device_map需要,可选)。
STEP 01 准备运行环境
官方卡给出的安装命令为 pip install transformers,此处按终端写法转换为 python -m pip。本站未执行安装。
python -m pip install -U transformersSTEP 02 加载模型并生成
按官方示例用 AutoModelForCausalLM 与 AutoTokenizer 从 HuggingFaceTB/SmolLM2-1.7B-Instruct 加载,并用 apply_chat_template 构造消息;多GPU时需另装accelerate并使用device_map。本站未下载权重或执行模型。
TRL CLI
系统支持未提供 · Safetensors · 未指定量化
官方支持;本站尚未进行推理验证。
硬件:未核实。本站未实测;CPU对话的内存与速度取决于实现与机器配置,不将参数量或文件体积换算为资源保证。
内存:未核实;显存:未核实。
依赖:trl。
STEP 01 安装TRL
官方卡的终端聊天示例给出 pip install trl,此处按终端写法转换为 python -m pip。本站未执行安装。
python -m pip install -U trlSTEP 02 启动终端聊天
按官方示例在终端与模型对话;官方命令使用CPU设备,实际设备需按机器情况调整。本站未执行。
trl chat --model_name_or_path HuggingFaceTB/SmolLM2-1.7B-Instruct --device cpu