NVIDIA-Nemotron-Nano-9B-v2
NVIDIA训练的Mamba2-Transformer混合推理模型；支持运行时思考预算控制，官方称128K上下文，面向英语与代码场景。
最后核实：
https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2特点与限制
主要特点
- Mamba-2与MLP为主的混合架构，仅含4层Attention（Nemotron-H结构）
- 支持运行时思考预算控制（max_thinking_tokens，经聊天接口）
- 官方给出Transformers、TRT-LLM、vLLM、NeMo与Docker等多条部署路线
- 技术报告摘要称可在单张A10G（22GiB、bfloat16）上处理至128K token
使用边界
- 模型卡评测均为NVIDIA使用NeMo-Skills自测，本轮未找到独立第三方复测。
- vLLM部署须加--mamba_ssm_cache_dtype float32，官方称否则精度可能下降。
- 思考（Reasoning On）与非思考模式成绩不同；RULER为Reasoning-Off，其余基准为Reasoning-On。
- 本站未部署或复现评测。
模型信息
- 家族与版本
- Nemotron / Nano-9B-v2
- 输入与输出
- 文本 → 文本
- 公开参数规模
- 9B（以以下来源口径为准）
- 激活 / 有效参数
- 未提供 / 未提供
- 参数口径
- 官方型号名称为9B档位；HF模型页元数据显示Model size 9B params（仓库张量统计口径），模型卡正文未单列精确总参数与非嵌入参数；官方技术报告摘要说明先预训练12B参数基座（Nemotron-Nano-12B-v2-Base）。不据此推断更细参数组成。 参数来源
- 原生上下文
- 131,072 tokens
- 扩展上下文
- 未提供
- 语言声明
- 英语、德语、西班牙语、法语、意大利语、日语（模型卡Use Case与元数据列明）、模型卡Input节另提及韩语、葡萄牙语、俄语与中文；语言支持不代表对应语言的评测水平。
- 权重许可
- NVIDIA Open Model License
- 代码许可
- 未核实
- 训练资料
- 模型卡元数据列出使用的NVIDIA自建数据集族（Nemotron-Pretraining/Post-Training/CC/Math/SFT等），并注明预训练数据截止2024年9月；未提供完整逐样本清单。
能力依据
模型变体：指令版；家族与版本：Nemotron / Nano-9B-v2
文本生成
AIME25 · accuracy72.1%AIME 2025 · en · 思考开启GPQA · accuracy64%GPQA · en · 思考开启RULER · accuracy78.9%RULER (128K) · en · 思考关闭查看评估与来源收起补充信息
文本生成
AIME25 · accuracy72.1%AIME 2025 · en · 思考开启
GPQA · accuracy64%GPQA · en · 思考开启
RULER · accuracy78.9%RULER (128K) · en · 思考关闭
官方卡（Reasoning On）列出AIME25 72.1%、GPQA 64.0%，并单列RULER (128K) 78.9%（Reasoning-Off），另有MATH500 97.8%、IFEval 90.3%等维度；全部为NVIDIA用NeMo-Skills自测，本轮未找到独立复测。
已有依据支持
- 官方评测使用NeMo-Skills并公开可复现教程链接。
- 同时报告长上下文（RULER 128K）与推理/知识基准。
证据限制
- 厂商自测；无独立第三方复测可交叉核实。
- 各基准的提示、采样与输出预算未完整披露。
- 本站未复现。
AIME25 · accuracy
72.1%官方报告 · NVIDIA官方自测
展开评测条件与来源
- 模型标识 / 修订
- nvidia/NVIDIA-Nemotron-Nano-9B-v2 / 未提供
- 思考模式
- 启用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- AIME 2025 / 未提供
- 基准 / 报告版本
- 官方模型卡Benchmark Results（NeMo-Skills）
- Few-shot / 输出上限
- 未提供 / 未提供 tokens
- 提示模板 / 设置
- 未提供；官方模型卡Benchmark Results（Reasoning On）列出NVIDIA-Nemotron-Nano-9B-v2的AIME25为72.1%（对照列Qwen3-8B 69.3%）；全部评测使用NeMo-Skills并公开复现教程。卡中未披露该行的提示模板、采样与输出预算；本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- nvidia / nvidia-nemotron-nano-9b-v2-model-card-nemo-skills-2025
- 来源
- https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2
- 来源使用说明
- 引用来源；许可：未提供；仅摘录少量评测事实并署名链接，不覆盖模型卡原文或NeMo-Skills工具许可。 查看说明
- 比较状态
- 不可比：官方卡未逐项标注该成绩的模型revision、提示模板、采样与输出预算；原样记录，不与配置不同的结果直接排名。
GPQA · accuracy
64%官方报告 · NVIDIA官方自测
展开评测条件与来源
- 模型标识 / 修订
- nvidia/NVIDIA-Nemotron-Nano-9B-v2 / 未提供
- 思考模式
- 启用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- GPQA / 未提供
- 基准 / 报告版本
- 官方模型卡Benchmark Results（NeMo-Skills）
- Few-shot / 输出上限
- 未提供 / 未提供 tokens
- 提示模板 / 设置
- 未提供；官方模型卡Benchmark Results（Reasoning On）列出NVIDIA-Nemotron-Nano-9B-v2的GPQA为64.0%（对照列Qwen3-8B 59.6%）。卡中未披露该行的提示模板、采样与输出预算；本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- nvidia / nvidia-nemotron-nano-9b-v2-model-card-nemo-skills-2025
- 来源
- https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2
- 来源使用说明
- 引用来源；许可：未提供；仅摘录少量评测事实并署名链接，不覆盖模型卡原文或NeMo-Skills工具许可。 查看说明
- 比较状态
- 不可比：官方卡未逐项标注该成绩的模型revision、提示模板、采样与输出预算；原样记录，不与配置不同的结果直接排名。
RULER · accuracy
78.9%官方报告 · NVIDIA官方自测
展开评测条件与来源
- 模型标识 / 修订
- nvidia/NVIDIA-Nemotron-Nano-9B-v2 / 未提供
- 思考模式
- 关闭
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- RULER (128K) / 未提供
- 基准 / 报告版本
- 官方模型卡Benchmark Results（NeMo-Skills）
- Few-shot / 输出上限
- 未提供 / 未提供 tokens
- 提示模板 / 设置
- 未提供；官方模型卡Benchmark Results列出NVIDIA-Nemotron-Nano-9B-v2的RULER (128K)为78.9%（对照列Qwen3-8B 74.1%）；模型卡明确RULER在Reasoning-Off模式评测，其余基准为Reasoning-On。卡中未披露该行的提示模板与采样；本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- nvidia / nvidia-nemotron-nano-9b-v2-model-card-nemo-skills-2025
- 来源
- https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2
- 来源使用说明
- 引用来源；许可：未提供；仅摘录少量评测事实并署名链接，不覆盖模型卡原文或NeMo-Skills工具许可。 查看说明
- 比较状态
- 不可比：官方卡未逐项标注该成绩的模型revision、提示模板与采样，且该行使用Reasoning-Off模式；原样记录，不与配置不同的结果直接排名。
代码
LiveCodeBench · score71.1%LCB（官方卡缩写） · code · 思考开启查看评估与来源收起补充信息
代码
LiveCodeBench · score71.1%LCB（官方卡缩写） · code · 思考开启
官方卡（Reasoning On）列出LCB 71.1%（对照Qwen3-8B 59.5%）。卡中未注明LiveCodeBench版本、题目窗口与指标定义，不能保证真实仓库任务表现。
已有依据支持
- 官方给出该型号的代码生成基准成绩并通过NeMo-Skills复现教程公开。
证据限制
- LiveCodeBench版本、题目窗口与指标定义未注明。
- 竞赛题成绩不能替代仓库级工程验证。
- 本站未执行代码验证。
LiveCodeBench · score
71.1%官方报告 · NVIDIA官方自测
展开评测条件与来源
- 模型标识 / 修订
- nvidia/NVIDIA-Nemotron-Nano-9B-v2 / 未提供
- 思考模式
- 启用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- LCB（官方卡缩写） / 未提供
- 基准 / 报告版本
- 官方模型卡Benchmark Results（NeMo-Skills）
- Few-shot / 输出上限
- 未提供 / 未提供 tokens
- 提示模板 / 设置
- 未提供；官方模型卡Benchmark Results（Reasoning On）列出NVIDIA-Nemotron-Nano-9B-v2的LCB为71.1%（对照列Qwen3-8B 59.5%）；卡中仅列百分比，未注明LiveCodeBench版本、题目窗口与指标定义；本站未复现。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 官方自测
- 来源标识 / 评测批次
- nvidia / nvidia-nemotron-nano-9b-v2-model-card-nemo-skills-2025
- 来源
- https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2
- 来源使用说明
- 引用来源；许可：未提供；仅摘录少量评测事实并署名链接，不覆盖模型卡原文或NeMo-Skills工具许可。 查看说明
- 比较状态
- 不可比：官方卡未注明该成绩的LiveCodeBench版本、题目窗口与指标定义，也未披露模型revision与提示配置；原样记录，不与配置不同的结果直接排名。
运行条件与获取
Transformers
系统支持未提供 · Safetensors · 未指定量化
官方支持；本站尚未进行推理验证。
硬件：未核实。本站未实测；显存与吞吐取决于精度、上下文与并发；官方标注支持硬件为A10G/H100-80GB/A100/Jetson AGX Thor，操作系统为Linux。
内存：未核实；显存：未核实。
依赖：transformers（官方示例测试于4.48.3）、torch。
STEP 01 按官方示例加载模型
官方示例用AutoModelForCausalLM加载并设置torch_dtype=bfloat16、trust_remote_code=True；系统提示使用/think或/no_think控制推理，官方建议reasoning开启时temperature=0.6、top_p=0.95，关闭时使用贪心搜索。本站未执行。
vLLM
系统支持未提供 · Safetensors · 未指定量化
官方支持；本站尚未进行推理验证。
硬件：未核实。本站未实测；显存与吞吐取决于上下文、并发与Mamba cache dtype，不将参数量换算为资源保证。
内存：未核实；显存：未核实。
依赖：vllm>=0.10.1。
STEP 01 安装vLLM
官方给出的vLLM安装命令（vllm>=0.10.1）。本站未执行。
pip install -U "vllm>=0.10.1"STEP 02 启动OpenAI兼容服务
官方启动命令；必须保留--mamba_ssm_cache_dtype float32以保证精度，遇到CUDA OOM时可降低--max-num-seqs（官方示例64）。本站未执行。
vllm serve nvidia/NVIDIA-Nemotron-Nano-9B-v2 --trust-remote-code --max-num-seqs 64 --mamba_ssm_cache_dtype float32