Whisper large-v3
Whisper系列约1.55B的多语言语音识别与语音翻译权重,在large-v2基础上改用128个梅尔频段输入并新增粤语语言标识。
最后核实:
https://huggingface.co/openai/whisper-large-v3特点与限制
主要特点
- 约1550M参数
- 频谱输入由80个梅尔频段改为128个
- 新增粤语(Cantonese)语言标识
- 多语言转写与翻译到英语(官方说明多语言模型同时训练转写与翻译)
- 支持时间戳预测与长音频分块处理
使用边界
- 30秒音频窗口不是token上下文,长音频需按官方分块流程处理。
- 官方模型卡未单独报告该型号的绝对WER或CER数值;仅以相对口径说明较large-v2“错误率降低10%到20%”,该相对描述不能当成分数或用于直接横比。
- 原论文(2022)的评测不包含large-v3,官方未发布large-v3在FLEURS、Common Voice等基准上的单列成绩。
- 弱监督训练使模型可能输出音频中未出现的文本(幻觉)并可能出现重复输出,低资源语言更明显。
- 本站未在自有音频上验证识别准确率、时间戳或长音频分块效果;Open ASR榜单记录也不含中文项。
模型信息
- 家族与版本
- Whisper / large-v3
- 输入与输出
- 音频 → 文本
- 公开参数规模
- 1.55B(以以下来源口径为准)
- 激活 / 有效参数
- 未提供 / 未提供
- 参数口径
- 官方模型卡参数表列large-v3为1550M;HF权重元数据safetensors张量参数和为1,543,490,560(约1.543B)。不是权重文件体积。 参数来源
- 原生上下文
- 不适用
- 扩展上下文
- 不适用
- 语言声明
- 多语言(HF模型卡列出99种语言标识,含中文);语言支持不代表对应语言的评测水平。
- 权重许可
- Apache-2.0
- 代码许可
- MIT
- 训练资料
- 模型卡说明large-v3以100万小时弱标注音频与400万小时由Whisper large-v2生成的伪标注音频训练,训练2.0个epoch;Whisper系列更早型号以超过500万小时弱标注音频训练。未提供完整逐样本可复核的训练语料清单。
能力依据
模型变体:专用版;家族与版本:Whisper / large-v3
语音识别
Open ASR Leaderboard(英文短音频平均) · WER(平均值)7.84%AMI-Cleaned、Earnings22-Cleaned-AA-chunked、GigaSpeech-Cleaned、LibriSpeech clean/other、SPGISpeech、URGENT24、Voice Arena Monsoon、VoxPopuli-AA-Cleaned 等默认集 · en查看评估与来源收起补充信息
语音识别
Open ASR Leaderboard(英文短音频平均) · WER(平均值)7.84%AMI-Cleaned、Earnings22-Cleaned-AA-chunked、GigaSpeech-Cleaned、LibriSpeech clean/other、SPGISpeech、URGENT24、Voice Arena Monsoon、VoxPopuli-AA-Cleaned 等默认集 · en
官方模型卡未单独报告large-v3的绝对WER,只说明较large-v2错误率降低10%到20%;Open ASR Leaderboard的english_short_latest.csv列出该多语言型号英文短音频平均WER 7.84%,提供了第三方榜单转写准确率记录。该行分项与评测条件未完整公开,评测者与OpenAI的关系也未核实,不能视作独立复现;中文等语种无来源记录。
已有依据支持
- 榜单由Hugging Face audio维护,公开结果CSV并在数据集中保留文件版本。
- 该行明确对应多语言openai/whisper-large-v3权重,不是英语专用的.en变体,且列出各数据集分项WER。
证据限制
- 官方模型卡没有该型号的绝对WER/CER成绩;原论文评测不含large-v3,官方的“错误率降低10%到20%”仅为相对large-v2的描述。
- 榜单行未披露模型revision、解码参数与硬件,且平均值随榜单数据集版本变化,不能与论文或其他榜单的WER直接比较。
- 无法确认评测者与模型发布方的独立性。
- 本站未在自有音频上验证识别准确率、时间戳或长音频分块效果。
Open ASR Leaderboard(英文短音频平均) · WER(平均值)
7.84%第三方评测 · Hugging Face(Open ASR Leaderboard 维护团队)独立性待确认
展开评测条件与来源
- 模型标识 / 修订
- openai/whisper-large-v3 / 未提供
- 思考模式
- 不适用
- 量化 / 运行时
- 未提供 / 未提供
- 数据集 / 划分
- AMI-Cleaned、Earnings22-Cleaned-AA-chunked、GigaSpeech-Cleaned、LibriSpeech clean/other、SPGISpeech、URGENT24、Voice Arena Monsoon、VoxPopuli-AA-Cleaned 等默认集 / test(各数据集测试集)
- 基准 / 报告版本
- Open ASR Leaderboard english_short_latest.csv(2026-10-17核对,文件版本3f2c58c1)
- Few-shot / 输出上限
- 0 / 未提供 tokens
- 提示模板 / 设置
- 未提供;榜单维护方发布的英文短音频平均WER(english_short_latest.csv);CSV原值7.841428571428572,本记录按两位小数记为7.84,本站未重新计算。公开行同时列出各数据集分项WER(如LibriSpeech clean 1.56%、LibriSpeech other 3.52%);评测对象为openai/whisper-large-v3多语言权重,不是.en变体;该行未披露具体硬件、解码参数与模型revision。
- 评测日期 / 核实日期
- 未提供 / 2026-10-17
- 评测身份
- 独立性待确认
- 来源标识 / 评测批次
- hf-audio-open-asr-leaderboard / open-asr-leaderboard-2026-10-15-en-short
- 来源
- https://huggingface.co/spaces/hf-audio/open_asr_leaderboard
- 来源使用说明
- 引用来源;许可:未提供;仅引用榜单公开的少量汇总成绩并保留链接;仓库代码为 Apache-2.0,但结果数据与评测语料的许可未单独确认,不视为已获开放数据再分发授权。 查看说明
- 比较状态
- 不可比:该行未披露模型revision、解码配置与具体硬件,数据集版本也与其他论文或榜单不同;不加入比较组。
运行条件与获取
Transformers
系统支持未提供 · Safetensors · 未指定量化
官方支持;本站尚未进行推理验证。
硬件:未核实。本站未实测;内存、显存和速度取决于精度、批大小、音频长度、运行时与硬件,不将参数量或文件大小换算为资源保证。
内存:未核实;显存:未核实。
依赖:transformers、torch、datasets[audio](官方示例用于载入样例音频)、accelerate。
STEP 01 安装 Python 依赖
官方模型卡Usage章节给出的安装命令,本站未执行该命令。
pip install --upgrade transformers datasets[audio] accelerateSTEP 02 加载指定模型
按同页示例用AutoModelForSpeechSeq2Seq与pipeline加载此模型转写音频;长音频使用官方chunked long-form流程。本站未下载权重或执行模型,需在目标设备验证。