从官方指引开始部署

核对具体型号、运行环境、许可与硬件条件,再使用模型对应的官方快速开始。

本站目前整理了官方支持的部署路线,尚未对这些模型进行本机推理验证。请在模型详情中查看对应来源和验证状态。

1. 核对具体型号与许可

确认模型名称、版本及 Base / Instruct 变体。下载前阅读权重许可和运行软件许可;社区量化版本还需要核对其制作方与原始模型来源。

2. 选择对应工具链

文本、视觉、向量、语音和 OCR 模型使用的工具链不同。优先使用详情页链接的官方快速开始,核对当前依赖版本、输入格式与模型模板。

下载模型权重会占用额外磁盘空间。本站不托管模型权重。

3. 检查运行条件

权重文件体积不能直接等同于运行内存。上下文长度、量化、输入图片或音频、缓存与并发会影响资源消耗。

硬件标注为“未核实”时,本站没有可确认的内存或显存需求,不应视为能在任意设备运行。

4. 使用官方最小示例

先在独立环境运行官方示例,确认模型加载和输出正确,再接入自己的应用。详情页中的步骤是阅读指引;未标注“本站已验证”的路线不代表本站已执行成功。

5. 保留复现信息

记录设备、操作系统、模型版本、依赖版本、精度或量化、输入长度及结果。只有这些条件明确时,才可以将自己的运行结果作为可复核的依据。

使用本指南的模型

通用检查完成后,请继续核对型号对应的部署步骤、依赖与官方来源。