从官方指引开始部署
核对具体型号、运行环境、许可与硬件条件,再使用模型对应的官方快速开始。
本站目前整理了官方支持的部署路线,尚未对这些模型进行本机推理验证。请在模型详情中查看对应来源和验证状态。
1. 核对具体型号与许可
确认模型名称、版本及 Base / Instruct 变体。下载前阅读权重许可和运行软件许可;社区量化版本还需要核对其制作方与原始模型来源。
2. 选择对应工具链
文本、视觉、向量、语音和 OCR 模型使用的工具链不同。优先使用详情页链接的官方快速开始,核对当前依赖版本、输入格式与模型模板。
下载模型权重会占用额外磁盘空间。本站不托管模型权重。
3. 检查运行条件
权重文件体积不能直接等同于运行内存。上下文长度、量化、输入图片或音频、缓存与并发会影响资源消耗。
硬件标注为“未核实”时,本站没有可确认的内存或显存需求,不应视为能在任意设备运行。
4. 使用官方最小示例
先在独立环境运行官方示例,确认模型加载和输出正确,再接入自己的应用。详情页中的步骤是阅读指引;未标注“本站已验证”的路线不代表本站已执行成功。
5. 保留复现信息
记录设备、操作系统、模型版本、依赖版本、精度或量化、输入长度及结果。只有这些条件明确时,才可以将自己的运行结果作为可复核的依据。
使用本指南的模型
通用检查完成后,请继续核对型号对应的部署步骤、依赖与官方来源。
- all-MiniLM-L6-v2
- Gemma 3 1B IT
- Gemma 3 4B IT
- Gemma 4 E2B IT
- Kokoro-82M
- PP-OCRv5 mobile rec
- Qwen2.5-Coder-1.5B-Instruct
- Qwen2.5-Coder-3B-Instruct
- Qwen2.5-Coder-7B-Instruct
- Qwen3-0.6B
- Qwen3-1.7B
- Qwen3-4B
- Qwen3.5-4B
- Qwen3-8B
- Qwen3-Embedding-0.6B
- Qwen3-Reranker-0.6B
- SmolLM3-3B
- Whisper base
- Whisper medium
- Whisper small
- Whisper tiny