AI推理
对应控制台 人工智能 → 推理。用于管理 LLM 推理服务：镜像与模型准备、模板规格、部署运行，以及可选的基准测试。引擎类型以模板为准（如 vLLM、SGLang）。
推荐阅读顺序
- 快速开始：导入模型 → 创建部署 → API Key → chat / curl。
- 推理部署：部署概念、详情页签与运维操作。
- 推理模板、模型文件、推理镜像：规格与资源准备。
- （可选）基准测试：对已有部署压测。
- （可选）算力卡场景：昇腾、海光等异构算力卡上的推理部署场景。
菜单对照
| 控制台菜单 | 说明 |
|---|---|
| 推理部署 | 主入口；旧「推理实例」菜单已隐藏并重定向至此 |
| 推理模板 | 可复用规格 |
| 模型文件 | 可挂载模型数据（旧称「推理模型库」） |
| 推理镜像 | 推理运行时镜像 |
| 基准测试 | 对部署压测 |
快速开始
从导入模型到 chat 验证的端到端路径：在推理模板侧 导入模型 生成模板 → 基于模板创建部署 → 用 API Key 做 chat测试（或 curl）。
推理部署
概念介绍
推理模板
概念介绍
模型文件
概念介绍
推理镜像
概念介绍
基准测试
概念介绍
算力卡场景
1 个项目