跳到主要内容

产品介绍

Cloudpods AI 云是面向大语言模型（LLM）推理与 AI 容器应用的统一管理平台，帮助企业在同一平台完成 AI 工作负载的部署、调度与运维，与 Cloudpods 私有云/多云资源体系无缝集成。

核心能力​

  • AI 推理服务：部署和管理 LLM 推理实例，支持 GPU 调度、模型挂载与推理服务地址分配。
  • AI 应用管理：一站式部署 LLM 应用编排、智能体助手、图像生成等 AI 容器应用。
  • 模型库：统一管理模型来源、版本与缓存，支持多实例复用、离线分发，避免重复下载。
  • 模板与镜像：通过模板定义 CPU/内存/GPU 等资源规格，通过镜像管理容器运行环境，实现标准化交付。
  • GPU 运维：GPU 设备自动探测与注册，支持 NVIDIA/CUDA 环境的统一配置与管理。

控制台功能​

进入控制台 人工智能 后分为三大模块：

  • 应用：管理 AI 应用实例与应用模板。
  • 推理：管理推理实例、推理模板与推理模型库。
  • 镜像：管理 AI 应用和推理所使用的容器镜像。

实例 = 镜像 + 模板规格 +（可选）模型。

支持的应用​

AI 推理​

  • Ollama：轻量的本地 LLM 推理服务，需要 GPU，适用于快速验证与小规模推理场景。

AI 应用​

  • Dify：LLM 应用开发与编排平台，支持构建对话、RAG、Agent 与工作流等应用，自身不依赖 GPU。
  • OpenClaw：开源自托管的个人智能体助手，不依赖 GPU。
  • ComfyUI：图像生成与可视化工作流应用，支持基于节点的工作流编排，需要 GPU。

快速上手​