v3.11.x
v3.11.8 (含v3.11.7)
date: 2024-10-14
本次3.11.8更新亮点为：
- ocboot 默认使用 k3s 作为运行平台服务的底座，替换旧的 v1.15.12 的 k8s 版本。新的部署方式将使用 buildah 和容器镜像的方式部署，更加干净和轻量，不需要在宿主机上安装 ansible 等 python 环境。同时 ocboot 也会兼容旧的 k8s 部署的集群，添加节点和升级服务都不受影响。
- 部署虚拟机时自动部署QGA（qemu-guest-agent），依赖QGA的功能（如开机时修改主机密码，更换主机IP等）将更加可靠，后续还将基于QGA完善和扩展更多功能。
- 前端对资源列表进行了整体性能优化，响应速度更快，体验更丝滑。
功能优化
- 【前端】资源列表加载速度优化
- 【前端】告警资源增加ip搜索
- 【多云管理】纳管cloudpods云账号时，自动设置 endpoint_type 类型
- 【k8s管理】集群和命名空间下拉列表支持搜索
- 【监控】添加 inodes 使用率监控
- 【部署】ocboot 部署工具支持 sudo 权限运行
- 【部署】ocboot 部署控制节点不会重启服务器
- 【工单】审批工单流程速度提升（企业版）
- 【前端】外部数据单独为一级菜单（企业版）
- 【前端】mfa 认证工具推荐使用宁盾令牌
- 【存储】优化 lvm slvm 快照、镜像和备份相关功能
- 【存储】lvm slvm 存储支持加密磁盘 （企业版）
问题修复
- 【前端】添加vmware云账号的时候，选择可用区使用加了usable=true的过滤器，导致可用区列表为空
- 【host-deployer】手动方式部署网络配置时候，没有加169.254.169.254的路由，导致无法web ssh登录云主机
- 【host-deployer】修复cmp部署模式下host-deployer服务认证失败的问题
- 【host-deployer】修复 uefi 镜像引导方式探测不正确的问题
- 【虚拟机】部署虚机时添加内存和CPU 热扩容自动 online 的 udev 规则，避免热扩容的CPU和内存没有自动启用
- 【虚拟机】修复热迁移时镜像缓存被删导致无法热迁移的问题
- 【虚拟机】调整并发部署虚机的数量，添加配置可配置并发度
- 【虚拟机】修复并发创建虚机偶发端口冲突部署失败的问题
- 【虚拟机】修复 rbd 虚机保存镜像失败的问题
- 【虚拟机】允许创建uefi引导虚机当无法探测镜像的引导方式
- 【存储】修复自动清理镜像缓存时误删正则使用的镜像缓存的问题
- 【裸金属】偶尔会出现部署失败的情况
- 【物理机】修复探测 ipmi 时 bmc 网卡出现 0.0.0.0 ip 导致失败的问题
- 【物理机】修复前端批量纳管物理机报 validate-ipmi 的问题
- 【前端】菜单权限未检查问题修复
- 【cloudshell】修复执行交互模式的进程会出现没有退出导致进程泄露的情况
- 【lbagent】lbagent启动应该启用path mtu probe
- 【监控】修复 OR 查询条件报错的问题
- 【监控】修复拉取aws,gcp cpu监控数据问题
- 【命令行工具】修复 climc host-ssh 登录宿主机报错的问题
- 【多云认证】修复多云权限同步异常问题
- 【部署】修复通过 helm chart 部署 ingress 无法访问的问题
- 【部署】修复通过 helm chart 部署 VictoriaMetrics CSI 定义没有生效的问题
- 【部署】修复 ocboot 升级时 imageRepository 会刷新的问题
- 【计费】避免上月费用为负导致增长率为负（企业版）
- 【字典】字典默认值取用原始值（企业版）
新功能
- 【监控】监控查询和监控面板支持结果聚合函数
- 【监控】容器主机增加监控指标
- 【多云管理】云账号支持克隆
- 【监控面板】使用率磁贴支持跳转至当前资源
- 【虚拟机】支持在创建虚拟机时自动部署QGA（qemu-guest-agent）
- 【虚拟机】调度支持分配 CPU 绑核和 NUMA 内存，支持在虚机重启时重新分配
- 【前端】虚拟机网卡支持设置辅助IP
- 【计费】账单报表隐藏应付金额为0的账单条目（企业版）
- 【前端】监控大屏支持设置自定义地址（企业版）
- 【计费】支持批量重跑账单（企业版）
- 【前端】登录页面支持样式设置（企业版）
CHANGELOG
具体变更请参考:
v3.11.6
date: 2024-08-15
功能优化
- 【平台】前后端优化虚拟机和宿主机列表查询的速度
- 【多云监控】避免产生大量操作日志
- 【多云】优化腾讯云已下线可用区资源同步
- 【网络】默认使用 ethtool 开启宿主机网卡的 gso 特性
- 【物理机】添加物理机默认对 redfish api 兼容性进行校验
- 【多云管理】云用户支持展示云订阅信息
- 【平台】增加uos系统图标
- 【虚拟机】cloudpods平台支持选择iso镜像创建虚拟机
- 【物理机】新建物理机增加对管理口mac地址的校验
问题修复
- 【前端】添加vmware云账号的时候，可用区列表为空
- 【虚拟机】手动方式部署网络配置时候，没有加169.254.169.254的路由，导致无法web ssh登录云主机
- 【虚拟机】修复设置虚机磁盘缓存模式导致虚机启动失败的问题
- 【物理机】修复安装裸金属会出现部署失败的问题
- 【物理机】修复探测 ipmi 网卡出现 0.0.0.0 导致纳管失败的问题
- 【物理机】修复删除物理机网卡的出现的错误
- 【物理机】混用 megaraid 和 pcie 磁盘的时候出现装机失败的问题
- 【网络】简化清理未使用的安全组
- 【存储】修复 lvm 存储创建加密磁盘和快照失败的问题
- 【网络】同步私有云 kvm 虚拟机安全组出现未知状态的问题
- 【通知】避免没有设置手机号造成的 panic 错误
- 【监控】修复多报警指标产生的重复消息记录
- 【宿主机】避免产生过多的 qga ping 日志
- 【多云】修复vmware使用iso创建虚拟机失败问题
- 【计费】避免上月费用为负导致增长率为负（企业版）
- 【安全组】公有云安全组规则入方向和出方向来源限制不允许为空
- 【多云管理】修复云用户操作无法点击问题，去除对健康状态的检查
新功能
- 【监控】添加网络 pps，磁盘 inodes_usage 相关监控指标
- 【网络】创建子网时支持设置 dhcp_relay 属性，方便物理机网络设置
CHANGELOG
具体变更请参考:
v3.11.5
date: 2024-07-04
功能优化
- 【虚拟机】默认清理镜像缓存
- 【虚拟机】调整配置适配disk_type=swap的数据盘展示
- 【网络】创建子网时默认隐藏 ipv6 设置
- 【网络】虚拟机网卡带宽调整优化，上限到 100Gbps
- 【宿主机】转换宿主机时候添加磁盘的挂载路径只能是 /opt/cloud/workspace 的子目录
- 【多云】支持腾讯云新版natgateway API
- 【远程控制】虚拟机vnc和ssh登录等远程操作，默认关闭水印
- 【多云】新建定时任务，增加默认时间
- 【工单】添加操作日志记录（企业版）
问题修复
- 【虚拟机】修复删除虚拟机快照没有删除的问题
- 【虚拟机】修复虚拟机设置列表项时，资源标签键重复展示的问题
- 【监控】修复网络监控数据单位显示问题
- 【安装部署】修复首次安装可能出现无法打开 CloudShell 的问题
- 【安装部署】修复基于 docker compose 部署打开 CloudShell 没有使用当前登录权限的问题
- 【安装部署】opreator兼容支持mysql 8.0
- 【安装部署】修复 kube-apiserver 偶发重启导致后续安装步骤失败的问题
- 【监控】 修复新建告警策略，通知类型为角色或告警机器人时，角色或告警机器人选择框设置为必填
- 【认证与安全】修复新建短信通知渠道时，连接测试未验证表单内容是否有效的问题，增加手机号的验证
新功能
- 【虚拟机】支持 vmware 迁移(v2v迁移)到 cloudpods 私有云
- 【网络】eip 支持关联资源的查询
- 【宿主机】自动清理镜像缓存，默认当镜像缓存超过12%存储空间时，自动清理缓存超过30天的无用镜像
- 【物理机】创建裸金属时，添加系统盘匹配器（命令行支持）
- 【物理机】支持设置各品牌型号的物理机的lan channels，root id等配置信息（命令行支持）
- 【认证与安全】用户列表导出支持同时导出用户加入的项目和组信息
- 【网络】waf详情支持展示域名信息、源站地址、回源方式等信息
CHANGELOG
具体变更请参考:
v3.11.4
date: 2024-06-06
功能优化
- 【费用】费用预测功能优化（企业版）
- 【多云】默认打开火山引擎、金山云及 Oracle Cloud 平台开关
- 【网络】腾讯云支持 WAF 策略
- 【网络】Azure 应用程序服务展示更多属性信息
- 【主机】支持自动探测物理机透传设备
- 【主机】虚拟机导出磁盘和内存单位统一为 GB
- 【监控】允许设置包含多个触发条件的报警策略
- 【多云】支持 ZStack 共享存储
问题修复
- 【系统】修复多 IP 环境一键巡检失败问题（企业版）
- 【监控】修复多条告警指标关系错误导致无法告警问题
- 【主机】修复 SLVM 存储相关问题
- 【主机】修复更新 hostname 偶发失败问题
- 【主机】修复宿主机注册时注册存储失败的问题
- 【主机】修复 IPv6 安全组开启后主动访问物理网关不通的问题
新功能
- 【主机】新增社区镜像，支持一键导入
CHANGELOG
具体变更请参考:
v3.11.3
date: 2024-4-28
功能优化
- 【主机】支持删除阿里云华为云等公有云的包年包月主机
- 【主机】支持 VMware 平台镜像通过可用区过滤
- 【主机】优化本地盘快照删除逻辑，API 删除快照时同步删除宿主机上的快照
- 【主机】自定义设备类型去除自动探测逻辑，需要指定探测 host
- 【主机】探测 GPU 设备只对 DISPLAY class code 过滤厂商为 NVIDIA/AMD
- 【主机】支持主机重置数据盘，支持本地磁盘的冷迁移
- 【多云】优化云账号同步速度，支持并发同步
- 【多云】金山云主机，网络，标签等资源同步支持
- 【多云】cloudid 重构，云上和云下的用户信息从多对一改为一对一模型
- 【多云】自动清理无效的镜像缓存信息，优化纳管云上镜像加载速度
- 【认证】按需实时更新各个服务的项目信息同步
- 【控制台】允许通过 UI 策略隐藏大屏，cloudshell 等功能入口
问题修复
- 【系统】修复堡垒机未展示归属项目问题（企业版）
- 【主机】修复基于购物车创建资源展示信息错误问题（企业版）
- 【主机】修复使用轻量虚拟机部署 ARM 虚机失败的问题
- 【主机】修复 Debian/Ubuntu 等操作系统在线安装监控 agent 失败的问题
- 【主机】修正 Ubuntu/Debian 等使用 netplan 设置 bond 网卡网络配置失效问题
- 【主机】修正 userdata 脚本因为默认 umask 设置不自动执行问题
- 【负载均衡】修正添加负载均衡监听器的 http 规则时报无法找到 domain 的报错
- 【网络】修复搜索 IPv6 子网搜索失败问题
- 【网络】修复 vpcagent 执行 ovn 同步命令超时 signal killed 问题
- 【多云】修复创建公有云子账户通知无法选取邮箱问题
- 【认证】修复权限信息展示不全问题
- 【多云】修复 Cloudpods 同步 region 丢失问题
- 【多云】修复腾讯云 API 接 口变动导致同步异常问题
新功能
- 【计费】费用模块支持金山云账单（企业版）
- 【计费】支持账单”封账“操作，设置封账的月份的账单无法更新（企业版）
- 【费用】支持对接 Azure（国际和国内）的对象存储桶账单（企业版）
- 【费用】支持自定义外部数据计费（企业版）
- 【主机】支持磁盘重置接口
- 【主机】LVM 云硬盘支持快照，LVM 云硬盘支持扩容
- 【多云】支持对接 Oracle Cloud
- 【多云】支持火山引擎 Cloud SSO 免密登录
CHANGELOG
具体变更请参考:
v3.11.2 (含v3.11.1)
date: 2024-3-20
功能优化
- 【报表】支持忽略费用为0的项目清单（企业版）
- 【网络】支持同步负载均衡安全组信息
- 【网络】支持同步华为云公网NAT网关
- 【多云】支持对接Azure国际存储桶账单
- 【主机】支持通过webconsole文件上传和下载
- 【主机】支持VMware主机备注信息双向同步
问题修复
- 【系统】修复telegraf容器的host目录挂载方式错误导致宿主机mount泄露问题
- 【主机】修复基于主机镜像创建主机调整配置报错问题
- 【主机】修复虚拟机启动找不到网桥问题
- 【系统】修复偶发修改备注无反应问题
- 【主机】修复展示GPU出现重复问题
新功能
- 【费用】支持云账号封账功能（企业版）
CHANGELOG
具体变更请参考:
v3.11.0
版本 3.11 自 2023 年 4 月开始开发，历时大概 10 个月，共计 4000 多个PR。
- 开源之夏 2023
感谢开源之夏 2023 的四位同学为 Cloudpods v3.11 贡献如下功能：
- 虚拟机紧急模式：允许将虚拟机引导进入一个临时的内存 Linux 系统，在虚拟机内核文件损坏、rootfs 文件系统故障等情况下，用户无法正常启动虚拟机，则可以重启虚拟机进入紧急模式，查看虚拟机的文件系统，定位问题，数据备份，并在可能的情况下对问题进行修复。@IRONICBo
- 支持火山引擎：支持火山引擎的资源纳管，同时企业版也支持管理和分析火山引擎的账单。@LyndonKong
- 支持部署 Ubuntu 22.03（已经 backport 合并到 3.10 并发布）@niconical
- 支持通过 QGA 更改 KVM 虚拟机网卡配置（已经 backport 合并到 3.10 并发布）@chentianxiang
- 主机改进
主机功能在 v3.11 做了较多改进，重点是两个方向：一、私有云主机更充分地发挥硬件的性能；二、提升云主机易用性。
为了充分发挥硬件性能，Cloudpods 已经支持了不少特性，包括 PCI 设备透传（包括网卡，GPU，NVME 等设备的透传），网卡 SR-IOV 和 ovs offload，开启宿主机内存大页，绑定虚拟 CPU 核到物理核等，在 v3.11，Cloudpods 实现了期待已久的虚拟机 NUMA-aware 内存分配策略。开启后，会尽量把一台虚拟机的内存分配在同一个 NUMA 节点的内存空间内，虚拟机的 vCPU 也会尽量分配到同一个 NUMA 节点，由此避免出现跨 NUMA 分配虚拟机CPU和内存导致的性能下降问题。
另外一个重要特性是支持用 LVM 来管理共享块存储（SAN 存储）。共享块存储使用LVM管理，虚拟机直接通过挂载从共享块存储分配的逻辑卷（LV），省去了用文件作为虚拟磁盘引入的文件系统开销。Cloudpods 支持了 clvm 和 slvm 两种共享 LVM 的管理方式。简 单地说，clvm 模式利用了集群模式的 clvm 服务来管理共享网络存储上的 LVM 卷，clvm 自动提供了 lvm 管理服务的分布式高可用。但缺点是 clvm 配置复杂。slvm 则不需要配置复杂的集群 clvm 服务，每个宿主机节点上只需要安装单机的 lvm 服务，平台选择一个节点作为共享存储的 lvm 配置节点，平台在该节点分配 LV 之后会自动在需要挂载的节点刷新 lvm 的元数据，获得分配的 LV。这种方式避免了部署分布式 clvm 的复杂性。但在配置节点不可用后，需要手动地切换配置节点。但这个问题可以在后期迭代中逐步解决。
除此之外，Cloudpods 也对 vGPU，包括 Nvidia 和 AMD 的虚拟化 vGPU 做了初步的支持。
在改进主机易用性方面做了如下的工作：1）支持了内置私有云 KVM 虚拟机的紧急模式，允许用户通过一个临时操作系统诊断修复无法启动的虚拟机的问题。2）支持通过 WebRDP 协议登录 Windows 虚拟机。使用 RDP 协议的好处是可以自动免密地登录 Windows 虚拟机，并且支持剪贴板，易用性更好。3）全面支持 userdata，允许用户在申请主机时设置主机初次启动后的脚本，让主机申请流程更方便。4）支持将纳管的 Cloudpods 集群的 KVM 虚拟机迁移到内置私有云，用户可以用这个功能整合多个 Cloudpods 私有云。
最后，主机网络方面，IPv6 支持是 v3.11 引入的一个重要功能，支持 IPv6 地址管理和给主机分配 IPv6 的地址。
另外一个重要的网络改进是 VMware 采用了新的二层网路模型，每个VMware的网络端口组对应 Cloudpods 的一个二层网络。这样 VMware 用户可以在平台直观地看到 VMware vCenter 端口组，更容易理解和配置对应二层网络的IP子网。但 v3.11 之前版本就使用 VMware 的用户会在升级为 3.11 之后会受到这个变更的影响。升级后，需要重新配置一下 VMware 的 IP子网，将 IP 子网的二层网络变更到其 VMware 端口组对应的二层网络。
- 多云迭代
多云功能在 v3.11 继续迭代，除了云平台增加了火山引擎，金山云公有云，最重要的更新是重构了配置信息的管理模型。
我们曾经发明了一种多云场景的配置信息管理模型，采用一对多的映射关系，即平台维护一份配置数据，该配置对应各个云平台上的多个配置。最常见的是安全组配置。平台会维护一份安全组配置，该安全组对应各个云平台上各个账号的各个区域的同配置的安全组。比如用户定义一个允许访问 TCP 22 端口的安全组，则该用户在各个云平台各个云账号下各个区域内各个 VPC 下的允许访问 TCP 22 的安全组都和这个安全组关联，平台通过安全组缓存的数据结构维护云上安全组和本地安全组的映射关系。设计之初，我们预期这种配置管理方式能够提升使用多云配置的易用性，即用户不用关心这个配置是否在云上维护，只需要选择本地的安全组，平台会自动地将本地安全组同步到云上，或在云上找到一个对应的安全组。但实际使用中，用户对这种配置维护方式比较困惑，容易发生本地配置和云上配置不一致的情况，也多次发生安全组变更导致的用户主机网络故障。虽然之前版本做了诸多改进和限制，避免了一些问题，但整体效果不好。因此，从 v3.11 版本开始，我们放弃了这种一对多的配置维护模型，将配置信息维护全部改为一对一的映射模型。受到影响的配置信息包括：安全组，DNS 记录，自动快照策略，负载均衡 SSL 证书，负载均衡访问控制。
- FinOps
2023 年是 FinOps 迅速发展的一年，Cloudpods 企业版的 FinOps 功能有了明显的提升，主要集中在以下几方面：
费用分配：v3.11 企业版在费 用分配方面做了大量的工作，支持复杂的费用分配策略。包括按照云上项目或标签将账单费用分配到本地项目，将包年包月（包括 CPP ）资源的费用分摊到周期内的月份，并且支持将共享的费用按照均摊或按比例分摊策略分摊到指定项目。
费用分析：v3.11 企业版费用分析能力更加强大，一方面是功能更强大，可以基于账单标签、项目标签、资源标签等多维度标签对费用进行过滤，聚合并生成报表。另一方面是查询性能更快，通过对存储在 MySQL 内的配置数据和存储在 ClickHouse 内的流水账单数据的联合查询，使得查询既快又准。
费用预测：基于多元线性回归模型实现对项目+账号+资源类型+计费方式等细粒度维度费用数据的预测，支持用户输入回归模型参数对预测数据进行调整，支持对预测数据进行多维度分析查询。
计费策略：支持费率集，可以给不同项目，域或者组织架构设置不同的费率，支持设置年、月、日、时、秒等计费时间粒度，支持一口价、按量计费和阶梯计费等定价方式。
另外值得一提的是支持了容器的计费。平台会自动采集配置的容器集群的pod的资源使用量，包括给 pod 分配的 CPU，内存和 PVC 空间配额，从而进行计费。
- 安装部署
Cloudpods v3.11 适配了更多的操作系统，除了前序版本已支持的 CentOS 7，Debian 10， 11， Ubuntu 22.04，还适配了对应 CentOS 8 的一系列操作系统，包括：AnolisOS 8.8，OpenCloudOS 8.8，RokcyLinux 8.9，AlmaLinux 8.9 等。同时适配了 openEuler 22.03 LTS SP3 以应对国产化信创的场景。以上系统均可使用 ocboot 在线部署。
与此同时，针对商业版离线部署场景，随着 CentOS 7 在 2024 年 6 月 EOL，v3.11 不再以 CentOS 7.9 为主要的离线部署操作系统，而是采用 openEuler 22.03 LTS SP3 。
- 其他
从 v3.11 开始默认的监控存储改为 VictoriaMetrics，进一步提高监控数据查询速度。
新功能 (New Features)
- 【主机】KVM 虚机 NUMA 内存分配
- 【主机】支持网络配置管理 IPv6 地址，给主机分配 IPv6 地址
- 【主机】KVM 支持 vGPU（NVIDIA/AMD vGPU）
- 【主机】KVM 支持虚拟机紧急模式
- 【主机】支持集中式块存储（SAN）通过 CLVM/SLVM 分配磁盘
- 【主机】支持将纳管的 Cloudpods 集群的 KVM 虚拟机迁移到本地私有云
- 【主机】支持网卡流量限制
- 【主机】支持通过 WebRDP 协议登录 Windows 虚拟机
- 【多云】支持火山引擎的对接
- 【多云】对接 AWS 容器 EKS
- 【多云】支持阿里云的资源目录，纳管阿里云资源组下的多账号
- 【认证】组织架构支持（企业版）
- 【费用】支持容器计费（企业版）
- 【费用】费率支持应用到不同项目/租户，同时支持不同粒度设置（企业版）
- 【费用】支持费用分摊，将指定项目费用分摊/均摊给其他项目（企业版）
- 【费用】支持资源标签列表，可通过该列表统一维护云上不支持标签（或项目）或者漏打标签信息（企业版）
- 【费用优化】支持异常消费功能，根据项目日消费或月累计消费设置阈值生成异常清单（企业版）
- 【系统】Web 控制台支持日语
- 【系统】支持集成堡垒机，新建主机时自动添加 JumpServer 堡垒机（企业版）
- 【系统】支持购物车功能，可同时批量创建不同规格资源（ 企业版）
- 【部署】支持欧拉/SUSE 系统安装部署
功能优化 (Enhancements)
- 【主机】支持 userdata，新建主机同时支持通过 userdata 指定初始化执行脚本
- 【主机】KVM 主机备份支持通过对象存储存储
- 【主机】VMware 采用新的二层网路模型，每个二层网络对应一个网络端口组
- 【主机】磁盘限速优化，支持对单个磁盘镜像限速
- 【主机】密钥支持共享
- 【多云】重构云上云下资源映射关系模型，将安全组，DNS 记录，快照策略配置关系从多对一改为一对一
- 【多云】阿里云/华为/AWS 支持对象存储设置跨域规则、策略
- 【认证】优化删除用户/项目流程，无需检查关联关系
- 【认证】优化消息订阅发送，支持静默期设置
- 【费用】支持设置账单标签映射到指定项目（企业版）
- 【费用】支持基于项目标签进行费用分析，基于项目构建组织架构（企业版）
- 【费用】增加预测功能，支持录入相关数据校准预测数据（企业版）
- 【费用】多维度分析支持保存为报告，可将高频查询条件保存为报告一键查看（企业版）
- 【费用】费用查询性能优化，结合 MySQL 和 ClickHouse，实现查询速度加速（企业版）
- 【系统】监控替换为 VictoriaMetrics
- 【系统】控制面板支持费用 KPI 的磁贴，如承诺费用占比、标签覆盖率等（企业版）
- 【系统】支持使用 ID/IP 搜索同时查询多条数据
CHANGELOG
具体变更请参考:
- 从3.11开始, 华为云即将支持组织账号功能，升级完成后，华为云云账号底下的资源会完整清理一次，再重新同步账号资源，因此华为云账号底下的虚拟机密码信息会丢失, 且华为云所有资源的id信息将发生变化