Ceph 简介

一、Ceph 核心组件在 PVE 中的角色

组件	作用	在 PVE 中的体现
MON	维护集群状态与一致性	PVE 节点可安装 MON，通常部署 3 个以上，保证仲裁；在 Web 界面可查看集群健康
OSD	存储对象数据并处理读写	每块硬盘对应一个 OSD；在 PVE 中通过 `pveceph osd create` 或 Web 向导添加
MGR	提供监控与扩展模块	PVE 默认安装 MGR，支持 Prometheus/Grafana 集成，Web 界面有 Dashboard
MDS	管理 CephFS 元数据	在 PVE 中可选安装，用于提供共享文件系统（CephFS）
RGW	提供对象存储接口 (S3/Swift)	可在 PVE 节点上部署，提供对象存储服务
RADOS	底层分布式对象存储	PVE 的 VM 磁盘、容器卷最终都映射到 RADOS 对象
CRUSH	数据放置算法	PVE 中可通过 Web 界面或命令行修改 CRUSH Map，定义机架/节点分层策略
RBD	块设备接口	PVE 的虚拟机磁盘直接使用 RBD，支持快照、克隆
CephFS	POSIX 文件系统接口	在 PVE 中可作为共享存储挂载，适合 ISO/模板存放

二、工作原理（结合 PVE）

数据写入流程
- VM 在 PVE 上写入磁盘 → 数据通过 RBD 客户端进入 Ceph → 被切分为对象 → 映射到 PG → PG 映射到 OSD → OSD 按 CRUSH 算法决定存放位置。
一致性与冗余
- PVE 配置存储池时可选择副本数或纠删码。
- MON 保证集群状态一致性，OSD 之间自动复制。
扩展性
- 在 PVE 中添加新节点 → 安装 Ceph → 创建 OSD → 自动加入集群。
- CRUSH 算法保证数据自动分布，无需集中目录。

三、PVE 部署要点

MON 节点：至少 3 个，推荐分布在不同物理机。
OSD 数量：直接决定容量与性能，建议 NVMe 作为 WAL/DB。
PG 数量：PVE Web 界面可自动计算推荐值。
存储池：在 PVE 中通过 “数据中心 → 存储 → 添加 → RBD” 配置。
监控：MGR + Prometheus + Grafana，可在 PVE Web 界面集成。

四、典型应用场景

虚拟机磁盘：通过 RBD 提供高性能块存储。
容器存储：LXC 容器卷直接使用 RBD。
共享文件系统：CephFS 用于 ISO、模板、备份。
对象存储：RGW 提供 S3 接口，适合备份或应用集成。

                ┌───────────────────────────────┐
                │         PVE 集群管理层          │
                │  - Web GUI / API              │
                │  - 集群配置、调度、监控          │
                └─────────────┬─────────────────┘
                              │
        ┌─────────────────────┼─────────────────────┐
        │                     │                     │
┌───────▼───────┐     ┌───────▼───────┐     ┌───────▼───────┐
│   PVE 节点 A  │      │   PVE 节点 B  │      │   PVE 节点 C  │
│               │     │               │     │               │
│  MON + MGR    │     │  MON + MGR    │     │  MON + MGR    │
│  OSD (磁盘组) │      │  OSD (磁盘组) │      │  OSD (磁盘组) │
│  VM/CT 宿主机 │      │  VM/CT 宿主机 │      │  VM/CT 宿主机 │
└───────▲───────┘     └───────▲───────┘     └───────▲───────┘
        │                     │                     │
        └─────────────┬───────┴─────────────┬───────┘
                      │                     │
              ┌───────▼─────────────────────▼───────┐
              │            Ceph 存储层               │
              │  - RADOS 对象存储                    │
              │  - CRUSH 算法分布                    │
              │  - Pool / PG 管理                    │
              └───────┬─────────────────────────────┘
                      │
        ┌─────────────┼─────────────────────────────┐
        │             │                             │
┌───────▼───────┐ ┌───▼───────────┐         ┌───────▼───────┐
│     RBD       │ │    CephFS     │         │     RGW       │
│ (块存储接口)   │  │ (共享文件系统)│             │ (对象存储S3) │
│ VM/CT 磁盘     │  │ ISO/模板/备份 │           │ 备份/应用集成 │
└───────────────┘ └───────────────┘         └───────────────┘