2. ceph

# 一、ceph基本概念

## 1.  功能

- Ceph是一个可靠、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备和文件系统服务。

## 2. 优点

- 高性能：摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高，能够实现各类负载的副本放置规则，能够支持上千个存储节点的规模，支持TB到PB级的数据。
- 高可用性：副本数可以灵活控制。支持故障域分隔，数据强一致性。多种故障场景自动进行修复自愈。没有单点故障，自动管理，自动扩充副本数。
- 高可扩展性：去中心化。扩展灵活。随着节点增加而线性增长。
- 特性丰富：支持三种存储接口：块存储（得到的是硬盘）、文件存储（目录）、对象存储（对接的是一个挂载的目录，后端会把数据打散，采用键值对形式存储）。支持自定义接口，支持多种语言驱动。

## 3. Ceph核心组件
![1647888-20190617091304152-781044244.png](/media/202406/9.2.16859746_image1.png)

- Monitors（管理服务）：监视器，维护集群状态的多种映射，同时提供认证和日志记录服务，包括有关monitor 节点端到端的信息，其中包括 Ceph 集群ID，监控主机名和IP以及端口。并且存储当前版本信息以及最新更改信息，通过 "ceph mon dump"查看 monitor map。
- MDS（Metadata Server）：Ceph 元数据，主要保存的是Ceph文件系统的元数据。注意：ceph的块存储和ceph对象存储都不需要MDS。
- OSD：即对象存储守护程序，但是它并非针对对象存储。是物理磁盘驱动器，将数据以对象的形式存储到集群中的每个节点的物理磁盘上。OSD负责存储数据、处理数据复制、恢复、回（Backfilling）、再平衡。完成存储数据的工作绝大多数是由 OSD daemon 进程实现。在构建 Ceph OSD的时候，建议采用SSD 磁盘以及xfs文件系统来格式化分区。此外OSD还对其它OSD进行心跳检测，检测结果汇报给Monitor
- RADOS：Reliable Autonomic Distributed Object Store。RADOS是ceph存储集群的基础。在ceph中，所有数据都以对象的形式存储，并且无论什么数据类型，RADOS对象存储都将负责保存这些对象。RADOS层可以确保数据始终保持一致。
- librados：librados库，为应用程度提供访问接口。同时也为块存储、对象存储、文件系统提供原生的接口。
- RADOSGW：网关接口，提供对象存储服务。它使用librgw和librados来实现允许应用程序与Ceph对象存储建立连接。并且提供S3 和 Swift 兼容的RESTful API接口。
- RBD：块设备，它能够自动精简配置并可调整大小，而且将数据分散存储在多个OSD上。
- CephFS：Ceph文件系统，与POSIX兼容的文件系统，基于librados封装原生接口。

## 4. Ceph 数据存储过程
![11706687-69984801fd28704b.png](/media/202406/9.2.16859746_image2.png)

- File ： 用户需要存储或者访问的文件。当上层应用向RADOS存入size很大的file时，需要将file切分成统一大小的一系列object（最后一个的大小可以不同）进行存储。
- Object ： 无论使用哪种存储方式（对象、块、文件系统），存储的数据都会被切分成Objects。每个对象都会有一个唯一的OID，由ino（文件的File ID，在全局唯一标识每一个文件）与ono（分片的编号，比如：一个文件FileID为A，它被切成了两个对象，那么这两个文件的oid则为A0与A1）生成。
- pool是ceph存储数据时的逻辑分区，它起到namespace的作用。其他分布式存储系统。每个pool包含一定数量的PG，PG里的对象被映射到不同的OSD上，因此pool是分布到整个集群的。除了隔离数据，我们也可以分别对不同的POOL设置不同的优化策略，比如副本数、数据清洗次数、数据块及对象大小等。
- PG（Placement Group）：对object的存储进行组织和位置映射。PG和object之间是“一对多”映射关系。PG和OSD之间是“多对多”映射关系。
- OSD: 即object storage device，OSD的数量事实上也关系到系统的数据分布均匀性，因此其数量不应太少。

## 5. Ceph中的寻址映射过程

- File -> object映射
- Object -> PG映射，hash(oid) & mask -> pgid（哈希算法）
- PG -> OSD映射，CRUSH算法

## 6. RADOS分布式存储相较于传统分布式存储的优势

- 将文件映射到object后，利用Cluster Map 通过CRUSH 计算而不是查找表方式定位文件数据存储到存储设备的具体位置。优化了传统文件到块的映射和Block MAp的管理。
- RADOS充分利用OSD的智能特点，将部分任务授权给OSD，最大程度地实现可扩展

## 7. cephfs与ceph rbd对比
| | CephFS 文件存储 | Ceph RBD块存储 |
| --- | --- | --- |
| 优点: | 1. 读取延迟低,I/O带宽表现良好,尤其是block size较大一些的文件 2. 灵活度高,支持k8s的所有接入模式 | 1. 读取延迟低,I/O带宽表现良好,尤其是block size较大一些的文件	1. I/O带宽表现良好 2. 灵活度高,支持k8s的所有接入模式	2. 读写延迟都很低 3. 支持镜像快照,镜像转储 4. 支持k8s动态供给 |
| 缺点: | 写入延迟相对较高且延迟时间不稳定，不支持动态供给 | 不支持多节点挂载 |
| 适用场景: | 适用于要求灵活度高(支持k8s多节点挂载特性),对I/O延迟不甚敏感的文件读写操作,以及非海量的小文件存储支持.例如作为常用的应用/中间件挂载存储后端. | 对I/O带宽和延迟要求都较高,且无多个节点同时读写数据需求的应用,例如数据库 |

# 二、部署ceph集群
	• github地址：[https://github.com/luckman666/deploy_ceph_cluster_luminous_docker](https://github.com/luckman666/deploy_ceph_cluster_luminous_docker)

## 1. 环境准备
| 主机名 | IP | 配置 | 磁盘空间 |
| --- | --- | --- | --- |
| ceph1 | 192.168.10.131 | 4C4G | sda（50G，安装系统） sdb（50G，不格式化） 				sdc（50G，不格式化） |
| ceph2 | 192.168.10.132 | 4C4G | sda（50G，安装系统） 				sdb（50G，不格式化） 				sdc（50G，不格式化） |
| ceph3 | 192.168.10.132 | 4C4G | sda（50G，安装系统） 				sdb（50G，不格式化） 				sdc（50G，不格式化） |

## 2. clone项目脚本，赋予执行权限
	`# git clone https://github.com/luckman666/deploy_ceph_cluster_luminous_docker.git && chmod -R 755 deploy_ceph_cluster_luminous_docker`

## 3. 配置base.config基本信息
![未命名图片.png](/media/202406/9.2.16859746_image3.png) ![未命名图片.png](/media/202406/9.2.16859746_image4.png)

## 4. 执行安装脚本
	`# ./ceph_luminous.sh`

## 5. 查看安装日志信息
	`# tail -f setup.log`

## 6. 验证
	`# ceph -s`

# 三、k8s连接ceph

## 1. k8s所有节点安装ceph客户端

- 添加阿里云repo源
```bash
# vim /etc/yum.repos.d/ceph.repo
[ceph-nautilus]
name=ceph-luminous
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=cephnoarch
baseurl=https://mirrors.aliyun.com/ceph/rpm-nautilus/el7/noarch/
gpgcheck=0
```

## 2. 查看可用版本，与ceph服务端版本保持一致
	`# yum list ceph --showduplicates | sort -r`

## 3. 安装指定版本ceph
	`# yum install -y ceph-common-14.2.6`

## 4. 添加配置文件，验证连接

- ceph进入到/data/ceph/etc目录将 ceph.client.admin.keyring和ceph.conf两个配置文件传送到ceph客户端服务器的/etc/ceph目录下

`# scp /data/ceph/etc/ceph.client.admin.keyring 192.168.10.101:/etc/ceph`  	`# scp /data/ceph/etc/ceph.conf 192.168.10.101:/etc/ceph`

- k8s查看ceph信息

`# ceph -s`