6. RGW对象存储服务

• Ceph 对象存储可以简称为 RGW，Ceph RGW 是基于 librados，为应用提供 RESTful 类型的对象存储接口，其接口方式支持 S3（兼容 Amazon S3 RESTful API） 和 Swift（兼容 OpenStack Swift API） 两种类型。下边演示如何基于 Rook 创建 Ceph 对象存储，并验证测试。

# 一、创建对象存储

## 1. 创建一个CephObjectStore使用S3 API在群集中启动RGW服务。

- 此样本至少需要3个bluestore OSD，每个OSD位于不同的节点上。OSD必须位于不同的节点上，因为failureDomain设置为host，并且erasureCoded块设置至少需要3个不同的OSD（2 dataChunks+ 1 codingChunks）。
- 查看/root/rook/cluster/examples/kubernetes/ceph/object.yaml资源清单文件

![未命名图片.png](/media/202406/9.6.16860485_image1.png)

`# kubectl apply -f object.yaml`

## 2. 查看创建的rgw信息
	![未命名图片.png](/media/202406/9.6.16860485_image2.png)

## 3. dashboard查看pool信息
	![未命名图片.png](/media/202406/9.6.16860485_image3.png)

# 二、创建Storage

## 1. 创建一个Bucket

- 客户端可以在其中读取和写入对象。可以通过定义存储类来创建Bucket，类似于块和文件存储所使用的模式。首先，定义将允许对象客户端创建Bucket的存储类。存储类定义对象存储系统，Bucket保留策略以及管理员所需的其他属性。

![未命名图片.png](/media/202406/9.6.16860485_image4.png) 	`# kubectl apply -f storageclass-bucket-delete.yaml`  ![未命名图片.png](/media/202406/9.6.16860485_image5.png)

## 2. 创建存储类

- 基于此存储类，对象客户端现在可以通过创建对象Bucket声明（OBC）来请求Bucket。创建OBC后，Rook-Ceph存储桶配置程序将创建一个Bucket。

![未命名图片.png](/media/202406/9.6.16860485_image6.png) 	`# kubectl apply -f object-bucket-claim-delete.yaml`  ![未命名图片.png](/media/202406/9.6.16860485_image7.png)

## 3. 使用与OBC相同的名称和相同的名称空间创建一个secret和ConfigMap。

- 包含应用程序pod用来访问Bucket的凭据。ConfigMap包含存储区终结点信息，并且也由Pod使用
- 从secret和configmap中提取关键信息：
```bash
export AWS_HOST=$(kubectl get cm ceph-delete-bucket -o yaml | grep BUCKET_HOST | awk '{print $2}')
export AWS_PORT=$(kubectl get cm ceph-delete-bucket -o yaml | grep BUCKET_PORT | awk '{print $2}')
export AWS_ACCESS_KEY_ID=$(kubectl -n default get secret ceph-delete-bucket -o yaml | grep AWS_ACCESS_KEY_ID | awk '{print $2}' | base64 --decode)
export AWS_SECRET_ACCESS_KEY=$(kubectl -n default get secret ceph-delete-bucket -o yaml | grep AWS_SECRET_ACCESS_KEY | awk '{print $2}' | base64 --decode)
```
	![未命名图片.png](/media/202406/9.6.16860485_image8.png)

# 三、集群内使用对象存储

## 1. rook-ceph名称空间创建busybox并设置环境变量

- 进入centos容器

`# kubectl -n rook-ceph exec -it centos bash`

- 设置环境变量
```bash
export AWS_HOST=rook-ceph-rgw-my-store.rook-ceph
export AWS_ENDPORT=10.103.168.162:80
export AWS_ACCESS_KEY_ID=42DPXRE5OFRNJK8A3OFI
export AWS_SECRET_ACCESS_KEY=k0SxaIoQAbUYLKpLxdkwbOWuCZHfg9iJ77G28YY5
```
![未命名图片.png](/media/202406/9.6.16860485_image9.png) 	• Host：在群集中找到rgw服务的DNS主机名。 	• Endpoint：rgw服务正在侦听的端点。运行kubectl -n rook-ceph get svc rook-ceph-rgw-my-store，然后组合clusterIP和端口。 	• Access key：access_key如上打印的用户 	• Secret key：secret_key如上打印的用户

## 2. 安装s3cmd
	`yum --assumeyes install s3cmd`

## 3. 验证

- 获取 Bucket 列表

`# s3cmd ls --no-ssl --host=${AWS_HOST}`  	![未命名图片.png](/media/202406/9.6.16860485_image10.png)

- 将文件上传到新创建的对象

`# echo "Hello Rook" > /tmp/rookObj`  	`# s3cmd put /tmp/rookObj --no-ssl --host=${AWS_HOST} --host-bucket= s3://ceph-bkt-f139c5f5-1200-42fa-8c74-668ecb38bdda`  ![未命名图片.png](/media/202406/9.6.16860485_image11.png)

- 从 Bucket 下载并验证文件

`# s3cmd get s3://ceph-bkt-f139c5f5-1200-42fa-8c74-668ecb38bdda/rookObj /tmp/rookObj-download --no-ssl --host=${AWS_HOST} --host-bucket=`  	`# cat /tmp/rookObj-download`  ![未命名图片.png](/media/202406/9.6.16860485_image12.png)

# 四、集群外部访问
	• Rook设置了对象存储，因此Pod可以访问集群内部。如果应用程序在集群外部运行，则需要通过来设置外部服务NodePort。

## 1. 将RGW公开给群集的服务。保留该服务不变，并为外部访问创建一个新服务。
	![未命名图片.png](/media/202406/9.6.16860485_image13.png)

- 查看/rook/cluster/examples/kubernetes/ceph/rgw-external.yaml并创建nodeport服务

![未命名图片.png](/media/202406/9.6.16860485_image14.png) 	`# kubectl apply -f rgw-external.yaml`

## 2. 查看正在运行的rgw服务，并注意外部服务在哪个端口上运行：
	`# kubectl -n rook-ceph get service rook-ceph-rgw-my-store rook-ceph-rgw-my-store-external`  ![未命名图片.png](/media/202406/9.6.16860485_image15.png)

- 内部的rgw服务在port上运行80，外部端口为31106。现在可以CephObjectStore从任何地方访问了！您只需要集群中任何计算机的主机名，外部端口和用户凭据。

## 3. 创建一个用户
如果需要创建一组独立的用户凭据来访问S3端点，先创建一个CephObjectStoreUser。该用户将使用S3 API连接到群集中的RGW服务。用户将独立于先前创建的任何对象。

- 查看object-user.yaml并创建用户

![未命名图片.png](/media/202406/9.6.16860485_image16.png) 	`# kubectl apply -f object-user.yaml`

## 4. 查看用户密钥信息
	`# kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o yaml | grep AccessKey | awk '{print $2}' | base64 --decode`  	`# kubectl -n rook-ceph get secret rook-ceph-object-user-my-store-my-user -o yaml | grep SecretKey | awk '{print $2}' | base64 --decode`