ceph集群rbd使用详解
一个完整的ceph集群，可以提供块存储、文件系统和对象存储。
本节主要介绍rbd存储功能如何灵活的使用，集群背景：
$ ceph -s
cluster:
id: 537175bb-51de-4cc4-9ee3-b5ba8842bff2
health: HEALTH_OK
services:
mon: 3 daemons, quorum ceph-node1,ceph-node2,ceph-node3 (age 2m)
mgr: ceph-node1(active, since 2d), standbys: ceph-node2
mds: mycephfs:1 {0=ceph-node2=up:active} 1 up:standby
osd: 12 osds: 12 up (since 30h), 12 in (since 30h)
rgw: 2 daemons active (ceph-node1, ceph-node2)
task status:
data:
pools: 7 pools, 201 pgs
objects: 212 objects, 6.9 KiB
usage: 12 GiB used, 1.2 TiB / 1.2 TiB avail
pgs: 201 active+cleanrbd(块存储)介绍及使用
rbd介绍
RBD即RADOS Block Device的简称，RBD块存储是最稳定且最常用的存储类型。RBD块设备类似磁盘可以被格式化、挂载。RBD块设备具有快照、多副本、克隆和一致性等特性，数据以条带化的方式存储在Ceph集群的多个OSD中。
rbd工作流程
- 客户端创建一个pool，并指定pg数量，创建rbd设备并挂载；
- 用户写入数据，ceph进行对数据切块，每个块的大小默认为4M，每个块名字是object+序号；
- 将每个object通过哈希算法分配给对应的pg；
- pg根据crush算法会寻找3个osd（假设副本数为3），把这object分别保存在这3个osd上存储，这一组osd就是pgp的概念；
- osd实际把硬盘格式化为xfs文件系统，object存储在这个文件系统就相当于存储了一个文件rbd0.object1.file。
rbd创建及使用
某节点想要挂载、创建或使用rbd功能，必须满足以下两个条件
- 有操纵ceph集群的能力，也就是必须要有ceph.conf文件
- 要有ceph客户端相关组件，也就是ceph-common组件包
（1）创建
## 创建pool
$ ceph osd pool create myrbd1 64 64
pool 'myrbd1' created
## 将此pool启动rbd功能
$ ceph osd pool application enable myrbd1 rbd
enabled application 'rbd' on pool 'myrbd1'
## 初始化pool池
$ rbd pool init -p myrbd1
## 创建一个10G大小的块镜像
$ rbd create --size 10240 myrbd1/image01
## 查看存储池中的image
$ rbd ls --pool myrbd1
image01
## 查看镜像详情
$ rbd info myrbd1/image01
rbd image 'image01':
size 10 GiB in 2560 objects
order 22 (4 MiB objects)
snapshot_count: 0
id: 121a89b2ad1f2
block_name_prefix: rbd_data.121a89b2ad1f2
format: 2
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
op_features:
flags:
create_timestamp: Mon Feb 21 11:24:07 2022
access_timestamp: Mon Feb 21 11:24:07 2022
modify_timestamp: Mon Feb 21 11:24:07 2022（2）映射到客户端机器内核
## 映射到内核
# rbd map myrbd1/image01
rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable myrbd1/image01 object-map fast-diff deep-flatten".
In some cases useful info is found in syslog - try "dmesg | tail".
rbd: map failed: (6) No such device or address以上有报错，因为ceph rbd很多特性基于内核，提示此版本内核不支持object-map fast-diff deep-flatten特性
将此特性关闭
rbd feature disable myrbd1/image01 object-map fast-diff deep-flatten再次映射
# rbd map myrbd1/image01
## 查看机器块设备
lsblk | grep rbd
rbd0 252:0 0 10G 0 disk
## List mapped rbd images.
# rbd showmapped
id pool namespace image snap device
0 myrbd1 image01 - /dev/rbd0（3）格式化、挂载、测试、持久化
# mkfs.xfs /dev/rbd0
# mount /dev/rbd0 /mnt/测试读写
# for((i=1;i<=20;i++));do echo $i > $i.txt;done
# ls
10.txt 12.txt 14.txt 16.txt 18.txt 1.txt 2.txt 4.txt 6.txt 8.txt
11.txt 13.txt 15.txt 17.txt 19.txt 20.txt 3.txt 5.txt 7.txt 9.txt
# cat 1.txt
1卸载image
# umount /dev/rbd0
# rbd unmap myrbd1/image01如果取消映射失败，提示设备忙，则加上-o force参数
映射到其他机器，检查数据是否还存在
# mount /dev/rbd0 /mnt/rbd/
# cd /mnt/rbd
# ls
10.txt 12.txt 14.txt 16.txt 18.txt 1.txt 2.txt 4.txt 6.txt 8.txt
11.txt 13.txt 15.txt 17.txt 19.txt 20.txt 3.txt 5.txt 7.txt 9.txt
# cat 1.txt
1测试完毕，未丢失数据。
（4）修改rbd image存储空间大小
$ rbd resize myrbd1/image01 --size 15G
Resizing image: 100% complete...done.
$ rbd info myrbd1/image01
rbd image 'image01':
size 15 GiB in 3840 objects
order 22 (4 MiB objects)image01修改至15G大小
目前查看大小还是10G：
# df -h | grep mnt
/dev/rbd0 10G 33M 10G 1% /mntresize后，内核会直接识别到，不用重新map，直接刷新块设备即可：
# xfs_growfs /dev/rbd0
meta-data=/dev/rbd0 isize=512 agcount=16, agsize=163840 blks
= sectsz=512 attr=2, projid32bit=1
= crc=1 finobt=0 spinodes=0
data = bsize=4096 blocks=2621440, imaxpct=25
= sunit=1024 swidth=1024 blks
naming =version 2 bsize=4096 ascii-ci=0 ftype=1
log =internal bsize=4096 blocks=2560, version=2
= sectsz=512 sunit=8 blks, lazy-count=1
realtime =none extsz=4096 blocks=0, rtextents=0
data blocks changed from 2621440 to 3932160
# df -h | grep mnt
/dev/rbd0 15G 34M 15G 1% /mntxfs用xfs_growfs命令刷新，ext4和ext3用resize2fs
rbd快照的使用
（1）快照: 在某个时间点的副本，当系统出现问题，可以通过恢复快照恢复之前副本状态。
创建快照
$ rbd snap create myrbd1/image01@snap01
$ rbd snap list myrbd1/image01
SNAPID NAME SIZE PROTECTED TIMESTAMP
4 snap01 10 GiB Tue Feb 22 11:33:32 2022
$ rbd info myrbd1/image01@snap01
rbd image 'image01':
size 10 GiB in 2560 objects
order 22 (4 MiB objects)
snapshot_count: 1
id: 121a89b2ad1f2
block_name_prefix: rbd_data.121a89b2ad1f2
format: 2
features: layering, exclusive-lock
op_features:
flags:
create_timestamp: Mon Feb 21 11:24:07 2022
access_timestamp: Mon Feb 21 11:24:07 2022
modify_timestamp: Mon Feb 21 11:24:07 2022
protected: False模拟删除数据，恢复快照
# ls
10.txt 12.txt 14.txt 16.txt 18.txt 1.txt 2.txt 4.txt 6.txt 8.txt
11.txt 13.txt 15.txt 17.txt 19.txt 20.txt 3.txt 5.txt 7.txt 9.txt
# rm -f *
# cd ..
# umount /dev/rbd0
# rbd unmap myrbd1/image01
## 恢复
$ rbd snap rollback myrbd1/image01@snap01
Rolling back to snapshot: 100% complete...done.注意：恢复快照前，需要先将rbd设备umount和取消内核映射，然后再进行rollback。
重新挂载，验证数据是否恢复
# rbd map myrbd1/image01
# mount /dev/rbd0 /mnt/rbd/
# ls
10.txt 12.txt 14.txt 16.txt 18.txt 1.txt 2.txt 4.txt 6.txt 8.txt
11.txt 13.txt 15.txt 17.txt 19.txt 20.txt 3.txt 5.txt 7.txt 9.txt数据恢复完成
（2）克隆: 基于指定的块设备克隆出相同的一份出来
克隆是要基于块设备的快照进行的，我们之前用上一步所创建出来的snap01来进行演示克隆功能。
设置快照处于被保护状态(快照必须处于被保护状态才能被克隆)
## 设为被保护状态
$ rbd snap protect myrbd1/image01@snap01
## 查看详情，主要是protected变成了TRUE
$ rbd info myrbd1/image01@snap01
rbd image 'image01':
size 10 GiB in 2560 objects
order 22 (4 MiB objects)
snapshot_count: 1
...
protected: True通过快照克隆一个新块设备
## 克隆
rbd clone replicapool/image01@snap01 replicapool/image01_clone
## 查看目前所有image
# rbd ls replicapool
image01
image01_clone
## 查看克隆块设备信息
# rbd info replicapool/image01_clone
rbd image 'image01_clone':
size 10 GiB in 2560 objects
order 22 (4 MiB objects)
snapshot_count: 0
id: 8549a76ff74f
block_name_prefix: rbd_data.8549a76ff74f
format: 2
features: layering
op_features:
flags:
create_timestamp: Tue Mar 29 14:40:51 2022
access_timestamp: Tue Mar 29 14:40:51 2022
modify_timestamp: Tue Mar 29 14:40:51 2022
parent: replicapool/image01@snap01
overlap: 10 GiB这个克隆设备主要多了 parent: myrbd1/image01@snap01 这行配置，表示它的父关系
取消其父关系，使其独立，随后再进行mount测试
## 独立于父块设备
# rbd flatten myrbd1/image01_clone
Image flatten: 100% complete...done.
## 找其他机器，映射其克隆设备
# rbd map myrbd1/image01_clone
/dev/rbd1
# mount 即可需要注意：根据块设备的快照克隆的块设备UUID不发生改变，所以克隆的块设备不能和原块设备挂载同一台主机上，否则会产生冲突：
/dev/rbd0: UUID="14e60e20-3620-4177-a453-400b00caad1b" TYPE="xfs"
/dev/rbd1: UUID="14e60e20-3620-4177-a453-400b00caad1b" TYPE="xfs"rbd快照删除
$ rbd snap remove myrbd1/image01@snap01
Removing snap: 100% complete...done.
$ rbd snap list myrbd1/image01导入导出RBD镜像
1.导出rbd镜像
# rbd export myrbd1/image01 /home/nfs/image01_bak
Exporting image: 100% complete...done.2.导入镜像，恢复数据
先删除image01
## 快照要提前删完
# rbd snap remove replicapool/image01@snap01
Removing snap: 100% complete...done.
## 删除镜像
# rbd remove replicapool/image01
Removing image: 100% complete...done.重新导入镜像
# rbd import /home/nfs/image01_bak myrbd1/image01 --image-format 2
Importing image: 100% complete...done.重新挂载测试数据是否存在
# rbd map replicapool/image01
/dev/rbd0
# mount /dev/rbd0 /mnt/
# ls /mnt/
10.txt 12.txt 14.txt 16.txt 18.txt 1.txt 2.txt 4.txt 6.txt 8.txt
11.txt 13.txt 15.txt 17.txt 19.txt 20.txt 3.txt 5.txt 7.txt 9.txt没什么问题
rbd使用普通用户挂载
首先，某节点想要挂载、创建或使用rbd功能，必须满足以下两个条件
- 有操纵ceph集群的能力，也就是必须要有ceph.conf文件
- 要有ceph客户端相关组件，也就是ceph-common组件包
（1）查看当前所有用户及权限
$ ceph auth list
installed auth entries:
mds.ceph-node1
key: AQBoFg9iVjO6DhAADSCzL/Njv16XONHBAPuRLA==
caps: [mds] allow
caps: [mon] allow profile mds
caps: [osd] allow rwx
mds.ceph-node2
key: AQCGFg9icS7TCBAAGvFfz/C5Av0P6Hu1Ws5SUw==
caps: [mds] allow
caps: [mon] allow profile mds
caps: [osd] allow rwx
...默认情况下，ceph每个组件都会创建对应的用户，每个用户都有自己对应的的权限。
授权类型：
| 权限 | 说明 |
|---|---|
| r | 向用户授予读取权限。读取集群各个组件（MON/OSD/MDS/CRUSH/PG）的状态。访问监视器(mon)以检索 CRUSH 运行图时需具有此能力。 |
| w | 向用户授予针对对象的写入权限。 |
| x | 授予用户调用类方法(包括读取和写入)的能力，以及在监视器中执行 auth 操作的能力。 |
| * | 授予用户对特定守护进程/存储池的读取、写入和执行权限，以及执行管理命令的能力 |
| class-read | 授予用户调用类读取方法的能力，属于是 x 能力的子集。 |
| class-write | 授予用户调用类写入方法的能力，属于是 x 能力的子集。 |
| profile osd | 授予用户以某个 OSD 身份连接到其他 OSD 或监视器的权限。授予 OSD 权限，使 OSD 能够处理复制检测信号流量和状态报告。 |
| profile mds | 授予用户以某个 MDS 身份连接到其他 MDS 或监视器的权限。 |
| profile bootstrap-osd | 授予用户引导 OSD 的权限(初始化 OSD 并将 OSD 加入 ceph 集群)，授 权给部署工具，使其在引导 OSD 时有权添加密钥。 |
| profile bootstrap-mds | 授予用户引导元数据服务器的权限，授权部署工具权限，使其在引导 元数据服务器时有权添加密钥。 |
获取指定用户权限信息：
$ ceph auth get client.admin
exported keyring for client.admin
[client.admin]
key = AQA0bgdi30YtIRAABefFzbzVQw0vCttrjeqirA==
caps mds = "allow *"
caps mgr = "allow *"
caps mon = "allow *"
caps osd = "allow *"（2）创建普通用户，并赋予对应的权限
## 创建 client.vfan 用户，并授权可读 MON、可读写 OSD
$ ceph auth add client.vfan mon 'allow r' osd 'allow rw pool=myrbd1'
added key for client.vfan
$ ceph auth get client.vfan
exported keyring for client.vfan
[client.vfan]
key = AQCq2CViGig9HxAA64YqzL85idfTn3TRzE18dQ==
caps mon = "allow r"
caps osd = "allow rw pool=myrbd1"
## 如果该用户已存在，此命令只以密钥文件格式返回用户名和密钥。授权可读 MON，可读写 OSD
$ ceph auth get-or-create client.tom mon 'allow r' osd 'allow rw pool=myrbd1'
[client.tom]
key = AQDh2SVi+cFJJhAAXZomi67Sfd7vbbUE9MmHDw==
## 如果该用户已存在，此命令只返回密钥。授权可读 MON，可读写 OSD
$ ceph auth get-or-create-key client.tony mon 'allow r' osd 'allow rw pool=myrbd1'
AQAV2iVizi0pLhAA1RXFbxcYeDZqJxtKW9ZzSg==（3）传输用户密钥至客户端主机
当客户端访问 ceph 集群时，ceph 会使用以下四个密钥环文件预设置密钥环设置：
/etc/ceph/<$cluster name>.<user $type>.<user $id>.keyring # 保存单个用户的 keyring
/etc/ceph/cluster.keyring # 保存多个用户的 keyring
/etc/ceph/keyring # 未定义集群名称的多个用户的 keyring
/etc/ceph/keyring.bin # 编译后的二进制文件创建普通用户密钥权限文件：
$ ceph auth get client.vfan -o ceph.client.vfan.keyring
$ cat ceph.client.vfan.keyring
[client.vfan]
key = AQCq2CViGig9HxAA64YqzL85idfTn3TRzE18dQ==
caps mon = "allow r"
caps osd = "allow rw pool=myrbd1"此文件还可以进行用户恢复操作，具体命令ceph auth import -i ceph.client.vfan.keyring，这种恢复方式，用户key值不会发生改变。
将密钥权限文件传输至客户端主机：
$ sudo scp ceph.client.vfan.keyring ceph-node2:/etc/ceph/（4）客户端使用普通用户测试访问集群
# ceph --user vfan -s
cluster:
id: 537175bb-51de-4cc4-9ee3-b5ba8842bff2
health: HEALTH_OK
services:
mon: 3 daemons, quorum ceph-node1,ceph-node2,ceph-node3 (age 2m)
mgr: ceph-node1(active, since 2d), standbys: ceph-node2
mds: mycephfs:1 {0=ceph-node2=up:active} 1 up:standby
osd: 12 osds: 12 up (since 30h), 12 in (since 30h)
rgw: 2 daemons active (ceph-node1, ceph-node2)
task status:
data:
pools: 8 pools, 265 pgs
objects: 273 objects, 14 MiB
usage: 8.1 GiB used, 792 GiB / 800 GiB avail
pgs: 265 active+clean默认情况下，ceph是用admin用户，可以使用--user指定用户。
（5）普通用户挂载rbd
因为之前创建用户赋予权限时没有给osd的x权限，现在重新赋予一下权限：
$ ceph auth caps client.vfan mon 'allow r' osd 'allow rwx pool=myrbd1'updated caps for client.vfan映射到内核，挂载rbd
$ sudo rbd map myrbd1/image01 --user vfan
$ sudo mount /dev/rbd0 /mnt/
$ ls /mnt/
10.txt 12.txt 14.txt 16.txt 18.txt 1.txt 2.txt 4.txt 6.txt 8.txt
11.txt 13.txt 15.txt 17.txt 19.txt 20.txt 3.txt 5.txt 7.txt 9.txt取消映射
$ sudo rbd unmap myrbd1/image01 --user vfan（6）其他操作如更改镜像大小、创建快照、克隆等功能，均与admin用户操作相同，只不过每条命令后边会添加--user [用户名]的操作，例如：
$ rbd resize replicapool/image01 --size 15G --user vfan
Resizing image: 100% complete...done.