Ceph运维及案例分享

武宇亭

目录

Ceph 服务进程管理

Scaling out Ceph集群

Scaling down Ceph集群

Ceph集群更换磁盘

Ceph运维案例

Ceph服务进程管理

按类型管理

service ceph start/stop mon

service ceph start/stop osd

service ceph stop/start

管理特定进程

service ceph start/stop osd.X

service ceph start/stop mon.YYY

Ceph服务进程管理

启动Ceph集群

首先启动mon服务

然后启动osd服务

停止Ceph集群

首先停止osd服务

然后停止mon服务

目录

Ceph 服务进程管理

Scaling out Ceph集群

Scaling down Ceph集群

Ceph集群更换磁盘

Ceph运维案例

Scaling out Ceph集群

编辑ceph.conf，添加新的OSD配置，并同步到所

有节点 vim ceph.conf [osd.X] osd host = hostname osd journal = XXX …

向Ceph集群中添加OSD ceph-disk prepare ceph-disk activate

Scaling out Ceph集群

编辑crushmap，将新增的osd归入合适的bucket

ceph osd getcrushmp –o map1

crushtool –d map1 –o map2

vim map2

crushtool –c map2 –o map3

合适的时刻导入crushmap触发数据迁移 ceph osd setcrushamp –i map3

目录

Ceph 服务进程管理

Scaling out Ceph集群

Scaling down Ceph集群

Ceph集群更换磁盘

Ceph运维案例

Scaling down Ceph集群

编辑crushmap，在对应的bucket中去掉osd

ceph osd getcrushmp –o map1

crushtool –d map1 –o map2

cp map2 map2.bak

vim map2

crushtool –c map2 –o map3

合适的时刻导入crushmap触发数据迁移 ceph osd setcrushamp –i map3

Scaling down Ceph集群

在ceph集群中去掉osd

ceph osd out X

service ceph stop osd.X

ceph osd crush remove osd.X

ceph auth del osd.X

ceph osd rm X

编辑ceph.conf并同步到所有节点 vim ceph.conf

目录

Ceph 服务进程管理

Scaling out Ceph集群

Scaling down Ceph集群

Ceph集群更换磁盘

Ceph运维案例

Ceph集群更换磁盘

在ceph集群中去掉坏掉的osd

ceph osd out X

ceph osd crush remove osd.X

ceph auth del osd.X

ceph osd rm X

更换磁盘

创建新的OSD

ceph-disk prepare

ceph-disk activate

目录

Ceph 服务进程管理

Scaling out Ceph集群

Scaling down Ceph集群

Ceph集群更换磁盘

Ceph运维案例

Ceph运维Scaling down案例

环境描述

Server1

Server2

Server7

Rack1

Server3

Server4

Server8

Rack2

Server5

Server6

Server9

Rack3

Ceph运维Scaling down案例

方案一、在每个Rack中直接移除host

结果：失败

原因：数据迁移到一定程度以后就会停止，因为每个

OSD要求保留一定的空间

Ceph运维Scaling down案例

方案二、依次移除host上的OSD

结果：失败

原因：由于部分OSD权重设置有误，个别OSD磁盘写

满，导致OSD进程异常。

Ceph运维Scaling down案例

方案三、重新调整Crushmap后再移除

结果：成功

Server1

Server2

Server7

Rack1

Server3

Server4

Server8

Rack2

Server5

Server6

Server9

Rack3

Server3

Server4

Server1

Server2

Server3

Server4

THX