Centos7.9离线部署ceph（octopus）

原创文档编写不易，未经许可请勿转载，目前仅发布于博客园，其他平台均为非法转载。文档中有疑问的可以邮件联系我文章。 邮箱：yinwanit@163.com说明

文档适用于cenots7.9操作系统下部署ceph octopus版本分布式存储使用。
离线部署的本质是先基于在线环境如vmware workstation虚拟机在线完整的部署一次，以获取部署所需的软件包。
文档可用于在线部署，亦可用于离线部署。
离线部署关键点（注意文章中部署描述）：

• 准备好所需的rpm包
  
• 准备好所需的docker镜像
  
• 修改cephadm代码
  

一、环境说明


1.1  Ceph软件架构


 

 关键组件释义：

  
1.2  服务器规划

3台虚拟机，每台主机两个网段。管理和业务网络分离部署，3个监控节点。20GB磁盘安装操作系统、40G规格磁盘裸盘配置osd。

1.3  软件清单

Vmware+centos7+docker+ceph

1.4 部署步骤

①、配置基础环境

• 关闭操作系统安全软件
  
• 设置ip地址
  
• 设置ntp
  
• 设置主机名和hosts解析
  
• 禁用swap
  
• 配置免密登录
  
• 配置yum源
  
• 安装依赖软件
  

②、ceph软件部署

• 配置cephadm
  
• 初始化ceph集群
  
• 添加集群节点
  
• 设置mon节点
  
• 部署osd
  
• 部署mds
  
• 部署rgw
  

二、基础环境部署

2.1  关闭安全软件

所有节点均需配置。

1. ##关闭firewalld防火墙# systemctl stop firewalld # systemctl disable firewalld# systemctl mask firewalld ##关闭selinux# setenforce 0# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

复制代码

2.2 设置ip地址

所有节点均需配置。

1. ##删除当前存在的配置# nmcli conn delete ens33;nmcli conn delete ens36 ##创建新IP地址配置文件ens33# nmcli conn add type ethernet  ifname ens33 con-name ens33 connection.autoconnect yes ipv4.method manual  ipv4.gateway "192.168.10.2"  ipv4.dns "192.168.10.2" ipv4.addresses  "192.168.10.100/24"##创建新IP地址配置文件ens36# nmcli conn add type ethernet  ifname ens36 con-name ens36 connection.autoconnect yes ipv4.method manual ipv4.addresses  "192.168.20.100/24"##手动down，up网卡配置。# nmcli conn down ens33;nmcli conn down ens33;nmcli conn up ens33;nmcli conn up ens33

复制代码

2.3  构建ntp服务器（选配）

如果环境中有可用的ntp服务器该步骤可省略，在节点中任选一台机器配置ntp服务器（只在某一台上面操作）

1. ##编辑/etc/chrony.conf配置文件，允许节点网段访问。# vim /etc/chrony.conf  server 192.168.20.100 iburst  allow 192.168.20.0/24  local stratum 10# systemctl restart chronyd# systemctl enable  chronyd##查看时间是否同步# chronyc sources

复制代码

2.4 节点配置ntp

所有节点均需配置。可以使用已有的ntp服务器，也可以使用上一步创建的ntp服务器。

1. ##每个节点均需要配置# vim /etc/chrony.conf  server 192.168.20.100 iburst# systemctl restart chronyd# systemctl enable  chronyd##查看时间是否同步# chronyc sources

复制代码

2.5  配置主机名和hosts解析

所有节点均需配置。

1. ##配置主机名，每个节点均需要配置，红色字体部分按照实际环境替换。# hostnamectl set-hostname  ceph01##每个节点均需要配置，添加蓝色字体内容# cat /etc/hosts  192.168.10.100 ceph01  192.168.10.101 ceph02  192.168.10.102 ceph03  192.168.20.100 ceph01  192.168.20.101 ceph02  192.168.20.102 ceph03

复制代码

2.6  禁用swap

所有节点均需配置。

1. ##每个节点均需要配置，sed修改后确保/etc/fstab文件中没有swap相关行。# swapoff  -a# sed -i '/swap/d'  /etc/fstab

复制代码

2.7 配置免密登录

主节点上操作即可。

1. ##生成密钥，传到其他节点上。# ssh-keygen -f /root/.ssh/id_rsa -P ''# ssh-copy-id -o StrictHostKeyChecking=no 192.168.10.100# ssh-copy-id -o StrictHostKeyChecking=no 192.168.10.101# ssh-copy-id -o StrictHostKeyChecking=no 192.168.10.102

复制代码

2.8 配置yum源

所有节点均需配置。
阿里云线上centos7yum源，/etc/yum.repos.d/alibase.repo。

1. [base]name=CentOS-$releasever – Base – mirrors.aliyun.comfailovermethod=prioritybaseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/gpgcheck=0gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#released updates[updates]name=CentOS-$releasever – Updates – mirrors.aliyun.comfailovermethod=prioritybaseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/gpgcheck=1gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7#additional packages that may be useful[extras]name=CentOS-$releasever – Extras – mirrors.aliyun.comfailovermethod=prioritybaseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/gpgcheck=1gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

复制代码

View Code清华大学octopus版本ceph yum源，/etc/yum.repos.d/qhceph.repo。

1. [ceph]name=cephbaseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/x86_64/enabled=1gpgcheck=0[Ceph-noarch]name=Ceph noarchbaseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/noarch/enabled=1gpgcheck=0[Ceph-source]name=Ceph SRPMSbaseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/SRPMS/enabled=1gpgcheck=0

复制代码

View Code阿里云线上docker-ce yum源，/etc/yum.repos.d/alidocker-ce.repo。

1. [docker-ce-stable]name=Docker CE Stable – $basearchbaseurl=https://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/stableenabled=1gpgcheck=1gpgkey=https://mirrors.aliyun.com/docker-ce/linux/centos/gpgbaseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-octopus/el7/SRPMS/enabled=1gpgcheck=0

复制代码

View Code阿里云线上cetos7 扩展yum源，/etc/yum.repos.d/alicetos-epel.repo。

1. [epel]name=Extra Packages for Enterprise Linux 7 – $basearchbaseurl=http://mirrors.aliyun.com/epel/7/$basearch#mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearchfailovermethod=priorityenabled=1gpgcheck=0gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7

复制代码

View Code阿里云线上cetos7 k8syum源，/etc/yum.repos.d/alik8s.repo。

1. [kubernetes]name=Kubernetesbaseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/enabled=1gpgcheck=1repo_gpgcheck=1gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

复制代码

View Codeyum源配置完成过后，执行以下命令。

1. ##刷新yum源仓库，载入yum源# yum clean all# yum repolist

复制代码

2.9  安装依赖软件

所有节点均需配置。
[code]##安装必要的依赖软件。# yum install -y python3  yum-utils  docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin python3-ceph-common python3-ceph-argparse ceph-common ##配置docker-ce软件# cat > /etc/docker/daemon.json