ceph基本环境搭建 使用cephadm

cephadm的安装

cephadm工具是官方推荐使用的工具，这个工具是V15版本octopus之后新增的工具，可以用来安装和管理ceph工具，这个工具不支持之前的版本的配置。

下载脚本cephadm

curl --silent --remote-name --location https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm

使用这个命令有可能会无法下载，采用网上的方式在/etc/hosts下将IP地址和网址名进行写入，这样就不需要使用dns服务器进行解析。

配置octopus的软件源并安装软件

#需要用到python,没有需要提前安装,需要注意的是这里安装的是cephadm可执行程序。 
./cephadm add-repo --release octopus 
./cephadm install #执行完此命令后cephadm就被安装了,使用which cephadm可以查看到软件的安装位置。

这里如果没有安装docker会在第二步install的时候报错。

安装docker

注意：不仅配置使用的节点需要用到docker和python3，所有的节点都需要有这些配置，否则是不会执行成功的。

#配置阿里云yum源 
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 

#安装containerd.io 
yum install -y https://download.docker.com/linux/centos/7/x86_64/stable/Packages/containerd.io-1.2.13-3.1.el7.x86_64.rpm 

#安装docker-ce 
yum install -y docker-ce 

#配置docker镜像加速 
mkdir -p /etc/docker 
cat > /etc/docker/daemon.json <<EOF 
{ 
"registry-mirrors": ["https://uyah70su.mirror.aliyuncs.com"] 
} EOF 

#启动docker服务 
systemctl enable --now docker

启动新的集群

mkdir -p /etc/ceph 
cephadm bootstrap --mon-ip *<mon-ip>* #替换为主服务的IP地址，确保这个IP与其他的服务器相通。

上面的命令进行了以下的操作：

• 为本地上的新集群创建monitor和manager守护进程。
• 为新集群生成新的sshkey并添加到/root/.ssh/authorized_keys
• 添加一个必须的最小配置文件到/etc/ceph.conf
• 向/etc/ceph/ceph.client.admin.keyring写入client.admin管理（特权！）secret key的副本。
• 将public key的副本写入/etc/ceph/ceph.pub。

此命令执行完毕后，所有相关的服务已经启动，包括众多的docker镜像，如下：

• ceph-mgr ceph管理程序
• ceph-monitor ceph监视器
• ceph-crash 崩溃数据收集模块
• prometheus prometheus监控组件
• grafana 监控数据展示dashboard
• alertmanager prometheus告警组件
• node_exporter prometheus节点数据收集组件

基本的操作指令

ceph orch ps #查看所有组件的运行状态 
ceph orch ps --daemon-type mds #查看单个组件的运行状态 
cephadm ls #容器的状态查看，列出来的使用json格式的内容

使用网页登录

使用bootstarp之后初始化结束时，会在最后打印出使用网页访问的地址以及用户名和密码。

...
INFO:cephadm:Creating initial admin user...
INFO:cephadm:Fetching dashboard port number...
INFO:cephadm:Ceph Dashboard is now available at:

             URL: https://node1:8443/
            User: admin
        Password: nfyee637l9

INFO:cephadm:You can access the Ceph CLI with:

        sudo /usr/sbin/cephadm shell --fsid 55e5485a-b292-11ea-8087-000c2993d00b -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring

INFO:cephadm:Please consider enabling telemetry to help improve Ceph:

        ceph telemetry on

For more information see:

        https://docs.ceph.com/docs/master/mgr/telemetry/

INFO:cephadm:Bootstrap complete.

启用CEPH命令

如果不安装所有的ceph命令，就需要使用下边的指令，进入到cephshell模式，然后在输入ceph指令

cephadm shell

也可以使用此种方式执行ceph命令

cephadm shell -- ceph -s

推荐使用以下的方法，直接将所有的指令全部下载下来

cephadm add-repo --release octopus 
cephadm install ceph-common

测试命令是否好用

ceph -v
ceph version 15.2.4 (7447c15c6ff58d7fce91843b705a268a1917325c) octopus (stable)

检查ceph的状态信息

ceph status

若出现使用yum安装程序时，提醒xxx.rpm公钥尚未安装的问题

解决办法：

1.使用 yum install xxx.rpm --nogpgcheck跳过公钥检查（临时）

2.在相应的.repo文件中修改gpgcheck值为0，gpgcheck=0（长期）