Ceph搭建

1、准备虚拟机admin node1 node2 node3 client，node节点需要添加硬盘作为存储

2、修改IP计算机名字以及所有机器相互解析（所有节点操作）

hostnamectl set-hostname 计算机名

vim /etc/hosts #相互解析（几台服务器添加几条） IP地址 主机名

3、关闭防火墙及selinux（所有节点操作）

4、useradd cephu （所有节点操作）

passwd cephu #密码设置为123 （所有节点操作）

5、给cephu用户所有节点上sudo权限（所有节点操作）

cephu ALL=(root) NOPASSWD:ALL 输入visudo，然后复制粘贴，用TAB键隔开

6、实现SSH无密码登陆（admin节点操作）

su – cephu

ssh-keygen

7、将admin节点cephu用户生成的密钥拷贝到各节点（admin节点操作）

ssh-copy-id cephu@node1

ssh-copy-id cephu@node2

ssh-copy-id cephu@node3

ssh-copy-id cephu@client

测试 ssh cephu@node1

8、在admin节点用root用户添加~/.ssh/config配置文件，并运行如下设置，这样ceph-deploy就能用你创建的用户名登陆ceph节点了（admin节点操作，root用户）

mkdir ~/.ssh

vim ~/.ssh/config 写入下面代码

9、添加下载源，安装ceph-deploy(admin节点操作，root用户)(顺便把所有源都换成阿里云)

sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

vim /etc/yun.repos.d/ceph.repo

[ceph-noarch]

name=Ceph noarch packages

baseurl=https://download.ceph.com/rpm-luminous/el7/noarch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

yum makecache

yum update

开启yum缓存

vim /etc/yum.conf

keepcacha=1

安装

yum -y install ceph-deploy

10、ntp时间同步

yum -y install ntp

vim /etc/ntp.conf

server 127.127.1.0 #local clock

fudge 127.127.1.0 stratum 10

[root@admin yum.repos.d]# systemctl start ntpd

[root@admin yum.repos.d]# systemctl enable ntpd #(admin节点)

其他所有节点：

yum -y install ntpdate

ntpdate 192.168.1.190 (其他所有节点)190是服务器地址

==========================分割线====================================

注意！！没有特别说明以下所有操作均是在admin节点，cephu用户下执行

1、创建cephu操作的目录

su – cephu

cd ~

wget https://files.pythonhosted.org/packages/5f/ad/1fde06877a8d7d5c9b60eff7de2d452f639916ae1d48f0b8f97bf97e570a/distribute-0.7.3.zip #创建集群会报错，先安装这个脚本

sudo python setup.py install

mkdir my-cluster

2、创建集群

cd my-cluster

ceph-deploy new node1

3、手动安装luminous-12.2.13

目标：在node1 node2 node3三节点安装上ceph ceph-radosgw主包

yum -y install epel*

官方源

vim /etc/yum.repos.d/cephu.repo

[Ceph]

name=Ceph packages for $basearch

baseurl=http://download.ceph.com/rpm-luminous/el7/$basearch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

priority=1

[Ceph-noarch]

name=Ceph noarch packages

baseurl=http://download.ceph.com/rpm-luminous/el7/noarch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

priority=1

[Ceph-source]

name=Ceph source

baseurl=http://download.ceph.com/rpm-luminous/el7/SRPMS

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://download.ceph.com/keys/release.asc

priority=1

阿里源

[Ceph]

name=Ceph packages for $basearch

baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/$basearch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc

priority=1

[Ceph-noarch]

name=Ceph noarch packages

baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc

priority=1

[Ceph-source]

name=Ceph source

baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc

priority=1

=======================分割线=============================

然后三台node节点执行安装命令

sudo yum -y install ceph ceph-radosgw

如果因为速度慢导致安装失败可以停止以后利用它创建的yum缓存目录，手动把安装包下载下载保存到缓存目录/var/cache/yum/x86_64/7/Ceph/packages下再次执行安装命令sudo yum -y install ceph ceph-radosgw

ceph –version 检查

4、初始化mon(admin节点cephu用户执行)

ceph-deploy mon create-initial

5、赋予每个节点使用命令免用户名权限

ceph-deploy admin node1 node2 node3

6、安装ceph-mgr，只有luminous才有，为dashboard做准备

ceph-deploy mgr create node1

7、添加OSD

注意：各个节点上提供存储空间的磁盘大小不能太低，最好5G以上，注意检查磁盘名字

ceph-deploy osd create –data /dev/sdb node1

ceph-deploy osd create –data /dev/sdb node2

ceph-deploy osd create –data /dev/sdb node3

无需分区格式化，如果有分区需要置顶具体分区，通过如下命令查看

ssh node1 lsblk -f

最后通过如下命令查看集群状态

ssh node1 sudo ceph -s

===========================分割线============================================

dashboard的部署配置：在node1上操作

把ceph-mgr和ceph-mon安装在同一个主机上，最好只有一个ceph-mgr

[root@node1 ~]# su – cephu

1、创建管理域的密钥：

[cephu@node1 ~]$ sudo ceph auth get-or-create mgr.node1 mon ‘allow profile mgr’ osd ‘allow *’ mds ‘allow *’

2、开启ceph-mgr管理域

[cephu@node1 ~]$ sudo ceph-mgr -i node1

3、查看ceph的状态：确认mgr的状态为active

[cephu@node1 ~]$ sudo ceph status

cluster:

id: 9adad5c6-89cd-4405-adac-3f1777bf513a

health: HEALTH_WARN

3 osds down

3 hosts (3 osds) down

1 root (3 osds) down

services:

mon: 1 daemons, quorum node1

mgr: node1(active, starting)

osd: 3 osds: 0 up, 3 in

data:

pools: 0 pools, 0 pgs

objects: 0 objects, 0B

usage: 3.01GiB used, 57.0GiB / 60.0GiB avail

pgs:

4、打开dashboard模块：

[cephu@node1 ~]$ sudo ceph mgr module enable dashboard

5、绑定开启dashboard，模块的ceph-mgr节点的Ip地址：

[cephu@node1 ~]$ sudo ceph config-key set mgr/dashboard/node1/server_addr 192.168.1.191 #也就是node1的ip地址，显示set mgr/dashboard/node1/server_addr即可

6、web登录：

mgr地址：7000

===========================分割线============================================