一、概述

本文档记录了VSM Import Cluster功能验证过程及过程中遇到的问题。

二、准备

2.1.网络规划

1) Management Network：VSM控制节点对其他节点的管理网络，本例为172.16.34.0/24

2) Ceph Public Network：ceph-client <---> ceph-mon 以及ceph-client <---> ceph-osd之间的通信网络，本例为192.1.35.0/24

3) Ceph Cluster Network：ceph-osd <---> ceph-mon以及ceph-osd<---> ceph-osd之间的通信网络，本例为192.3.35.0/24

2.2.预配置描述

在启动新部署之前，需要执行某些预配置的步骤。 下面是针对VM的情况，但一般步骤也应该适用于裸机：

VSM至少需要三个存储节点和一个控制器，因为我们这次搭建的是vsm import cluster的集群，因此创建四个centos虚拟机。 其中一个将是VSM控制器，其他三个将是集群中的存储节点。 由于存储节点配置基本相同，我们只需指定并安装一个控制节点，然后将其克隆即可。对于VSM控制器。我们可以克隆存储节点，再加些配置即可。

2.3 安装ceph集群

2.3.1 ceph集群预配置

2.3.1.1创建一台有三个网卡的虚拟机。

2.3.1.2 配置网络：

1）更改/etc/sysconfig/network-scripts/ifcfg-ens32：

sed -i "s/BOOTPROTO=dhcp/BOOTPROTO=static/g" /etc/sysconfig/network-scripts/ifcfg-ens32
cat << EOF >> /etc/sysconfig/network-scripts/ifcfg-ens32

IPADDR=172.16.34.52

GATEWAY=172.16.34.524

NETMASK=255.255.0.0

DNS1=10.19.8.10

DNS2=8.8.4.4

EOF

2)添加/etc/sysconfig/network-scripts/ifcfg-ens33，/etc/sysconfig/network-scripts/ifcfg-ens35，内容分别如下

TYPE=Ethernet

BOOTPROTO=static

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

NAME=ens33

DEVICE=ens33

ONBOOT=yes

IPADDR=192.1.35.52

GATEWAY=192.1.35.254

NETMASK=255.255.0.0
TYPE=Ethernet

BOOTPROTO=static

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

NAME=ens35

DEVICE=ens35

ONBOOT=yes

IPADDR=192.3.35.52

GATEWAY=192.3.35.254

NETMASK=255.255.0.0

3）更改IP后，执行：

service network restart

2.3.1.3关闭SELinux

setenforce

sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

2.3.1.4 安装NTP和SSH服务器：

yum install -y ntp ntpdate ntp-doc

yum install -y openssh-server

2.3.1.5.更改hostname和hosts文件

hostnamectl set-hostname ceph01
cat << EOF >> /etc/hosts

192.1.35.52 ceph01

192.1.35.53 ceph02

192.1.35.54 ceph03

EOF

2.3.1.6配置安装源

1）配置阿里云的centos的源

yum install wget

yum clean all

rm -rf /etc/yum.repos.d/*.repo

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo

sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo

#sed -i 's/$releasever/7.2.1511/g' /etc/yum.repos.d/CentOS-Base.repo

2）配置ceph安装源

cat << EOF >/etc/yum.repos.d/ceph.repo

[ceph]

name=Ceph packages for $basearch

baseurl= http://mirrors.aliyun.com/ceph/rpm-hammer/el7/x86_64/

enabled=

priority=

gpgcheck=

type=rpm-md

[ceph-noarch]

name=Ceph noarch packages

baseurl=http://mirrors.aliyun.com/ceph/rpm-hammer/el7/noarch/enabled=1

gpgcheck=

type=rpm-md

[ceph-source]

name=Ceph source packages

baseurl=http://mirrors.aliyun.com/ceph/rpm-hammer/el7/SRPMS

enabled=

priority=

gpgcheck=

type=rpm-md

EOF

2.3.1.7关闭虚拟机并将其克隆用于第2，3个存储节点，并更改其hostname和ip

2.3.1.8 更新软件库

ceph1更新软件库并安装ceph-deploy：

非ceph1执行：

yum update

ceph1执行

 yum –y update && yum -y install ceph-deploy

2.3.1.9 配置无密码 SSH 登录 (在ceph1节点上执行即可)

1)生成 SSH 密钥对，但不要用 sudo 或 root 用户

ssh-keygen

2) 把公钥拷贝到各 Ceph 节点

ssh-copy-id root@ceph01

ssh-copy-id root@ceph02

ssh-copy-id root@ceph03

2.3.1.10.新建/root/.ssh/config （所有节点）

命令如下：

mkdir -p /root/.ssh

touch /root/.ssh/config

cat << EOF > /root/.ssh/config

Host ceph01

Hostname ceph01

User root

Host ceph02

Hostname ceph02

User root

Host ceph03

Hostname ceph03

User root

EOF

2.3.2 部署存储集群

2.3.2.1创建集群目录

在管理节点ceph1上创建一个目录，用于保存 ceph-deploy 生成的配置文件和密钥对

ssh root@ceph1

mkdir -p /home/ceph-cluster

cd /home/ceph-cluster

2.3.2.2创建一集群

下面操作在ceph1节点下操作

1. 创建集群

ceph-deploy new ceph01 ceph02 ceph03

2. 如果你有多个网卡，可以把 public network 写入 Ceph 配置文件的 [global] 段下

public network = {ip-address}/{netmask}

echo "public network = 192.1.35.0/24" | sudo tee -a ceph.conf

echo "cluster network = 192.2.35.0/24" | sudo tee -a ceph.conf

3 安装 Ceph

ceph-deploy install ceph01 ceph02 ceph03 --no-adjust-repos

4.配置初始监视器、并收集所有密钥

ceph-deploy mon create-initial

2.3.3添加osd

ceph-deploy disk zap ceph01:/dev/sdb

ceph-deploy osd prepare ceph01:/dev/sdb

ceph-deploy osd activate ceph01:/dev/sdb1

ceph-deploy disk zap ceph02:/dev/sdb

ceph-deploy osd prepare ceph02:/dev/sdb

ceph-deploy osd activate ceph02:/dev/sdb1

ceph-deploy disk zap ceph03:/dev/sdb

ceph-deploy osd prepare ceph03:/dev/sdb

ceph-deploy osd activate ceph03:/dev/sdb1

2.4 vsm-controller节点安装VSM软件

2.4.1 安装前准备

克隆一个虚拟机，作为vsm-controller节点，进行相应的配置。ip、hostname、/etc/hosts/、ssh无密访问、ceph源。

1.设置IP

1）更改/etc/sysconfig/network-scripts/ifcfg-ens32：

sed -i "s/BOOTPROTO=dhcp/BOOTPROTO=static/g" /etc/sysconfig/network-scripts/ifcfg-ens32
cat << EOF >> /etc/sysconfig/network-scripts/ifcfg-ens32

IPADDR=172.16.34.51

GATEWAY=172.16.34.524

NETMASK=255.255.0.0

DNS1=10.19.8.10

DNS2=8.8.4.4

EOF

2)添加/etc/sysconfig/network-scripts/ifcfg-ens33，内容如下

TYPE=Ethernet

BOOTPROTO=static

DEFROUTE=yes

PEERDNS=yes

PEERROUTES=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_PEERDNS=yes

IPV6_PEERROUTES=yes

IPV6_FAILURE_FATAL=no

NAME=ens33

DEVICE=ens33

ONBOOT=yes

IPADDR=192.1.35.51

GATEWAY=192.1.35.254

NETMASK=255.255.0.0

2.更改hostname

hostnamectl set-hostname ceph-vsm-console

3.设置安装源

见2.3.1.6 节 配置安装源

4.配置主机名解析 在所有节点上配置/etc/hosts 

cat << EOF >> /etc/hosts

172.16.34.51 ceph-vsm-console

172.16.34.52 ceph01

172.16.34.53 ceph02

172.16.34.54 ceph03

192.1.35.51 ceph-vsm-console

192.1.35.52 ceph01

192.1.35.53 ceph02

192.1.35.54 ceph03

EOF

5.配置与ceph集群ssh无密访问

ssh-keygen

ssh-copy-id root@ceph01

ssh-copy-id root@ceph02

ssh-copy-id root@ceph03

6.关闭SELinux及iptables 在所有节点上执行一下配置 

setenforce   
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

2.4.2 安装VSM软件

2.4.2.1下载released版本

wget https://github.com/01org/virtual-storage-manager/releases/download/v2.1.0/2.1.0-336_centos7.tar.gz

2.4.2.2解压

tar -xzvf 2.1.-336_centos7.tar.gz

解压后文件结构如下：

# tree 2.1.0-336

2.1.0-336

├── CHANGELOG.md

├── CHANGELOG.pdf

├── get_pass.sh

├── INSTALL.md

├── INSTALL.pdf

├── installrc

├── install.sh

├── LICENSE

├── manifest

│   ├── cluster.manifest.sample

│   └── server.manifest.sample

├── NOTICE

├── prov_node.sh

├── README.md

├── RELEASE

├── rpms.lst

├── uninstall.sh

├── VERSION

└── vsmrepo

├── python-vsmclient-2.1.0-336.noarch.rpm

├── repodata

│   ├── 09c2465aa2670cc6b31e3eda4818b2983eeab0432965a184d0594a3f4669d885-primary.sqlite.bz2

│   ├── 52d75398c3b713a4d7bb089c9fef6d13e7fd0d0b305a86b5dff117c720990507-other.xml.gz

│   ├── 8299117fe070fbbb4e3439d0643a074fbe77a17da9cbaf9abd77e1f758050f38-filelists.sqlite.bz2

│   ├── aa6bec470daa2eb404e71a228252eaa5712c84deaf2052ed313afd2c5948d826-other.sqlite.bz2

│   ├── d8b7b087bd3b68158cc2d7e44cc5bad17b3b299351a57f81c2d791f9043e0998-primary.xml.gz

│   ├── dfc4f61fdf63c9903e137c2ae20f54186876e672ad84b24a9b9ab8d368931d62-filelists.xml.gz

│   └── repomd.xml

├── vsm-2.1.0-336.noarch.rpm

├── vsm-dashboard-2.1.0-336.noarch.rpm

└── vsm-deploy-2.1.0-336.x86_64.rpm

3 directories, 28 files

2.4.2.3 修改installrc文件，填入controller节点ip和agent节点ip

AGENT_ADDRESS_LIST="172.16.34.56 172.16.34.57 172.16.34.58" CONTROLLER_ADDRESS="172.16.34.55"

2.4.2.4配置VSM信息

1）.在manifest文件夹中新建四个文件夹分别以四个ip地址命名。

manifest/

├── 172.16.34.51

├── 172.16.34.52

├── 172.16.34.53

├── 172.16.34.54

├── cluster.manifest.sample

└── server.manifest.sample

2）. 把cluster.manifest.sample拷到controller节点ip的文件夹中，重命名成cluster.manifest。

修改里面的storage_class、storage_group、addr等信息，一般是你使用哪种硬盘就改成哪种，ip地址修改成相应的网段；

cp cluster.manifest.sample 172.16.34.51

mv 172.16.34.55/cluster.manifest.sample 172.16.34.51/cluster.manifest

cluster.manifest 更改后如下：

[storage_class]

vm_sas

[storage_group]

#format: [storage group name]  [user friendly storage group name] [storage class]

vm_sas       vm_sas    vm_sas

[cluster]

vsm_ceph

[file_system]

xfs

[management_addr]

172.16.34.0/

[ceph_public_addr]

192.1.35.0/

[ceph_cluster_addr]

192.2.35.0/

[settings]

storage_group_near_full_threshold

storage_group_full_threshold

ceph_near_full_threshold

ceph_full_threshold

pg_count_factor

heartbeat_interval

osd_heartbeat_interval

osd_heartbeat_grace 

[ec_profiles]

[cache_tier_defaults]

3）.把Server.manifest.sample拷贝到其余三个节点ip的文件夹中。修改vsm_controller_ip、role和硬盘路径。具体配置信息可参考官网的配置文档。

cp server.manifest.sample 172.16.34.52

mv 172.16.34.52/cluster.manifest.sample 172.16.34.51/cluster.manifest

cluster.manifest 更改后如下：

[vsm_controller_ip]

172.16.34.51

[role]

storage

monitor

[auth_key]

f0f0603a754a432daa0edbaf28229bae-d19eed1d25fd46699ba0717c7b95ebd2

[vm_sas]

#format [sas_device]  [journal_device]

/dev/sdb1 /dev/sdb2

4）设置好VSM信息后，manifest文件夹结构如下：

[root@console manifest]# tree

.

├── 172.16.34.51

│   └── cluster.manifest

├── 172.16.34.52

│   └── server.manifest

├── 172.16.34.53

│   └── server.manifest

├── 172.16.34.54

│   └── server.manifest

├── cluster.manifest.sample

└── server.manifest.sample

4 directories, 6 files

2.4.2.5 安装VSM 软件

./install.sh -v 2.1 --check-dependence-package

./install.sh -v 2.1 --controller 172.16.34.51

2.5 ceph节点安装VSM软件

2.5.1 安装VSM软件

./install.sh -v 2.1 --agent agent1-ip,agent2-ip,agent3-ip

./install.sh -v 2.1 --agent 172.16.34.52,172.16.34.53,172.16.34.54

2.5.2 在各ceph节点上启动vms-agent

在ceph各节点执行

python /usr/bin/vsm-agent --config-file /etc/vsm/vsm.conf --log-file /var/log/vsm/vsm-agent.log >& &

VSM Import Cluster功能验证一（准备篇）的更多相关文章

  1. VSM Import Cluster功能验证二（导入篇）

    三 vsm import cluster 3.1登录vsm web UI 登陆 VSM web UI,https://172.16.34.51/dashboard/vsm/,点击Cluster Man ...

  2. (转)[jQuery]使用jQuery.Validate进行客户端验证（初级篇）——不使用微软验证控件的理由

    以前在做项目的时候就有个很大心病,就是微软的验证控件,虽然微软的验证控件可以帮我们完成大部分的验证,验证也很可靠上手也很容易,但是我就是觉得不爽,主要理由有以下几点: 1.拖控件太麻烦,这个是微软控件 ...

  3. 通过扩展改善ASP.NET MVC的验证机制[使用篇]

    原文:通过扩展改善ASP.NET MVC的验证机制[使用篇] ASP.NET MVC提供一种基于元数据的验证方式是我们可以将相应的验证特性应用到作为Model实体的类型或者属性/字段上,但是这依然具有 ...

  4. 利用JS提交表单的几种方法和验证(必看篇)

    第一种方式:表单提交,在form标签中增加onsubmit事件来判断表单提交是否成功 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 <scr ...

  5. [jQuery]使用jQuery.Validate进行客户端验证（初级篇）

    以前在做项目的时候就有个很大心病,就是微软的验证控件,虽然微软的验证控件可以帮我们完成大部分的验证,验证也很可靠上手也很容易,但是我就是觉得不爽,主要理由有以下几点: 1.拖控件太麻烦,这个是微软控件 ...

  6. kafka 消费组功能验证以及消费者数据重复数据丢失问题说明 3

    原创声明:作者:Arnold.zhao 博客园地址:https://www.cnblogs.com/zh94 背景 上一篇文章记录了kafka的副本机制和容错功能的说明,本篇则主要在上一篇文章的基础上 ...

  7. Ascend Pytorch算子功能验证

    Ascend Pytorch算子功能验证 编写测试用例 以add算子为例,测试脚本文件命名为:add_testcase.py.以下示例仅为一个简单的用例实现,具体算子的实现,需要根据算子定义进行完整的 ...

  8. SuperMap-iServer-单点登录功能验证(CAS)

    SuperMap-iServer-单点登录功能验证(CAS) 1.测试目的: 验证SuperMap-iServer使用CAS单点登录的功能是否正常. 2.测试环境: SuperMap-iServer8 ...

  9. 关于WEB Service&WCF&WebApi实现身份验证之WebApi篇

    之前先后总结并发表了关于WEB Service.WCF身份验证相关文章,如下: 关于WEB Service&WCF&WebApi实现身份验证之WEB Service篇. 关于WEB S ...

随机推荐

  1. NHibernate-NativeSQL

    一.调用方式 1.创建查询 var sql = session.CreateSQLQuery("SELECT * FROM sns_User WHERE UserName LIKE :use ...

  2. 微信图片反防盗链 用js不太成熟的解决方式 仅供参考

    $("#imgDiv img").each(function () { var img = $(this); var img_src = img.attr("src&qu ...

  3. sql设置字段默认值

    alter table 表名 modify 字段名 default 默认值;

  4. hive单节点数据倾斜解决方法

    一.现象 map/reduce程序执行时,reduce节点大部分执行完毕,但是有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一个key的条数比其他key多很多(有时是百 ...

  5. 第一个Django应用程序_part2

    一.数据库配置 此文延续第一个Django应用程序_part1. 打开mystic/settings.py.这是一个普通的Python模块,其模块变量表示Django配置 默认情况下,配置使用SQLi ...

  6. WIFI配置专项测试

    1. 测试项目 A. 路由器加密方式测试: B. 路由器信道选择测试: C. DHCP过期时间测试 D. 路由器WIFI密码复杂度测试: 2. 测试结果 2.1. 加密方式测试 路由器密码为简单,其他 ...

  7. Zedboard学习（二）：zedboard的Linux下交叉编译环境搭建 标签： 交叉编译linuxzedboard 2017-07-04 23:49 19人阅读

    环境准备 首先肯定是要下载xilinx-2011.09-50-arm-xilinx-linux-gnueabi.bin文件,这是官方提供的linux下交叉编译链安装文件,下载地址为:https://p ...

  8. 数字图像处理实验（总计23个）汇总 标签： 图像处理MATLAB 2017-05-31 10:30 175人阅读 评论(0)

    以下这些实验中的代码全部是我自己编写调试通过的,到此,最后进行一下汇总. 数字图像处理实验(1):PROJECT 02-01, Image Printing Program Based on Half ...

  9. g2o 图优化

    http://www.cnblogs.com/gaoxiang12/p/5244828.html 扩展里面csparse

  10. ubuntu 16.04 nfs服务的搭建

    nfs服务是实现Linux和Linux之间的文件共享,nfs服务的搭建比较简单. 现在介绍如何在ubuntu16.04系统中搭建nfs服务,ubuntu的搭建比红帽的还要简单. 1.安装nfs服务 s ...