MongoDB分片副本集生产环境部署-Windows版本

title: MongoDB分片副本集生产环境部署(Windows版本)
date: 2022-10-29 17:21:11
tags:
- 运维

系统架构

配置环境

1. 系统都是windows 10 专业版，使用VMWare安装作为实验环境
2. MongoDB版本为6.0.2

架构图

部署架构：

访问流程：

架构说明

1. Mongos是用户和集群之间的交互点，实际上mongos应该和客户端部署在同一台服务器上(重点!!，参考最后一节中的参考文章3)

2. 集群的配置文件是部署在ConfigServer中的

3. ShardServer是存储数据的节点，是一主一从一仲裁，主节点负责写，从节点负责读，仲裁节点只负责在主节点挂掉之后投票的，不会存储数据，因此整个分片复制集都是高可用状态

4. ConfigServer是配置节点，为一主二从，节点数量必须为3个，否则一个挂掉之后会变成只读？（不确定，官网推荐的是必须是奇数）

5. 以上配置属于最低配置，如果服务器有富余的话建议每一个主从节点都单独部署，从而达到最高吞吐量

6. 以上部署了两个分片，每个分片都是一个副本集，且注意一个副本集内的节点不能有两个在同一个主机上，否则宕机的话会一起挂掉

部署流程

安装MongoDB

1. mongodb下载地址：https://www.mongodb.com/try/download/community，选择zip压缩包
2. mongosh下载：https://www.mongodb.com/try/download/shell，6.0之后不会自带mongoshell，因此需要自己下载对应的工具包然后解压缩到mongodb的bin目录下
3. mongocompass：https://www.mongodb.com/try/download/compass，mongodb的gui连接工具，如果用的其它的工具也可以跳过这个

配置Shard1分片主节点

新建文件夹如下：

配置文件内容为：

dbpath=C:\mongodb\shard1\data
logpath=C:\mongodb\shard1\log\shard1.log
journal=true
port=20001
replSet=shard1
bind_ip=0.0.0.0 # 必须加,否则连不上

运行并安装成服务，以管理员运行如下命令：

mongod -config C:\mongodb\shard1\shard1_primary.conf --install –serviceName MongoDBShard1Primary -serviceDisplayName MongoDBShard1Primary

配置Shard2分片主节点

创建对应文件夹：

配置文件内容：

dbpath=C:\mongodb\shard2\data
logpath=C:\mongodb\shard2\log\shard2.log
journal=true
port=30001
replSet=shard2
bind_ip=0.0.0.0 # 必须加,否则连不上

管理员运行如下命令：

mongod -config C:\mongodb\shard2\shard2_primary.conf --install –serviceName MongoDBShard2Primary -serviceDisplayName MongoDBShard2Primary

配置ConfigServer主节点

新建文件夹如下：

配置文件内容如下：

dbpath=C:\mongodb\configserver\data
logpath=C:\mongodb\configserver\log\config.log
journal=true
port=40001
replSet=config-server
bind_ip=0.0.0.0 # 必须加,否则连不上
configsvr=true

管理员运行如下命令：

mongod -config C:\mongodb\configserver\config_primary.conf --install –serviceName MongoDBConfigPrimary -serviceDisplayName MongoDBConfigPrimary

设置完成之后到任务管理器把三个服务都启动，服务状态变成正在运行则说明一切正常：

这时候我们第一台服务器就配好了，mongos我们先暂时不配置，要等所有都配置完成了再弄

配置Shard1从节点

和配置Shard1的主节点一模一样，在主机2上新建好文件夹，配置文件也是一样的，运行如下命令安装从节点服务：

mongod -config C:\mongodb\shard1\shard1_secondary.conf --install –serviceName MongoDBShard1Secondary -serviceDisplayName MongoDBShard1Secondary

配置Shard2仲裁节点

和配置Shard2的主节点一模一样，在主机2上新建好文件夹，配置文件也是一样的，运行如下命令安装仲裁节点服务：

mongod -config C:\mongodb\shard2\shard2_arb.conf --install –serviceName MongoDBShard2Arb -serviceDisplayName MongoDBShard2Arb

配置ConfigServer从节点

和配置ConfigServer的主节点一模一样，在主机2上新建好文件夹，配置文件也是一样的，运行如下命令安装从节点服务：

mongod -config C:\mongodb\configserver\config_secondary.conf --install –serviceName MongoDBConfigSecondary -serviceDisplayName MongoDBConfigSecondary

以上3个配置完成之后，同样的在任务管理器内运行服务，下面是截图：

配置Shard1仲裁节点

和配置Shard1的主节点一模一样，在主机3上新建好文件夹，配置文件也是一样的，运行如下命令安装仲裁节点服务：

mongod -config C:\mongodb\shard1\shard1_arb.conf --install –serviceName MongoDBShard1Arb -serviceDisplayName MongoDBShard1Arb

配置Shard2从节点

和配置Shard2的主节点一模一样，在主机3上新建好文件夹，配置文件也是一样的，运行如下命令安装从节点服务：

mongod -config C:\mongodb\shard2\shard2_secondary.conf --install –serviceName MongoDBShard2Secondary -serviceDisplayName MongoDBShard2Secondary

配置ConfigServer从节点

和配置ConfigServer的主节点一模一样，在主机3上新建好文件夹，配置文件也是一样的，运行如下命令安装仲裁节点服务：

mongod -config C:\mongodb\configserver\config_arb.conf --install –serviceName MongoDBConfigArb -serviceDisplayName MongoDBConfigSecondary

同样的，主机3也全都配置好了，运行相应的服务：

配置副本集

这一步我们要把Shard1、Shard2、ConfigServer三个部分的副本集都配置好，首先在主机1上运行如下命令：

mongo -port 20001 # 进入shard1主节点
use admin #进入管理员数据库

config = {
    _id : "shard1",
    configsvr: false,
    version: 1,
    members : [
        { _id : 0 , host : "192.168.137.128:20001" },
        { _id : 1 , host : "192.168.137.134:20001" },
        { _id : 2 , host : "192.168.137.133:20001" , arbiterOnly : true},
    ]
}

rs.initiate(config) # 初始化shard1集群

rs.status() #查看状态

shard1分片的副本集就配置好了，接着配置shard2副本集：

mongo -port 30001 # 进入shard1主节点
use admin #进入管理员数据库

config = {
    _id : "shard2",
    configsvr: false,
    version: 1,
    members : [
        { _id : 0 , host : "192.168.137.128:30001" },
        { _id : 1 , host : "192.168.137.134:30001", arbiterOnly : true },
        { _id : 2 , host : "192.168.137.133:30001" },
    ]
}

rs.initiate(config) # 初始化shard1集群

rs.status() #查看状态

shard2副本集配置就好了，接着配置configserver：

mongo -port 40001 # 进入shard1主节点
use admin #进入管理员数据库

config = {
    _id : "config-server",
    configsvr: true,
    version: 1,
    members : [
        { _id : 0 , host : "192.168.137.128:40001" },
        { _id : 1 , host : "192.168.137.134:40001"},
        { _id : 2 , host : "192.168.137.133:40001"}
    ]
}

rs.initiate(config) # 初始化shard1集群

rs.status() #查看状态

配置Mongos

新建C:\mongodb\mongos.conf配置文件，内容如下：

logpath=C:\mongodb\mongos\mongos.log
port=50001
bind_ip=0.0.0.0

直接在主机1上运行如下命令配置成服务：

mongos -configdb "config-server/192.168.137.128:40001,192.168.137.134:40001,192.168.137.133:40001" --config C:\mongodb\mongos.conf --install –serviceName MongoDBMongos -serviceDisplayName MongoDBMongos

之前没建的一些文件记得创建，否则启动不起来，记得在对应目录下建一下对应的日志文件

然后在任务管理器启动对应服务，运行成功之后就可以用MongoCompass连接测试了，地址为mongodb://192.168.137.128:50001/，连接之后截图如下：

到此成功，接下来客户端只需要连接这个mongos的地址就行了

登录账号密码验证

连接mongos，输入如下命令创建用户:

mongo -port 50001
use admin
db.createUser({user:'admin',pwd:'admin',roles:['clusterAdmin','dbAdminAnyDatabase','userAdminAnyDatabase','readWriteAnyDatabase']})
# 查看用户 在 admin库
db.system.users.find().pretty()

到http://slproweb.com/products/Win32OpenSSL.html下载openssl工具，安装之后输入这个命令：

openssl rand -base64 756 > D:/key.file

生成一个keyfile，然后复制到每个主机的C:\mongodb\key.file路径，之后重新配置configserver、shard1、shard2的所有节点配置：

auth=true
keyFile=C:\mongodb\key.file

然后全部重启，新的连接字符串如下：

>mongo -port 50001 -u admin -p "admin"

如果用mongocompass连接方式如下：

mongodb://admin:admin@192.168.137.128:50001/?authMechanism=DEFAULT

连接成功截图

到这步就大功告成！如果后面需要添加任何分片节点，重复上面的步骤就可以了，每个分片需要配置一主一从一仲裁，仲裁节点其实可以放在一个监控服务器上，因为不需要存储数据

其他操作及问题

修改配置

mongo --port 20001 -u "admin" -p "admin"

# 获取配置
cfg = rs.conf()

# 测试环境和生产环境这里不能配localhost，否则客户端访问不到
cfg.members[0].host = "你的IP 或者域名"  

# 重新加载配置
rs.reconfig(cfg)

新增或者删除新的节点

mongo --port 20001 -u "admin" -p "admin"
rs.add("IP:端口") # 普通节点
rs.addArb("IP:端口") # 仲裁节点
rs.remove("IP:端口") # 删除节点

mongo 控制台乱码

由于mongodb后台的字符编码都是utf-8的，而中文windows cmd窗口使用的字符编码是GBK（属性-》选项-》当前代码页），所以当在cmd中使用mongo命令查询数据并显示后，中文会变成乱码。

使用下述方式修改cmd窗口的编码为utf8如下，再次查询时中文会显示正常，但是仍然不能执行中文的插入操作，可以使用MongoVUE工具执行中文的插入操作：

1. chcp 65001

2. 选择“属性”中的字体，除“点阵字体”外所有的都行

来自文章：https://blog.51cto.com/u_15127509/4595971

未完成的部分

1. 虽然设置了分片集群，但是每个集合和数据库都还不是分片的，需要自己手动连接mongos设置，这里就不继续加了，很简单
2. 分片状态下怎么备份？怎么还原？这一条是大问题，后面有空了解了再写一篇新博客

参考文章

1. https://www.freesion.com/article/98231067515/
2. https://www.cnblogs.com/young978/p/15721098.html
3. https://dba.stackexchange.com/questions/188164/how-to-make-mongos-to-be-in-a-replica-set
4. 分片认证