mongodb 主从复制

MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。

MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。

官方配置说明：https://docs.mongodb.com/manual/reference/configuration-options/#configuration-file

MongoDB的4.x版本已经不再支持主从复制，而是使用副本集(replica-set)。

环境准备：

ip hostname status
192.168.20.3 node2003 primary
192.168.20.4 node2004 secondary

###node2003:
```
~]# cd /usr/local/pkg/
~]# tar xf mongodb-linux-x86_64-rhel70-4.0.5.tgz
~]# mv mongodb-linux-x86_64-rhel70-4.0.5 mongodb
~]# vim /etc/profile.d/mongodb.sh
export PATH=/usr/loca/pkg/mongodb/bin:$PATH
~]# source /etc/profile.d/mongodb.sh

~]# mkdir {conf.d,data,logs}

~]# vim /usr/local/pkg/mongodb/conf.d/mongodb.conf

systemLog:

destination: file

发送所有日志输出的目标。指定file或syslog,如果指定file,则必须指定systemLog.path

logAppend: false

设置为true时，将新条目添加到现有日志文件的末尾。如果设置为false,将备份现有日志并创建新文件。默认为false

logRotate: rename

renme:重命名旧日志文件，创建新日志文件记录

reopen:重新将日志追加进旧日志，需logAppend设置为true

path: /usr/local/pkg/mongodb/logs/mongod.log

日志文件路径

Where and how to store data.

storage:

dbPath: /usr/local/pkg/mongodb/data

数据库存储路径

journal:

enabled: true

#默认值：64位系统上为true,32位系统上为false。启用持久性日志以确保数据文件保持有效和可恢复。不支持使用内存存储引擎的实例。

how the process runs

processManagement:

fork: true # fork and run in background

后台运行

pidFilePath: /var/run/mongodb/mongod.pid

pid文件路径

timeZoneInfo: /usr/share/zoneinfo

加载时区数据库的完整路径。如果未提供此选项，则mongodb将使用其内置时区数据库

network interfaces

net:

port: 27017

监听TCP端口

bindIp: node2003

绑定主机名或IP地址或完整的Unix域套接字路径。要绑定多个地址，用逗号分隔

ssl.mode: disabled

启用或禁用用于所有网络连接的TLS/SSL或混合TLS/SSL。有如下参数

disable:服务器不使用TLS/SSL

allowSSL:服务器之间的连接不使用TLS/SSL。对于连入的连接，服务器接受TLS/SSL和非TLS/SSL

preferSSL:服务器之间的连接使用TLS/SSL。对于连入的连接，服务器接受TLS/SSL和非TLS/SSL

requireSSL:服务器仅使用和接受TLS/SSL加密连接

replication复制集

replication:

oplogSizeMB: 2048

复制操作日志的最大大小(MB为单位)。

主节点的操作记录成为oplog(operation log),oplog存储在特殊的数据local中。oplog只是作为从节点与主节点保持数据同步的机制

replSetName: mymon

4.x版本使用副本集代替主从复制。副本集中的所有主机必具有相同的集名称。



####启动服务

~]# mongod -f conf.d/mongodb.conf

~]# tail -f logs/mongod.log

2018-12-27T16:28:31.184+0800 I CONTROL [initandlisten]

2018-12-27T16:28:31.184+0800 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.

2018-12-27T16:28:31.184+0800 I CONTROL [initandlisten] ** We suggest setting it to 'never'

2018-12-27T16:28:31.184+0800 I CONTROL [initandlisten]

2018-12-27T16:28:31.185+0800 I CONTROL [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/defrag is 'always'.

2018-12-27T16:28:31.185+0800 I CONTROL [initandlisten] ** We suggest setting it to 'never'

2018-12-27T16:28:31.185+0800 I CONTROL [initandlisten]

2018-12-27T16:28:31.196+0800 I FTDC [initandlisten] Initializing full-time diagnostic data capture with directory '/usr/local/pkg/mongodb/data/diagnostic.data'

2018-12-27T16:28:31.197+0800 I NETWORK [initandlisten] waiting for connections on port 27017

2018-12-27T16:28:32.023+0800 I FTDC [ftdc] Unclean full-time diagnostic data capture shutdown detected, found interim file, some metrics may have been lost. OK

有两处警告，需要处理



**禁用hugepage:**

自CentOS6版本开始引入了Transparent Huge Pages(THP)，从CentOS7版本开始，该特性默认就会启用。尽管THP的本意是为提升内存的性能，不过某些数据库厂商还是建议直接关闭THP(比如说Oracle、MariaDB、MongoDB等)，否则可能会导致性能出现下降。

**临时关闭(重启服务生效)：**

echo never >> /sys/kernel/mm/transparent_hugepage/enabled

echo never >> /sys/kernel/mm/transparent_hugepage/defrag



**永久关闭(重启机器生效)：**

~]# cat /etc/rc.d/rc.local

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then

echo never > /sys/kernel/mm/transparent_hugepage/enabled

fi

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then

echo never > /sys/kernel/mm/transparent_hugepage/defrag

fi

<br /><br />

###node2004:

~]# cd /usr/local/pkg/

~]# tar xf mongodb-linux-x86_64-rhel70-4.0.5.tgz

~]# mv mongodb-linux-x86_64-rhel70-4.0.5 mongodb

~]# vim /etc/profile.d/mongodb.sh

export PATH=/usr/loca/pkg/mongodb/bin:$PATH

~]# source /etc/profile.d/mongodb.sh

~]# vim mongodb/conf.d/mongodb.conf

systemLog:

destination: file

logAppend: false

logRotate: rename

path: /usr/local/pkg/mongodb/logs/mongod.log

Where and how to store data.

storage:

dbPath: /usr/local/pkg/mongodb/data

journal:

enabled: true

how the process runs

processManagement:

fork: true

pidFilePath: /var/run/mongodb/mongod.pid

timeZoneInfo: /usr/share/zoneinfo

network interfaces

net:

port: 27017

bindIp: node2004

node2004机器

ssl.mode: disabled

replication:

oplogSizeMB: 2048

replSetName: mymon

关闭hugepage后启动服务

~]# mongod -f mongodb/conf.d/mongodb.conf

about to fork child process, waiting until server is ready for connections.

forked process: 18275

child process started successfully, parent exiting //启动成功

<br /><br />

####node2003:

~]# mongo node2003:27071

MongoDB shell version v4.0.5

connecting to: mongodb://node2003:27017/test?gssapiServiceName=mongodb

Implicit session: session { "id" : UUID("4d6ec81a-957a-4a43-a0b6-0d80d5aa5536") }

MongoDB server version: 4.0.5

Server has startup warnings:

2018-12-27T17:24:04.568+0800 I CONTROL [initandlisten]

2018-12-27T17:24:04.568+0800 I CONTROL [initandlisten] ** WARNING: Access control is not enabled for the database.

2018-12-27T17:24:04.568+0800 I CONTROL [initandlisten] ** Read and write access to data and configuration is unrestricted. //读写不受限制

2018-12-27T17:24:04.568+0800 I CONTROL [initandlisten] ** WARNING: You are running this process as the root user, which is not recommended. //正常还是别用root帐号起服务

2018-12-27T17:24:04.568+0800 I CONTROL [initandlisten]

Enable MongoDB's free cloud-based monitoring service, which will then receive and display

metrics about your deployment (disk utilization, CPU, operation statistics, etc).

The monitoring data will be available on a MongoDB website with a unique URL accessible to you

and anyone you share the URL with. MongoDB may use this information to make product

improvements and to suggest MongoDB products and deployment options to you.

To enable free monitoring, run the following command: db.enableFreeMonitoring()

To permanently disable this reminder, run the following command: db.disableFreeMonitoring()

//定义一个配置对象

config={_id:"mymon", members:[{_id:0,host:"node2003:27017",priority:1}]}

{

"_id" : "mymon",

	#副本名称

    "members" : [

            {

                    "_id" : 0,

                    "host" : "node2003:27017",

                    "priority" : 1

					#优先级，数字越小，优先级越大。就会被优先选举成primary节点

            }

    ]

}

//调用rs API初始化set

rs.initiate(config)

{

"ok" : 1,

"operationTime" : Timestamp(1545903526, 1),

"$clusterTime" : {

"clusterTime" : Timestamp(1545903526, 1),

"signature" : {

"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

"keyId" : NumberLong(0)

}

}

}

mymon:SECONDARY>

//登陆提示符已经显示出来了,但不是primary节点，应该是节点还没选举完成。重新查看一下本机的配置

mymon:SECONDARY> rs.conf()

{

"_id" : "mymon",

"version" : 1,

"protocolVersion" : NumberLong(1),

"writeConcernMajorityJournalDefault" : true,

"members" : [

{

"_id" : 0,

"host" : "node2003:27017",

"arbiterOnly" : false,

"buildIndexes" : true,

"hidden" : false,

"priority" : 1,

"tags" : {

                    },

                    "slaveDelay" : NumberLong(0),

                    "votes" : 1

            }

    ],

    "settings" : {

            "chainingAllowed" : true,

            "heartbeatIntervalMillis" : 2000,

            "heartbeatTimeoutSecs" : 10,

            "electionTimeoutMillis" : 10000,

            "catchUpTimeoutMillis" : -1,

            "catchUpTakeoverDelayMillis" : 30000,

            "getLastErrorModes" : {

            },

            "getLastErrorDefaults" : {

                    "w" : 1,

                    "wtimeout" : 0

            },

            "replicaSetId" : ObjectId("5c249da69445df4a35b62059")

    }

}

mymon:PRIMARY>

//primary节点已经选举成功了

<br />

然后我们将node2004节点添加进来：

mymon:PRIMARY> rs.add("node2004:27017")

{

"ok" : 1,

"operationTime" : Timestamp(1545903657, 1),

"$clusterTime" : {

"clusterTime" : Timestamp(1545903657, 1),

"signature" : {

"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

"keyId" : NumberLong(0)

}

}

}

//查看状态

mymon:PRIMARY> rs.status()

{

"set" : "mymon",

"date" : ISODate("2018-12-27T09:41:12.487Z"),

"myState" : 1,

"term" : NumberLong(1),

"syncingTo" : "",

"syncSourceHost" : "",

"syncSourceId" : -1,

"heartbeatIntervalMillis" : NumberLong(2000),

"optimes" : {

"lastCommittedOpTime" : {

"ts" : Timestamp(1545903668, 1),

"t" : NumberLong(1)

},

"readConcernMajorityOpTime" : {

"ts" : Timestamp(1545903668, 1),

"t" : NumberLong(1)

},

"appliedOpTime" : {

"ts" : Timestamp(1545903668, 1),

"t" : NumberLong(1)

},

"durableOpTime" : {

"ts" : Timestamp(1545903668, 1),

"t" : NumberLong(1)

}

},

"lastStableCheckpointTimestamp" : Timestamp(1545903638, 1),

"members" : [

{

"_id" : 0,

"name" : "node2003:27017",

"health" : 1,

"state" : 1,

"stateStr" : "PRIMARY",

"uptime" : 1579,

"optime" : {

"ts" : Timestamp(1545903668, 1),

"t" : NumberLong(1)

},

"optimeDate" : ISODate("2018-12-27T09:41:08Z"),

"syncingTo" : "",

"syncSourceHost" : "",

"syncSourceId" : -1,

"infoMessage" : "",

"electionTime" : Timestamp(1545903526, 2),

"electionDate" : ISODate("2018-12-27T09:38:46Z"),

"configVersion" : 2,

"self" : true,

"lastHeartbeatMessage" : ""

},

{

"_id" : 1,

"name" : "node2004:27017",

"health" : 1,

"state" : 2,

"stateStr" : "SECONDARY",

"uptime" : 15,

"optime" : {

"ts" : Timestamp(1545903668, 1),

"t" : NumberLong(1)

},

"optimeDurable" : {

"ts" : Timestamp(1545903668, 1),

"t" : NumberLong(1)

},

"optimeDate" : ISODate("2018-12-27T09:41:08Z"),

"optimeDurableDate" : ISODate("2018-12-27T09:41:08Z"),

"lastHeartbeat" : ISODate("2018-12-27T09:41:11.029Z"),

"lastHeartbeatRecv" : ISODate("2018-12-27T09:41:11.583Z"),

"pingMs" : NumberLong(0),

"lastHeartbeatMessage" : "",

"syncingTo" : "node2003:27017",

"syncSourceHost" : "node2003:27017",

"syncSourceId" : 0,

"infoMessage" : "",

"configVersion" : 2

}

],

"ok" : 1,

"operationTime" : Timestamp(1545903668, 1),

"$clusterTime" : {

"clusterTime" : Timestamp(1545903668, 1),

"signature" : {

"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

"keyId" : NumberLong(0)

}

}

}

可以看到节点已经添加进mymon副本集里了。

<br />

增加数据测试副本是否成功：

mymon:PRIMARY> use test

switched to db test

mymon:PRIMARY> db.test.insert({name:"liyao", age:25})

WriteResult({ "nInserted" : 1 })

mymon:PRIMARY>



####node2004:

rs.initiate(config)

....

mymon:SECONDARY> use test

switched to db test

mymon:SECONDARY> db.test.find()

Error: error: {

"operationTime" : Timestamp(1545903758, 1),

"ok" : 0,

"errmsg" : "not master and slaveOk=false", //不是master是不允许读写的

"code" : 13435,

"codeName" : "NotMasterNoSlaveOk",

"$clusterTime" : {

"clusterTime" : Timestamp(1545903758, 1),

"signature" : {

"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),

"keyId" : NumberLong(0)

}

}

}

mymon:SECONDARY> db.setSlaveOk() //允许读写

mymon:SECONDARY> db.test.find() //查看数据

{ "_id" : ObjectId("5c249e73345ffcc8fc7205cc"), "name" : "liyao", "age" : 25 }

mymon:SECONDARY>

验证成功，数据复制OK

mongodb replica-set的更多相关文章

  1. 关于MongoDb Replica Set的故障转移集群——实战篇

    如果你还不了解Replica Set的相关理论,请猛戳传送门阅读笔者的上一篇博文. 因为Replica Set已经属于MongoDb的进阶应用,下文中关于MongoDb的基础知识笔者就不再赘述了,请参 ...

  2. MongoDb Replica Set中使用的地址

    Unable to connect to a member of the replica set matching the read preference Primary 今天尝试使用MongoDB ...

  3. MongoDB 学习笔记（三） MongoDB (replica set) 集群配置

    MongoDB Replica Sets的结构类似于以集群,完全可以把他当成一个集群,因为他确实与集群实现的作用是一样的:如果其中一个节点出现故障,其他的节点会马上将业务接管过来.而无需停机操作 Mo ...

  4. mongodb replica set 和 nodejs中使用mongoose连接replica

    一.mongodb replication 介绍 官网上的第一句话就是Replication is the process of synchronizing data across multiple ...

  5. MongoDB Replica Set搭建集群

    MongoDB做集群,版本3.2官网推荐的集群方式Replica Set 准备服务器3台 两个standard节点(这两个节点直接可以互切primary secondary). 一个arbiter节点 ...

  6. mongodb replica set 配置高性能多服务器详解

    mongodb的多服务器配置,以前写过一篇文章,是master-slave模式的,请参考:详解mongodb 主从配置.master-slave模式,不能自动实现故障转移和恢复.所以推荐大家使用mon ...

  7. （1）解锁 MongoDB replica set核心姿势

    副本集Replica Set是一个术语,定义具有多节点的数据库集群,这些节点具有主从复制(master-slave replication) 且节点之间实现了自动故障转移. 这样的结构通常需要具有奇数 ...

  8. MongoDB replica set IDs do not match

    在搭建MongoDB(版本 3.2.9)的Replica Set时,使用 rs.status() 查看Replica Set的状态,发现一个成员异常:replica set IDs do not ma ...

  9. MongoDB Replica Set 选举过程

    什么是选举? 选举是副本集选择某个成员成为primary的过程.primary是一个副本集中唯一能够接收写操作的成员. 下面的事件能够引发一次选举: 第一次初始化一个副本集 Primary失效.rep ...

  10. 转 Warning:MongoDB Replica Sets配置注意事项

    我们知道,MongoDB不提供单机的数据安全性,取而代之的是提供了Replica Sets的高可用方案.官方文档中提到的案例是三个节点组成的Replica Sets,这样在其中任何一个节点宕机后都会自 ...

随机推荐

  1. cisco 交换机设置时区、时间、同步日志本地时间

    Core-Switch-1#show clockCore-Switch-1#show ntp statusCore-Switch-1#conf tCore-Switch-1(config)# cloc ...

  2. shell中函数的使用

    函数是一个脚本代码块,你可以对它进行自定义命名,并且可以在脚本中任意位置使用这个函数.如果想要这个函数,只要调用这个函数的名称就可以了.使用函数的好处在于模块化以及代码可读性强. (1).函数的创建语 ...

  3. 量化编程技术—pdb进行调试

    # -*- coding: utf-8 -*- # @Date: 2017-08-26 # @Original: import pdb def gen_buy_change_list(): buy_c ...

  4. 【视频开发】用GStreamer实现摄像头的采集和保存

    GStreamer是流媒体软件的开发框架.可以这样说,在该框架的支持下,你可以非常简单地为很多格式的流媒体写出自已需要的程序. 现在,GStreamer已经内置对MP3.Ogg/Vorbis.MPEG ...

  5. html5传感器

    html5传感器(注意苹果和安卓方向是相反的 回调函数触发的速度苹果要快很多 设置坐标不要设置在回调函数里)以下是代码<pre><!DOCTYPE html><html ...

  6. 错误: 找不到或无法加载主类 java操作hbase出错

    用java操作hbase 利用maven引入hbase包后发现无法启动程序,然后网上说是包的冲突. 我引入了下面三个包然后程序就不能运行了. <dependency> <groupI ...

  7. .whl文件安装cuda10.0版本的pytorch1.3.0+torchvision0.4.1

    $ python3 -m venv env3$ source env3/bin/activate$ cd env3/share/python-wheels 在此找到对应的版本:https://down ...

  8. 基于SpringSecurity实现RBAC权限控制（待完善）

    Spring Security是一个为企业应用系统提供声明式的安全访问控制功能,减少为了企业应用系统安全控制而编写的大量重复代码. 认证: spring security的原理就是使用很多的拦截器对U ...

  9. pytest_函数传参和firture传参数request

    前言为了提高代码的复用性,我们在写用例的时候,会用到函数,然后不同的用例去调用这个函数. 比如登录操作,大部分的用例都会先登录,那就需要把登录单独抽出来写个函数,其它用例全部的调用这个登陆函数就行. ...

  10. robotframework_百度登陆

    ** Settings *** Library Selenium2Library *** Test Cases *** login Open Browser https://www.baidu.com ...