搭建mongodb集群（副本集+分片）

搭建mongodb集群（副本集+分片）

转载自：http://blog.csdn.net/bluejoe2000/article/details/41323051

完整的搭建mongodb集群（副本集+分片）的例子。。。

准备四台机器，分别是bluejoe1,bluejoe2,bluejoe3，以及bluejoe0

副本集及分片策略确定如下：

• 将创建3个副本集，命名为shard1,shard2,shard3；
• 以上3个副本集作为3个分片；
• 每个副本集包含3个副本（主、辅1、辅2）；
• 副本分开存储，即shard1存在bluejoe1、bluejoe2、bluejoe3上各一份。。。以此类推
• 将创建3个配置库实例，一台机器一个
• bluejoe0上配置一个mongos（mongos一般可以配置在应用端）

画了一个图：

 

 

具体操作步骤如下：

1. 在bluejoe1上下载mongdb安装包；
2. 解压至/usr/local/mongdb（注意改名）；
3. 创建data/db1,db2,db3目录，启动3个mongod实例，注意replSet的名字：
   1. mkdir /usr/local/mongodb/data/db1 /usr/local/mongodb/data/db2 /usr/local/mongodb/data/db3
   2. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/db1 --port 10001 --replSet db1 --logpath=/usr/local/mongodb/log/db1.log &
   3. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/db2 --port 10002 --replSet db2 --logpath=/usr/local/mongodb/log/db2.log &
   4. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/db3 --port 10003 --replSet db3 --logpath=/usr/local/mongodb/log/db3.log &
4. 使用scp命令，将mongodb目录复制至bluejoe2和bluejoe3机器，并按照第3步启动每台机器上的3个实例；
5. 初始化副本：
   1. mongo bluejoe1:10001
   2. use admin
   3. db.runCommand(
   4. {
   5. "replSetInitiate":
   6. {
   7. "_id":"db1",
   8. "members":
   9. [
   10. {
   11. "_id":1,
   12. "host":"bluejoe1:10001"
   13. },
   14. {
   15. "_id":2,
   16. "host":"bluejoe2:10001"
   17. },
   18. {
   19. "_id":3,
   20. "host":"bluejoe3:10001"
   21. }
   22. ]
   23. }
   24. })
   25. mongo bluejoe1:10002
   26. use admin
   27. db.runCommand(
   28. {
   29. "replSetInitiate":
   30. {
   31. "_id":"db2",
   32. "members":
   33. [
   34. {
   35. "_id":1,
   36. "host":"bluejoe1:10002"
   37. },
   38. {
   39. "_id":2,
   40. "host":"bluejoe2:10002"
   41. },
   42. {
   43. "_id":3,
   44. "host":"bluejoe3:10002"
   45. }
   46. ]
   47. }
   48. })
   49. mongo bluejoe1:10003
   50. use admin
   51. db.runCommand(
   52. {
   53. "replSetInitiate":
   54. {
   55. "_id":"db3",
   56. "members":
   57. [
   58. {
   59. "_id":1,
   60. "host":"bluejoe1:10003"
   61. },
   62. {
   63. "_id":2,
   64. "host":"bluejoe2:10003"
   65. },
   66. {
   67. "_id":3,
   68. "host":"bluejoe3:10003"
   69. }
   70. ]
   71. }
   72. })
6. 观察副本集的实时复制特性
   1. 连接上bluejoe1:10001，看到db1:PRIMARY>的字样，说明它是db1的主节点
   2. 创建一张新表，创建几条测试记录
   3. 连接上bluejoe3:10002，看到shard1:SECONDARY>的字样，说明它是shard1的辅助节点
   4. 注意此时无法查询前面新增的记录，会报错not master and slaveOk=false
   5. 回到bluejoe1:10001，设置slaveOk
      1. db.getMongo().setSlaveOk()
   6. 再回到bluejoe3:10002，即可看到主节点写入的记录

• 观察副本集的故障转移特性
  1. 杀掉bluejoe1:10001的进程
  2. 再次连接上bluejoe3:10002，看到shard1:PRIMARY>的字样，说明它已经变成shard1的主节点
  3. 如果这时再启动bluejoe1:10001，则发现它已经变成shard1:SECONDARY>
• 创建data/configdb，启动配置库实例：
  1. mkdir /usr/local/mongodb/data/configdb
  2. nohup /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/configdb --port 20000 --logpath=/usr/local/mongodb/log/configdb.log &

  如果需要关闭mongod服务，可使用--shutdown选项，如：

  1. /usr/local/mongodb/bin/mongod --dbpath /usr/local/mongodb/data/configdb --shutdown
   

  到现在为止应该有12个mongd实例，其中3个为配置库实例，剩下的属于3个副本集；

• 接下来管理分片，在bluejoe0上启动mongs：
  1. nohup /usr/local/mongodb/bin/mongos --port 30000 --configdb bluejoe1:20000,bluejoe2:20000,bluejoe3:20000 &
• 连接上mongos，配置分片信息：
  1. mongo bluejoe0:30000
  2. mongos> use admin
  3. switched to db admin
  4. db.runCommand({"addShard":"db1/bluejoe1:10001"})
  5. db.runCommand({"addShard":"db2/bluejoe1:10002"})
  6. db.runCommand({"addShard":"db3/bluejoe1:10003"})
• 查看分片情况：
  1. mongos>  db.runCommand({listshards:1})
  2. {
  3. <span style="white-space:pre">  </span>"shards" : [
  4. <span style="white-space:pre">      </span>{
  5. <span style="white-space:pre">          </span>"_id" : "db1",
  6. <span style="white-space:pre">          </span>"host" : "db1/bluejoe1:10001,bluejoe2:10001,bluejoe3:10001"
  7. <span style="white-space:pre">      </span>},
  8. <span style="white-space:pre">      </span>{
  9. <span style="white-space:pre">          </span>"_id" : "db2",
  10. <span style="white-space:pre">          </span>"host" : "db2/bluejoe1:10002,bluejoe2:10002,bluejoe3:10002"
  11. <span style="white-space:pre">      </span>},
  12. <span style="white-space:pre">      </span>{
  13. <span style="white-space:pre">          </span>"_id" : "db3",
  14. <span style="white-space:pre">          </span>"host" : "db3/bluejoe1:10003,bluejoe2:10003,bluejoe3:10003"
  15. <span style="white-space:pre">      </span>}
  16. <span style="white-space:pre">  </span>],
  17. <span style="white-space:pre">  </span>"ok" : 1
  18. }

  可以看出，尽管注册的时候只是提供了副本集的主节点，但mongos已知晓了各辅助节点；

• 对某个库开启分片功能：
  1. mongos> db.runCommand({"enablesharding":"test"})
  2. { "ok" : 1 }
  3. mongos> db.runCommand({"shardcollection":"test.person","key":{_id:'hashed'}})
  4. { "collectionsharded" : "test.person", "ok" : 1 }
• 插入测试数据：
  1. mongos> for(var i=0;i<10;i++){db.person.insert({name:"bluejoe"+i});}
  2. WriteResult({ "nInserted" : 1 })
• 查看数据分片存储情况：
  1. [root@hadoop0 ~]# mongo bluejoe3:10002
  2. MongoDB shell version: 2.6.5
  3. connecting to: bluejoe3:10002/test
  4. shard1:PRIMARY> db.person.find()
  5. { "_id" : ObjectId("546ff1013a0d0ec68b42a914"), "name" : "bluejoe0" }
  6. { "_id" : ObjectId("546ff1013a0d0ec68b42a915"), "name" : "bluejoe1" }
  7. { "_id" : ObjectId("546ff1013a0d0ec68b42a91a"), "name" : "bluejoe6" }
  8. { "_id" : ObjectId("546ff1013a0d0ec68b42a91b"), "name" : "bluejoe7" }
  9. { "_id" : ObjectId("546ff1013a0d0ec68b42a91c"), "name" : "bluejoe8" }
  10. shard1:PRIMARY> exit
  11. bye
  12. [root@hadoop0 ~]# mongo bluejoe2:10001
  13. MongoDB shell version: 2.6.5
  14. connecting to: bluejoe2:10001/test
  15. shard2:PRIMARY> db.person.find()
  16. { "_id" : ObjectId("546ff1013a0d0ec68b42a918"), "name" : "bluejoe4" }
  17. shard2:PRIMARY> exit
  18. bye
  19. [root@hadoop0 ~]# mongo bluejoe3:10001
  20. MongoDB shell version: 2.6.5
  21. connecting to: bluejoe3:10001/test
  22. shard3:PRIMARY> db.person.find()
  23. { "_id" : ObjectId("546ff1013a0d0ec68b42a916"), "name" : "bluejoe2" }
  24. { "_id" : ObjectId("546ff1013a0d0ec68b42a917"), "name" : "bluejoe3" }
  25. { "_id" : ObjectId("546ff1013a0d0ec68b42a919"), "name" : "bluejoe5" }
  26. { "_id" : ObjectId("546ff1013a0d0ec68b42a91d"), "name" : "bluejoe9" }
  27. shard3:PRIMARY>