1.NoSQL-lesson14-MongoDB核心技术-运维篇

逻辑结构

Mongodb 逻辑结构                 MySQL逻辑结构
库database                       库
集合（collection）               表
文档（document）                 数据行
选择之所以称为为选择，肯定是痛苦的！
------>oldguo

安装部署

1.系统准备

(1)redhat或centos6.x以上系统
(2)系统开发报完整
(3)IP地址和hosts文件解析正常
(5)关闭大页内存机制
##############################################
root用户下
在 /etc/rc.local文件最后添加如下代码：
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
  echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
   echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

cat  /sys/kernel/mm/transparent_hugepage/enabled
cat /sys/kernel/mm/transparent_hugepage/defrag  

2.mongodb安装

创建用户和组

useradd mongod
passwd mongod

创建mongodb目录

mkdir -p /mongodb/{conf,log,data}

上传或者下载mongodb,下载地址：http://downloads.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.7.tgz

tar xf mongodb-linux-x86_64-rhel70-4.2.7.tgz
cp -r mongodb-linux-x86_64-rhel70-4.2.7/bin/ /mongodb
# 设置目录结构权限
chown -R mongod. /mongodb

设置环境变量

su - mongod
vi .bash_profile
export PATH=/mongodb/bin:$PATH

source .bash_profile

启动mongodb

mongod --dbpath=/mongodb/data --logpath=/mongodb/log/mongodb.log --port=27017 --logappend --fork 

登录mongodb

mongo

使用配置文件

YAML模式

NOTE：
YAML does not support tab characters for indentation: use spaces instead.

--系统日志有关
systemLog:
   destination: file
   path: "/mongodb/log/mongodb.log"    --日志位置
   logAppend: true                     --日志以追加模式记录

--数据存储有关
storage:
   journal:
      enabled: true
   dbPath: "/mongodb/data"            --数据路径的位置

-- 进程控制
processManagement:
   fork: true                         --后台守护进程
   pidFilePath: <string>              --pid文件的位置，一般不用配置，可以去掉这行，自动生成到data中

--网络配置有关
net:
   bindIp: <ip>                       -- 监听地址
   port: <port>                       -- 端口号,默认不配置端口号，是27017
-- 安全验证有关配置
security:
  authorization: enabled              --是否打开用户名密码验证

------------------以下是复制集与分片集群有关----------------------  

replication:
 oplogSizeMB: <NUM>
 replSetName: "<REPSETNAME>"
 secondaryIndexPrefetch: "all"

sharding:
   clusterRole: <string>
   archiveMovedChunks: <boolean>

---for mongos only
replication:
   localPingThresholdMs: <int>

sharding:
   configDB: <string>
---
++++++++++++++++++++++
YAML例子
cat > /mongodb/conf/mongo.conf <<EOF
systemLog:
   destination: file
   path: "/mongodb/log/mongodb.log"
   logAppend: true
storage:
   journal:
      enabled: true
   dbPath: "/mongodb/data/"
processManagement:
   fork: true
net:
   port: 27017
   bindIp: 192.169.0.11,127.0.0.1
EOF

重启mongodb
mongod -f /mongodb/conf/mongo.conf --shutdown
mongod -f /mongodb/conf/mongo.conf

mongodb使用system管理：需要在root用户下创建

[root@db01 ~]# cat > /etc/systemd/system/mongod.service <<EOF
[Unit]
Description=mongodb
After=network.target remote-fs.target nss-lookup.target
[Service]
User=mongod
Type=forking
ExecStart=/mongodb/bin/mongod --config /mongodb/conf/mongo.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/mongodb/bin/mongod --config /mongodb/conf/mongo.conf --shutdown
PrivateTmp=true
[Install]
WantedBy=multi-user.target
EOF

[root@db01 ~]# systemctl restart mongod
[root@db01 ~]# systemctl stop mongod
[root@db01 ~]# systemctl start mongod

3、mongodb常用基本操作

mongodb默认存在的库：

test:登录时默认存在的库
管理MongoDB有关的系统库
admin库:系统预留库，MongoDB系统管理库
local库：本地预留库，存储关键日志
config库：MongoDB配置信息库

show database/show dbs
show tables/show collection
use admin
db/select database()

命令种类：

db 对象相关命令 oldboy是一个库，当次库不存在时会自动创建

db.[TAB][TAB]
db.oldboy.[TAB][TAB]
db.oldboy.help()

rs 复制集相关（replication set）:

rs.[TAB][TAB]
rs.help()

sh 分片集群（sharding cluster）:

sh.[TAB][TAB]
sh.help()

4、mongodb对象操作

mongo	mysql
库	库
集合	表
文档	数据行

     

 

 

 

 

 

 

 

库的操作：

进入test表并且丢弃（删除）
>use test
>db.dropDatabase()
{ "dropped" : "test", "ok" : 1 }

集合的操作：

>use app
>db.createCollection('a')
{ "ok" : 1 }
app> db.createCollection('b')
方法2：当插入一个文档的时候，一个集合就会自动创建。

在oldboy库中添加（增加/创建）数据
use oldboy
db.test.insert({name:"shenzhen"})
db.stu.insert({id:100,name:"luohu",age:20,gender:"it"})
查看库中的文档
show tables;
继续创建
db.stu.insert({id:102,name:"list"})
db.stu.insert({a:"b",c:"d"})
db.stu.insert({a:1,c:2})
查看stu文档中的数据
> db.stu.find()
{ "_id" : ObjectId("5ed10863d6b2b3443565354e"), "id" : 101, "name" : "guanzhou", "age" : 20, "genber" : "m" }

文档的操作：

数据录入：
#for(i=0;i<10000;i++){db.log.insert({"uid":i,"name":"mongodb","age":6,"date":new
Date()})}
for (i=0;i<10000;i++){db.log.insert({"uid":i,"name":"mongodb","age":6,"date":new Date()})}

查询数据行数：
>db.log.count()
全表查询 log：
>db.log.find()
设置每页显示50条记录：
>DBQuery.shellBatchSize=50;
按照条件查询：
>db.log.find({uid:999})
以标准的json格式显示数据：
>db.log.find({uid:999}).pretty()
{
    "_id" : ObjectId("5cc516e60d13144c89dead33"),
    "uid" : 999,
    "name" : "mongodb",
    "age" : 6,
    "date" : ISODate("2019-04-28T02:58:46.109Z")
}

删除集合中所有记录：
>use app
app> db.log.remove({})
查看 集合存储信息：
app> db.log.totalSize()  //集合中索引+数据压缩存储之后的大小

用户管理

5、用户权限管理

注意：

验证库： 建立用户时use到的库，在使用用户时，要加上验证库才能登录。

 

对于管理员用户，必须在admin库下创建

1.建立用户时，use到的库，就是此用户的验证库

2.登录时，必须明确指定验证库才能登录

3.通常，管理员用的验证库是admin，普通用户的验证库一般是所管理的库设置为验证库

4.如果直接登录到数据库，不进行use，默认的验证是test，部署我们生成建议的

5.从3.6版本开始，不添加bindIp参数，只能本地管理员登录

 

用户创建语法

use admin
db.createUser
{
    user: "<name>",
    pwd: "<cleartext password>",
    roles: [
       { role: "<role>",
     db: "<database>" } | "<role>",
    ...
    ]
}

基本语法说明：
user:用户名
pwd:密码
roles:
    role:角色名
    db:作用对象
role: root, readWrite,read
验证数据库：
mongo -u oldboy -p 192.168.0.10/oldboy

用户管理例子：

创建超级管理员： 管理所有数据库（必须use admin再去创建）
$ mongo
use admin
db.createUser(
{
    user: "root",
    pwd: "root123",
    roles: [ { role: "root", db: "admin" } ]
}
)

验证用户：
> db.auth('root','root123')
1

在配置文件中，最后面加入以下配置代码：/mongodb/conf/mongo.conf

security:
  authorization: enabled

重启mongodb

mongod -f /mongodb/conf/mongo.conf --shutdown
mongod -f /mongodb/conf/mongo.conf

登录验证

mongo -uroot -proot123 admin
mongo -uroot -proot123 192.168.0.10/admin
mongo -uroot -proot123 192.168.0.10/oldboy

或者
mongo
use admin
db.auth('root','root123')

查看用户

use admin
db.system.users.find().pretty()

创建普通用户

在oldbiy库下创建
use oldboy
db.createUser(
    {
        user: "app01",
        pwd: "app01",
        roles: [ { role: "readWrite" , db: "oldboy" }]
    }
)

验证：
mongo -uapp1 -papp1 app

查询mongodb中的用户信息

mongo -uroot -proot123 192.168.0.10/admin
db.system.users.find().pretty()

删除用户（root身份登录，use到验证库）

删除用户
db.createUser({user: "app02",pwd: "app02",roles: [ { role: "readWrite" , db: "oldboy1" } ]})
mongo -uroot -proot123 10.0.0.53/admin
use oldboy1
db.dropUser("app02")

用户管理注意事项

1.建用户要有验证库，管理员admin，普通用户是要管理的库
2.登录时，注意验证库
mongo -uapp01 -papp01 192.168.0.10:27017/oldboy
3.重点参数
net:
    port: 27017
    bindIp: 192.168.0.10.127.0.0.1
security:
    authorization: enabled

集群管理

6、MongoDB复制集RS（ReplicayionSet）

基本原理

基本改成是1主2从的结构，自带互相监控投票机制（Raft (MongoDB) Paxos (mysql MGR 用的是变种) ）

如果发生主库宕机，复制机内部会进行投票选举，选择一个新的主库替代原有主库对外提供服务。同时复制集会自动通知客户端程序，主库已经发生切换了。 应用就会连接到新的主库。

 

Replication Set配置过程详解

规划：三个以上的mongodb节点 （或多实例）

 

环境准备，基于多个端口

28017、28018、28019、28020

创建多个目录

su - mongod
mkdir -p /mongodb/28017/{conf,log,data}
mkdir -p /mongodb/28018/{conf,log,data}
mkdir -p /mongodb/28019/{conf,log,data}
mkdir -p /mongodb/28020/{conf,log,data}

创建多个配置文件

touch /mongodb/28017/conf/mongo.conf
touch /mongodb/28018/conf/mongo.conf
touch /mongodb/28019/conf/mongo.conf
touch /mongodb/28020/conf/mongo.conf

配置文件详细内容

cat > /mongodb/28017/conf/mongo.conf <<EOF
systemLog:
  destination: file
  path: /mongodb/28017/log/mongodb.log
  logAppend: true
storage:
  journal:
    enabled: true
  dbPath: /mongodb/28017/data
  directoryPerDB: true
  #engine: wiredTiger
  wiredTiger:
    engineConfig:
      cacheSizeGB: 1
      directoryForIndexes: true
    collectionConfig:
      blockCompressor: zlib
    indexConfig:
      prefixCompression: true
processManagement:
  fork: true
net:
  bindIp: 192.168.0.10,127.0.0.1
  port: 28017
replication:
  oplogSizeMB: 2048
  replSetName: my_repl
EOF

拷贝文件，并修改端口：
\cp  /mongodb/28017/conf/mongo.conf  /mongodb/28018/conf/
\cp  /mongodb/28017/conf/mongo.conf  /mongodb/28019/conf/
\cp  /mongodb/28017/conf/mongo.conf  /mongodb/28020/conf/

sed 's#28017#28018#g' /mongodb/28018/conf/mongo.conf -i
sed 's#28017#28019#g' /mongodb/28019/conf/mongo.conf -i
sed 's#28017#28020#g' /mongodb/28020/conf/mongo.conf -i

启动多个实例备用

mongod -f /mongodb/28017/conf/mongo.conf
mongod -f /mongodb/28018/conf/mongo.conf
mongod -f /mongodb/28019/conf/mongo.conf
mongod -f /mongodb/28020/conf/mongo.conf
netstat -nutlp|grep 280
ps -ef|grep mongo

配置普通复制集：(1主2从，1主1从1arbiter: 2选1)

1主2从，从库普通从库
登录到28017实例，也将这个实例作为主节点
mongo --port 28017 admin
定义个变量名（config）可以自定义， 组名"my_repl"需要和配置文件中一致， 成员有3个实例
> config = {_id: 'my_repl', members: [
                          {_id: 0, host: '192.168.0.10:28017'},
                          {_id: 1, host: '192.168.0.10:28018'},
                          {_id: 2, host: '192.168.0.10:28019'}]
          }
 构建集群（初始化）
> rs.initiate(config)
查询复制集状态
> rs.status();

1主1从1个arbiter:

mongo -port 28017 admin
config = {_id: 'my_repl', members: [
                          {_id: 0, host: '192.168.0.10:28017'},
                          {_id: 1, host: '192.168.0.10:28018'},
                          {_id: 2, host: '192.168.0.10:28019',"arbiterOnly":true}]
          }
rs.initiate(config)  

复制集群管理操作

查看复制集状态
rs.status();  //查看整体复制集状态
rs.isMaster();  //查看当前是否主节点
rs.conf();  //查看复制集配置信息

添加删除节点

rs.remove("ip:port"); // 删除一个节点
rs.add("ip:port"); // 新增从节点
rs.addArb("ip:port"); // 新增仲裁节点
例子：
添加 arbiter节点
1、连接到主节点
[mongod@db03 ~]$ mongo --port 28018 admin
2、添加仲裁节点
> rs.addArb("192.168.0.10:28020")
3、查看节点状态
> rs.isMaster()
{
    "hosts" : [
        "192.168.0.10:28017",
        "192.168.0.10:28018",
        "192.168.0.10:28019"
    ],
    "arbiters" : [
        "192.168.0.10:28020"
    ],

rs.remove("ip:port"); // 删除一个节点
例子：
> rs.remove("192.168.0.10:28019");
{ "ok" : 1 }
> rs.isMaster()
rs.add("ip:port"); // 新增从节点
例子：
> rs.add("192.168.0.10:28019")
{ "ok" : 1 }
> rs.isMaster()

特殊从节点

arbiter节点： 主要负责选主过程中的投票，但是不存储任何数据，页不提供任何服务

hidden节点： 隐藏节点，不参与选主，也不对外提供服务

delay节点： 延时节点，数据落后于主库一段时间，因为数据是延时的，也不应该提供服务或参与选主，所以通常会配合hidden（隐藏）

一般情况下将delay+hidden一起配置使用

配置延时节点（一般延时节点也配置成hidden）

rs.conf(); 可以查看集群配置信息包括节点id
cfg=rs.conf()
cfg.members[4].priority=0
cfg.members[4].hidden=true
cfg.members[4].slaveDelay=120
rs.reconfig(cfg)    

取消以上配置
cfg=rs.conf()
cfg.members[4].priority=1
cfg.members[4].hidden=false
cfg.members[4].slaveDelay=0
rs.reconfig(cfg)
配置成功后，通过以下命令查询配置后的属性
rs.conf(); 

副本集其他操作命令：

查看副本集的配置信息
admin> rs.conf()
查看副本集各成员的状态
admin> rs.status()
++++++++++++++++++++++++++++++++++++++++++++++++
--副本集角色切换（不要人为随便操作）
admin> rs.stepDown()
注：
admin> rs.freeze(300) //锁定从，使其不会转变成主库
freeze()和stepDown单位都是秒。
+++++++++++++++++++++++++++++++++++++++++++++
设置副本节点可读：在副本节点执行
admin> rs.slaveOk()
eg：
admin> use app
switched to db app
app> db.createCollection('a')
{ "ok" : 0, "errmsg" : "not master", "code" : 10107 }

查看副本节点（监控主从延时）
admin> rs.printSlaveReplicationInfo()
source: 192.168.1.22:27017
    syncedTo: Thu May 26 2016 10:28:56 GMT+0800 (CST)
    0 secs (0 hrs) behind the primary

OPlog日志（备份恢复章节）