使用mongosync同步数据

 
 

注意: 我下面的这个mongodb版本较低(3.2.16), 还可以用这个工具来同步数据。工具不支持更高版本的mongodb了.

使用方法:

https://github.com/Qihoo360/mongosync

# 需要先yum安装这几个依赖包,否则下面的make编译会失败
yum -y install gcc gcc-c++
yum -y install boost-devel boost openssl-devel git clone https://github.com/Qihoo360/mongosync.git cd mongosync make
 

编译完成后,会生成一个output的目录,里面放的就是编译完成的文件还有一个配置文件。

说明如果编译报错的话,日志路径在: mongosync/dep/mongo-cxx-driver/build/scons/config.log

cd output/

程序可以通过命令行及配置文件的方式运行,参数说明如下:

-c conf.file 使用conf.file配置文件启动mongosync
--src_srv arg 源端ip及端口信息,格式:--src_srv 192.168.1.1:27017
--src_user arg 源端用户
--src_passwd arg 源端密码
--src_auth_db arg 源端认证库
--src_use_mcr 强制源端使用MONGODB-CR密码认证
--dst_srv arg 目的端ip及端口信息,格式:--src_srv 192.168.1.2:27018
--dst_user arg 目的端用户,需要具有创建数据库,集合,索引等操作权限
--dst_passwd arg 目的端密码
--dst_auth_db arg 目的端认证库
--dst_use_mcr 强制目的端使用MONGODB-CR密码认证
--db arg 源端数据库,默认同步除admin及local外的所有数据库
--dst_db arg 目的端数据库
--coll arg 源端集合,默认同步全部集合
--dst_coll arg 目的端集合
--oplog 是否同步oplog
--raw_oplog 是否只同步oplog
--op_start arg oplog同步的开始点位,格式:--op_start 1479436001,1
--op_end arg oplog同步的结束点位,格式:--op_start 1479436002,2
--dst_op_ns arg oplog同步时目的端的oplog名称,格式:--dst_op_ns sync.oplog
--no_index 是否同步索引
--filter arg 同步过滤语句,格式:--filter {"name":xxx}
--bg_num arg 数据同步线程数
--batch_size arg 数据传输块的大小(0-16M,默认是16M)
 

./mongosync --src_srv 192.168.2.2:27017 --src_user admin --src_passwd 123456 --src_auth_db admin --src_use_mcr --dst_srv 192.168.2.4:27017 --dst_user root --dst_passwd 123456 --dst_auth_db admin --db db1 --dst_db  db1 --bg_num 4

更全的使用方法在这里:https://github.com/Qihoo360/mongosync/wiki/%E4%BD%BF%E7%94%A8%E6%A0%B7%E4%BE%8B

如果要在后台运行,可以开个screen窗口。

mongosync同步1,oplog同步会读取其他集合同步的更多相关文章

  1. 电商网站垮IDC数据备份,MySql主从同步,图片及其它数据文件的同步

    原文网址:http://www.bzfshop.net/article/180.html 对一个电子商务网站而言,最宝贵的资源就是数据.服务器是很廉价的东西,即使烧了好几个也问题不大,但是用户数据如果 ...

  2. 从头认识java-18.6 synchronized在其它对象上同步和ThreadLocal来消除共享对象的同步问题

    这一章节我们来介绍在其它对象上同步与ThreadLocal. 前一章节我们使用了 1.synchronized在其它对象上同步 class ThreadA implements Runnable { ...

  3. unison+inotify 同步web代码并排除指定目录不同步

    unison + inotify  实现web 数据双向同步   unison 是一款跨平台的文件同步对象,不仅支撑本地对本地同步,也支持通过SSH,RSH和Socket 等网络协议进行同步.unis ...

  4. 使用jQuery匹配文档中所有的li元素,返回一个jQuery对象,然后通过数组下标的方式读取jQuery集合中第1个DOM元素,此时返回的是DOM对象,然后调用DOM属性innerHTML,读取该元素 包含的文本信息

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...

  5. 关于使用service的上下文和activity来读取sharedpreferences的同步问题

    比如我用activity 对象 mainactivity 的context 获取了sharedpreferences对象,并putString(context, "demo", & ...

  6. windows核心编程---第九章 同步设备IO与异步设备IO之同步IO

    同步设备IO 所谓同步IO是指线程在发起IO请求后会被挂起,IO完成后继续执行. 异步IO是指:线程发起IO请求后并不会挂起而是继续执行.IO完毕后会得到设备的通知.而IO完成端口就是实现这种通知的很 ...

  7. rsync同步(winxdows到linux/linux到linxu同步)

    1.什么是rsync? -rsync是类unix系统下的数据镜像备份工具——remote sync.一款快速增量备份工具 Remote Sync,远程同步 支持本地复制,或者与其他SSH.rsync主 ...

  8. 《Windows核心编程系列》九谈谈同步设备IO与异步设备IO之同步设备IO

    同步设备IO 所谓同步IO是指线程在发起IO请求后会被挂起,IO完成后继续执行. 异步IO是指:线程发起IO请求后并不会挂起而是继续执行.IO完毕后会得到设备的通知.而IO完成端口就是实现这种通知的很 ...

  9. C#同步SQL Server数据库中的数据--数据库同步工具[同步新数据]

    C#同步SQL Server数据库中的数据 1. 先写个sql处理类: using System; using System.Collections.Generic; using System.Dat ...

随机推荐

  1. 获取客户端的请求IP地址

    获取客户端的请求IP地址 package com.microClass.util; import javax.servlet.http.HttpServletRequest; import java. ...

  2. EventKey为last_trade_no的subscribe关注事件

    如果用户曾经在该公众号有支付行为,关注的时候EventKey中将包含上次交易订单号,如 last_trade_no_4002752001201704258347703919 <xml> & ...

  3. tidb 架构 ~Tidb学习系列(4)

    一 简介:今天我们继续学习tidb 二 集群管理 0 集群配置       验证 4台一组 3个kv 一个pd+server       上线 6台一组   1 动态添加kv服务       nohu ...

  4. NFS配置不当导致的那些事儿

    NFS(Network File System):是FreeBSD支持的文件系统中的一种,它允许网络中的计算机之间通过TCP/IP网络共享资源: NFS配置:(声明:以下NFS实验是在RedHat7上 ...

  5. Debian 无线网卡驱动问题

    参考这里:https://wiki.debian.org/iwlwifi Debian 9 "Stretch" Add a "non-free" compone ...

  6. K中心点算法之PAM

    一.PAM聚类算法:         选用簇中位置最中心的对象,试图对n个对象给出k个划分:代表对象也被称为是中心点,其他对象则被称为非代表对象:最初随机选择k个对象作为中心点,该算法反复地用非代表对 ...

  7. freeRTOS中文实用教程3--中断管理之中断服务例程中使用队列

    1.前言 消息队列不仅可以用于事件通信,还可以用来传递数据 2.实例说明消息队列的执行过程 3.主要API API名称 说明 参数 返回值 xQueueSendFromISR()完全等同于 xQueu ...

  8. Linux 入门记录:十二、Linux 权限机制【转】

    转自:https://www.cnblogs.com/mingc/p/7591287.html 一.权限 权限是操作系统用来限制资源访问的机制,权限一般分为读.写.执行. 系统中每个文件都拥有特定的权 ...

  9. linux中fork()函数详解【转】

    转自:http://blog.csdn.net/jason314/article/details/5640969 一.fork入门知识 一个进程,包括代码.数据和分配给进程的资源.fork()函数通过 ...

  10. MySQL占用IO过高解决方案【转】

    1.日志产生的性能影响: 由于日志的记录带来的直接性能损耗就是数据库系统中最为昂贵的IO资源.MySQL的日志包括错误日志(ErrorLog),更新日志(UpdateLog),二进制日志(Binlog ...