导入/导出可以操作的是本地的mongodb服务器,也可以是远程的服务器 所以,都有如下通用选项: -h host 主机 --port port 端口 -u username 用户名 -p passwd 密码 mongoexport 导出 -d 库名 -c 表名 -f field1,field2...列名 -q 查询条件 -o 导出的文件名 --type=csv 导出csv格式(便于和传统数据库交换数据) # 导出shop库下面的goods表 ./mongoexport -d shop -c go…

简述 为何要分片 减少单机请求数,降低单机负载,提高总负载 减少单机的存储空间,提高总存空间. 常见的mongodb sharding 服务器架构 要构建一个 MongoDB Sharding Cluster,需要三种角色: Shard Server 即存储实际数据的分片,每个Shard可以是一个mongod实例,也可以是一组mongod实例构成的Replication Set.为了实现每个Shard内部的auto-failover(自动故障切换),MongoDB官方建议每个Shard为一组Re…

介绍 replicattion set 多台服务器维护相同的数据副本,提高服务器的可用性,总结下来有以下好处: 数据备份与恢复 读写分离 MongoDB 复制集的结构以及基本概念 正如上图所示,MongoDB 复制集的架构中,主要分为两部分:主节点(Primary)和从节点(Secondary). 主节点:在一个复制集中只有并且必须有一个主节点,主节点也是众多实例中唯一可以接收客户端写操作的节点,当然也可以进行读操作: 从节点:从节点会复制主节点的操作,以获取完全一致的数据集.客户端不能够直接对…

3.0版本以前 在mongodb3.0版本以前中,有一个admin数据库, 牵涉到服务器配置层面的操作,需要先切换到admin数据库.即 use admin , 相当于进入超级用户管理模式,mongo的用户是以数据库为单位来建立的, 每个数据库有自己的管理员.我们在设置用户时,需要先在admin数据库下建立管理员---这个管理员登陆后,相当于超级管理员. 命令:db.addUser(); 简单参数: db.addUser(用户名,密码,是否只读) 注意: 添加用户后,我们再次退出并登陆,发现依然…

Flume实战案例运维篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.Flume概述 1>.什么是Flume Flume是一个分布式.可靠.高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据:同时,Flume提供对数据进行简单处理,并写到各种数据接收方. 官方地址:http://flume.apache.org/. 2>.Flume特性 ()高可靠性 Flume提供了end to end的数据可靠性机制 ()易于扩展 Agent为分布式架构,可水平…

一.MongoDB 集群简介 MongoDB是一个基于分布式文件存储的数据库,其目的在于为WEB应用提供可扩展的高性能数据存储解决方案.下面将以3台机器介绍最常见的集群方案.具体介绍,可以查看官网 https://docs.mongodb.com/v3.4/introduction/. [图片上传失败...(image-9d8f08-1537238445300)] 1.集群组件的介绍 mongos(路由处理): 作为Client与MongoDB集群的请求入口,所有用户请求都会透过Mongos协调…

1-1 Python运维-课程简介及基础 1-2 Python运维-自动化运维脚本编写 2-1 Python自动化运维-Ansible教程-Ansible介绍 2-2 Python自动化运维-Ansible教程-Ansible配置运行1 2-3 Python自动化运维-Ansible教程-Ansible配置运行2 2-4 Python自动化运维-Ansible使用教程1 2-5 Python自动化运维-Ansible使用教程2 2-6 Python自动化运维-Ansible使用教程3 2-7 A…

1.在线释放内存 use admindb.runCommand({closeAllDatabases:1}) 注:3.2 版本 已经去掉了这个命令了 2.rs.status() 查询复制集状态 3.db.stats() 查询指定库的状态(包含内存和磁盘的使用情况统计) 4.db.collectionsname.stats() 查询指定集合的具体信息 5.db.version() 查看当前实例的版本 6.db.getCollectionNames(); 获取当前数据库下所有集合的名称 7.集合数据…

基本命令参考: https://blog.csdn.net/cckevincyh/article/details/78702674 导入导出参考:https://blog.csdn.net/djy37010/article/details/69388890/ 如果不能导出,下面有解决办法 带条件导出:https://blog.csdn.net/feixuedongji/article/details/44977183 , https://my.oschina.net/trydaydayup/bl…

mongodump备份数据库 常用的备份命令格式 mongodump -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 -o 文件存在路径 如果想导出所有数据库,可以去掉-d -h:MongDB所在服务器地址,例如:127.0.0.1,当然也可以指定端口号:127.0.0.1:27017 --port: 端口号. -d:需要备份的数据库实例,例如:test -o:备份的数据存放位置,例如:/data/backup,当然该目录需要提前建立,在备份完成后,系统自动在dump目录…

问题:集群内部通信压力较大.出现在某一个节点创建普通表并插入数据,在其他点读的问题.会造成每次读表都要进行一次完整的数据传输. 前提: Mongodb处于Sharding Cluster状态. 造成原因:系统架构和运维不能要求其他同事对Mongodb的底层设计深入理解,不能要求其他同事了解什么是普通collection什么是Sharding collection.更不能要求其他同事对集群网络使用进行优化.所以出现在某一个节点创建普通表并插入数据,在其他点读这种严重影响网络带宽的问题应当在系统设计…

清理归档日志 ogg使用需要开启归档日志,归档日志会随着时间的推移逐渐增多,占满空间,导致应用无法正常运行. 如果归档日志满了会报错 ORA-00257:archiver error解决办法 检查flash recovery area的使用情况 select * from V$FLASH_RECOVERY_AREA_USAGE; 解决办法:使用rman ,采用定时任务,定时清理. 定时任务脚本: OracleArchLogClear.bat D:\app\Administrator\produc…

一.RabbtMQ简介        RabbitMQ的官方站: http:/://www.rabbitmq.com/        rabbitMQ是一个在AMQP协议标准基础上完整的,可服用的企业消息系统.他遵循Mozila Public License开源协议.采用Erlang实现的工业级的消息队列(MQ)服务器. 1.1 AMQP AMQP(高级消息队列协议)是一个异步消息传递所使用的应用层协议规范,作为线路层协议,而不是API (例如JMS),AMQP客户端能够无视消息的来源任意发送和…

安装FTP的全过程记录,对于相同情况希望有所帮助.[centOS] 1.查询本机是否安装vsftpd: rpm -qa |grep vsftpd : 2.安装ftp服务 yum install vsftpd; 3.开启ftp服务 chkconfig vsftpd on,开机启动: 4.手动操作ftp服务,service vsftpd start [restart, stop]: 5.嫌麻烦的,直接关闭防火墙,chkconfig iptables off , 现在关闭 service iptabl…

这周好忙,依据之前的写了个简陋的demo.放在腾讯的云主机上了,大家多交流哈 demo地址 http://203.195.193.251/…

一:下载途径 二:本书图样 三:本书目录 第1篇 数据库运维篇第1章 数据库安装配置1.1 安装前的准备 11.2 安装数据库软件 51.2.1 方法1:OUI安装 61.2.2 方法2:静默安装 81.2.3 方法3:克隆安装 111.2.4 诊断案例:克隆安装后无法登录的问题 131.3 创建/删除数据库 161.3.1 方法1:DBCA图形建库 161.3.2 方法2:手工建库 181.3.3 方法3:DBCA静默建库 221.3.4 方法4:OMF建库 221.3.5 诊断案例:crea…

上篇回顾:https://www.cnblogs.com/dotnetcrazy/p/10810798.html#top 1.6.5.MySQL日志相关 本文的测试环境:MySQL5.7.26.MariaDB5.5.60.MySQL8.0.16 PS:版本查询select version(); 1.MySQL常用日志 服务器层日志(存储引擎层有自己的日志) 日志类型 描述 error_log(错误日志) 记录MySQL启动.运行或停止时出现的问题 general_log(常规日志) 记录所有发送…

1.6.SQL运维篇 运维这块逆天只能说够用,并不能说擅长,所以这篇就当抛砖之用,欢迎补充和纠错 PS:再说明下CentOS优化策略这部分的内容来源:首先这块逆天不是很擅长,所以主要是参考网上的DBA文章,之后请教了下运维相关的朋友,大家辩证看就行了,我只能保证90%的准确度(具体看业务) 1.6.1.概念 1.RAID系 RAID:磁盘冗余队列 把多个容量小的磁盘组成一组容量更大的磁盘,并提供数据冗余来保证数据完整性的技术 RAID0:数据条带(好处:成本低,应用:数据备份) 需要硬盘数>=2…

初中级Linux运维人员们系统学习并迅速掌握Linux的运维实战技能.学习路线大纲如下: 入门基础篇 系统运维篇 Web运维篇 数据库运维篇 集群实战篇 运维监控篇 第一篇:Linux入门(安装.配置.shell命令)基础篇   一. 学习Linux的经验与技巧   1.1 Linux在各领域发展的现状和趋势 1.1.1 Linux与开源软件(Linux成就了开源) 1.1.2 Linux在服务器领域的发展(市场占有率95%,2015年数据) 1.1.3 Linux在桌面领域的发展 1.1.4…

如何迅速掌握并提高linux运维技能   文章来源于南非蚂蚁   之前曾经写过一篇如何学习Linux的文章,得到了很多反馈,大家都在分享自己的学习经验和体会,并且也提出了不少意见和建议.学习这个事情其实是说起来容易,做起来就很难,虽然给大家提高了很多学习linux的思路和方法,但是很多时候,学习的过程是个锻炼和总结的过程,需要自己去体会和领悟,而这个领悟跟钻研的深度有关,所以,对linux技术点钻研较深的朋友,可能收获的知识就多一些,提高也就快一些,而相反,不太喜欢钻研的朋友们,技能提高就稍微慢…

第15章 运维管理 随着各种技术的快速发展,现今的DBA可以比以前的DBA维护多得多的数据库实例.DBA已经越来越像一个资源的管理者,而不是简单的操作步骤执行人.本章将为读者介绍规模化运维之道.首先,我们讲述规模化的相关知识,然后再简要介绍下服务器的采购,最后,笔者将分享一些运维管理规则,希望能起到抛砖引玉的作用. 15.1 规模化运维 对于机器比较少的公司,我们可能不需要太过关注一些规模化运维的原则,这个时候更值得优化的是人员成本.而在拥有了大量机器之后,我们必须考虑如何高效地运维大规模的数据…

写在前面的废话: 很久没有更新文章了,这段时间一直忙于项目落地,虽然很忙,但是感觉没有总结,没有提炼的日子,总是让人感觉飘飘忽忽的. 所幸放下一些事,抽出一些时间,把近期的项目做一些整理与记录.也算是阶段性的收拾过去,整装再发吧. 作为程序员嘛,总要整理整理自己的,不管是知识储备,还是项目应用,亦或者生活种种,都要隔一段时间,整理一下,这样心不会乱,回首亦有节点. 序: 今天要讲解的课程是<物联网3D,使用webgl(three.js)与物联网设备监控运维展示>课程之物业基础设施3D运维篇.…

内容概要 运维简介 运维岗位职责 服务器 服务器硬件介绍 磁盘阵列 虚拟化软件及环境 虚拟化软件 安装操作系统 Vmware虚拟机安装及相关配置流程 内容详情 运维简介 运维岗位职责 核心:运行维护应用程序 MySQL运维篇:https://www.cnblogs.com/Dominic-Ji/p/15124625.html 运维的工作职责: 1.尽量保持24小时不间断工作 2.尽量保证数据不丢失 3.尽量提升网址的响应速度 ps:上述的三个特征也是服务器必备的 服务器 # 电脑的种类 1.台式…

关注「开源Linux」,选择"设为星标" 回复「学习」,有我为您特别筛选的学习资料~ 一.MongoDB 集群简介 MongoDB是一个基于分布式文件存储的数据库,其目的在于为WEB应用提供可扩展的高性能数据存储解决方案.下面将以3台机器介绍最常见的集群方案.具体介绍,可以查看官网 https://docs.mongodb.com/v3.4/introduction/. 1.集群组件的介绍 mongos(路由处理):作为Client与MongoDB集群的请求入口,所有用户请求都会透过M…

先来看mysql5.6主从同步操作时遇到的一个报错:mysql> change master to master_host='192.168.10.59',master_user='repli',master_password='repli@123',master_log_file='mysql-bin.000004',master_log_pos=49224392; ERROR 1776 (HY000): Parameters MASTER_LOG_FILE, MASTER_LOG_POS,…

1. 场景描述 记录一次运维,朋友公司要从线上环境同步数据到测试环境,因为公司监管问题,导致数据无法从线上获取,需要通过vpn,堡垒机,3次跳转到目标主机,通过命令导出mysql数据文件,然后再将数据导入到测试环境,不复杂,稍微走了一点弯路,记录下,希望能帮到碰到同样问题的朋友,不谢! 2.解决方案 1. 连接目标服务器 1. cccc-cluster vpn 2. ssh root@192.168.1.11 / 密钥登陆 3. ssh root@192.168.1.12 -p 29 4. su…

ExcelUtility 类库经过我(梦在旅途)近期不断的优化与新增功能,现已基本趋向稳定,功能上也基本可以满足绝大部份的EXCEL导出需求,该类库已在我们公司大型ERP系统全面使用,效果不错,今天应用户的特殊需求,我又新增了一个功能,导出时动态生成多Sheet EXCEL. 新增方法一:由GetFormatterContainer Func委托导出基于EXCEL模板的多Sheet文件,方法定义如下: /// <summary> /// 由GetFormatterContainer Func委…

自ExcelUtility类推出以来,经过项目中的实际使用与不断完善,现在又做了许多的优化并增加了许多的功能,本篇不再讲述原理,直接贴出示例代码以及相关的模板.结果图,以便大家快速掌握,另外这些示例说明我也已同步到GIT中,大家可以下载与学习,不足之处,敬请见谅,谢谢! 一.ExcelUtility类库操作说明(模板导出示例) 1. /// <summary> /// 测试方法:测试依据模板+DataTable来生成EXCEL /// </summary> [TestMethod]…

mongodb常用命令脚本化-自动化运维 把一些运维中常用到的mongodb命令写成shell脚本,极大的方便了维护   1 设置副本集   #!/bin/bash#mongodb 进入client 并use admincd /usr/mongodb/binMongoDB='./mongo 192.168.1.7:37017'$MongoDB <<EOFuse adminrsconf={        "_id" : "Job001",        &…

一.导入与导出可以操作本地的mongodb也可以是远程的mongodb,通用选项: -h host 主机 --port port 端口 -u username 用户名 -p password 密码 如果mongodb没有账户密码并且是从本地导可以忽略上面四个参数 二.导出: 使用mongodb/bin/mongoexport文件: cd /usr/local/mongodb ./bin/mongoexport -d shop -c order -f name,content -q '{_id:{…