为数据节点添加新硬盘 - 挂载硬盘到指定文件夹.如`/dfs_diskb`: - 打开cloudera manager -> hdfs -> 配置 -> DataNode -> DataNode Default Group,添加新硬盘所挂载的目录,注意节点所在群: - 重启hdfs服务. hdfs数据平衡 在主节点(其它节点未测试)执行命令:sudo -u hdfs hdfs balancer. 集群时钟同步 - ntp服务端和外网同步:`sudo /etc/init.d/ntp

HDFS运维—命令注释 1 实验背景 HDFS是大数据其他组件的基础,Hive的数据存储在HDFS中,Mapreduce.Spark 等计算数据也存储在HDFS 中,HBase 的 region 也是存储在HDFS 中.在HDFS shell 客户端我们可以实现多种操作,如上传.下载.删除数据,文件系统管理等.掌握HDFS 的使用对我们更好的理解和掌握大数据大有裨益. 2 实验目的 掌握 HDFS 常用操作. 掌握 HDFS 文件系统管理操作. 3 实验步骤 HDFS 常用操作 [-append

一.启动/重启/停止命令 1.jenkins的启动.停止和重启命令 启动:service jenkins start 或者systemctl start jenkins 状态:service jenkins status 或者systemctl status jenkins 重启:service jenkins restart 停止:service jenkins stop 在Linux上的Jenkins 以rpm方式部署的配置文件在vim /etc/sysconfig/jenkins,可以定义

01-文件属性内容介绍 02- inodeyublock讲解 03-访问oldboyfile的寻宝过程 04-inode与block小结 05-磁盘空间不足案例详解 06-Linux文件类型及拓展名 07-Linux里面的用户角色分类 08-ETC-PASSWD文件详解 09-Linux9位权限说明与计算 10-软连接与硬链接详解 11-软连接与硬链接区别 12-文件删除原理-企业案例讲解与模拟 13-磁盘空间不足案例总结 14-Linux文件属性之-三种时间 15-本章总结及第三周作业内容 1

# 运维管理--- ### 1 集群搭建 #### 1.1 单Master模式 这种方式风险较大,一旦Broker重启或者宕机时,会导致整个服务不可用.不建议线上环境使用,可以用于本地测试. ##### 1)启动 NameServer ```bash### 首先启动Name Server$ nohup sh mqnamesrv & ### 验证Name Server 是否启动成功$ tail -f ~/logs/rocketmqlogs/namesrv.logThe Name Server bo

Hadoop集群-HDFS集群中大数据运维常用的命令总结 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客会简单涉及到滚动编辑,融合镜像文件,目录的空间配额等运维操作简介.话不多少,直接上命令便于以后查看.   一.查看hadf的帮助信息 [yinzhengjie@s101 ~]$ hdfs Usage: hdfs [--config confdir] [--loglevel loglevel] COMMAND where COMMAND is one of: dfs

分布式系统的节点之间常采用心跳来维护节点的健康状态,如yarn的rm与nm之间,hdfs的nn与dn之间.DataNode会定期(dfs.heartbeat.interval配置项配置,默认是3秒)向namenode发送心跳,如果Namenode长时间没有接受到datanode发送的心跳,我们在50070的nn管理界面上就会看到它的lastcontact字段越来越大,至到最后变为dead,namenode就会认为该DataNode失效. ClientProtocol.sendHeartBeat方

第14章 运维技巧和常见问题处理 DBA的成长,离不开对各种问题的处理.本章将为读者介绍一些运维技巧和常见问题的处理方法.我们需要意识到,别人的经验代替不了自己的经验,所以,多实践.多处理问题,最终会帮你成为一名训练有素的DBA. 14.1 MySQL运维技巧 14.1.1 使用lsof命令恢复文件 如果你在Linux下不小心删除了一个文件,现在想要恢复这个文件,那么lsof命令就能派上用场了. 首先补充下关于lsof命令的基础知识. lsof是Linux自带的工具,其他Unix系统可能需要自己

Linux运维入门到高级全套常用要点 目 录 1. Linux 入门篇..................................................................... 4 1. 1 Linux 操作系统简介........................................................... 4 1. 2 Linux 发展趋势.................................................

问题分析的主要手段 1.监控系统:首先用于判断系统各项指标是否正常,明确系统目前状况 2.服务端日志:查看例如region移动轨迹,发生了什么动作,服务端接受处理了哪些客户端请求. 3.gc日志:gc情况是否正常 4.操作系统日志和命令:操作系统层面.硬件是否故障,当前状况如何 5.btrace:实时跟踪目前服务端的请求和处理情况 6.运维工具:通过内置于系统中的功能,查看服务器实时处理状况 其实以上手段,大部分系统都具备,不过各有各的用法,下面我会通过常见的问题来梳理这6大手段. 常见问题1:

Zookeeper是一个高可用的分布式数据管理与协调框架,该框架能很好地保证分布式环境中数据一致性.一般用来实现服务发现(类似DNS),配置管理,分布式锁,leader选举等. 一.生产环境中Zookeeper安装部署规范 生产环境建议zookeeper至少为三台集群,统一安装配置,版本号为近期新版本,比如版本为3.4.8部署路径:/opt/业务模块名/zookeeper配置文件:/opt/业务模块名/zookeeper/conf/zoo.cfg存储快照文件snapshot的目录:/opt/业务

转自:http://lizhenliang.blog.51cto.com/7876557/1657465 一个成熟的数据库架构并不是一开始设计就具备高可用.高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善.这篇博文主要谈MySQL数据库发展周期中所面临的问题及优化方案,暂且抛开前端应用不说,大致分为以下五个阶段: 1.数据库表设计 项目立项后,开发部根据产品部需求开发项目,开发工程师工作其中一部分就是对表结构设计.对于数据库来说,这点很重要,如果设计不当,会直接影响访问速度和用户体验.影

简单记录几个hdfs的运维命令 //查看hdfs的状态,是否有missing block,corrupt block等,也可以看datanode的状态 hdfs dfsadmin -report //查看hdfs根目录下是否有文件处于missing,currupt状态,而且不是under replica的 hadoop fsck / | egrep -v '^\.+$' | grep -v eplica //查看某个文件中,包含的block hadoop fsck /path/to/corrup

hadoop 性能调优与运维 . 硬件选择 . 操作系统调优与jvm调优 . hadoop运维 硬件选择 1) hadoop运行环境 2)  原则一: 主节点可靠性要好于从节点 原则二:多路多核,高频率cpu.大内存, namenode 100万文件的元数据要消耗800M内存,内存决定了集群保存文件数的总量, resourcemanager同时运行的作业会消耗一定的内存. datanode 的内存需要根据cpu的虚拟核数(vcore) 进行配比,CPU的vcore数计算公式为=cpu个数 * 单

Linux运维之道(大量经典案例.问题分析,运维案头书,红帽推荐) 丁明一 编   ISBN 978-7-121-21877-4 2014年1月出版 定价:69.00元 448页 16开 编辑推荐 1.<Linux运维之道>从运维工作的实际需求出发,全面讲解相关的技术.经典案例,以及常见问题的解决方案. 2.作者丁明一具有丰富的实践及教学经验,且非常认真,本书是其呕心沥血之作,不仅内容精益求精,代码的编排作者也花了一些心思,可见其缜密. 3.本书得到了多位业内专家的强烈推荐,包括红帽大中华区考

日常运维 升级 问题处理方法 日常运维 进程管理 由于配置文件的更改,需要重启生效, 或者是进程自己因某种致命原因终止, 或者发现进程工作出现异常等情况下,需要进行手动进程的关闭或启动, 或者是增删节点过程中的需要, 进程的关闭与启动,使用 hadoop-daemon.sh start|stop datanode/namenode/journalnode/zkfc yarn-daemon.sh start|stop nodemanager/resourcemanager 检查进程是否完成关闭:

一个成熟的数据库架构并不是一开始设计就具备高可用.高伸缩等特性的,它是随着用户量的增加,基础架构才逐渐完善.这篇博文主要谈MySQL数据库发展周期中所面临的问题及优化方案,暂且抛开前端应用不说,大致分为以下五个阶段: 1.数据库表设计 项目立项后,开发部根据产品部需求开发项目,开发工程师工作其中一部分就是对表结构设计.对于数据库来说,这点很重要,如果设计不当,会直接影响访问速度和用户体验.影响的因素很多,比如慢查询.低效的查询语句.没有适当建立索引.数据库堵塞(死锁)等.当然,有测试工程师的团队

这里将会介绍一下,LINUX运维工程师的知识体系. 只能说是个人理解吧.并不是必要或者充分的,仅供网友参考. 大部分本博客都有涉及,并不完整. 1.LINUX运维基础 1.1.LINUX系统的简介,分类 1.2.LINUX系统的安装 1.3.LINUX系统安装后的基础优化 1.4.LINUX系统的目录结构 1.5.LINUX系统文件属性 1.6.LINUX系统定时任务 1.7.LINUX系统用户管理 1.8.LINUX系统的磁盘管理 1.9.网络基础知识 1.10.LINUX基础命令(100个左

NoSQL现在风生水起,hbase的使用也越来越广,但目前几乎所有的NoSQL产品在运维上都没法和DB相提并论,在这篇blog中来总结下我们在运维hbase时的一些问题以及解决的方法,也希望得到更多hbase同行们的建议,:) 在运维hbase时,目前我们最为关注的主要是三大方面的状况: 1. Cluster load: 2. 读写: 3. 磁盘空间. 1. Cluster load 集群的load状况直接反映了集群的健康程度,load状况的获取非常容易,直接部署ganglia即可得到,由于hb

http://www.90qj.com/?post=318http://ixdba.blog.51cto.com/2895551/1751377   运维知识体系v0.5-(运维社区-赵班长出品,欢迎转载!) 运维管理体系 测试和开发相关 运维架构层级 内容描述 监控体系 安全体系 备份体系 自动化体系 管理必知必会 ITSM ITIL IT Service CMM Six Sigma PMBok 涉及到运维参与 性能测试(TCPCopy) 单机监控(nmon) 环境规划(开发.测试.预生产.生

本路线图是从0基础开始,全方位由浅入深,按照多年Linux培训经验和优秀教学方法制定的学习思路和学习方法,路线图包括初级入门.中级进阶.高级提升和资深冲刺四个阶段,每阶段对应着不同优秀的课程和学习方法,所有课程精心打造,内容和深度均借鉴国内外一线厂商的工业标准,授课方式不像大学老师那样照本宣科,以生动诙谐的演讲方式为大家呈现课程内容,把最有价值的东西提炼出来深入讲解和练习. 目标 通过通俗易懂的讲课方式和实战的演练,以及全套顶级的指引方法,着力于培养出业内优秀的运维工程师. 初级入门:Linux