1.启动Hadoop集群 #首先查看下zoo.cfg里面配置的server.id和集群主机的id是否一致 #如果不一致会造成yarn控制不了从节点的启动 cat /home/hadoop/zookeeper/conf/zoo.cfg cat /home/hadoop/zookeeper/data/myid #分别停止和启动各节点的zookeeper #保证每台节点的状态为follow或者leader /home/hadoop/zookeeper/bin/zkServer.sh stop /hom…

由于前期的集群规划问题,导致当前Hadoop集群中的硬件并没有完全利用起来.当前机器的内存CPU比例为2G:1core,但一般的MapReduce任务(数据量处理比较大,逻辑较复杂)的MR两端都需要将近4G的内存,于是原有的瓶颈就在于内存不够大,周末就和运维部门一起执行当前集群的机器加内存操作(我在这边主要是打酱油+学习,运维方面经验欠缺).   此次加内存是针对当前所有的DataNode节点,与NameNode无关,在操作之前需要整理所有的DataNode节点.    DataNode节点加内…

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应.管理和监控. Ambari眼下已支持大多数Hadoop组件,包含HDFS.MapReduce.Hive.Pig. Hbase.Zookeper.Sqoop和Hcatalog等. Apache Ambari 支持HDFS.MapReduce.Hive.Pig.Hbase.Zookeper.Sqoop和Hcatalog等的集中管理.也是5个顶级hadoop管理工具之中的一个. Ambari主要取得了下面成绩:…

1. 基础环境搭建 新建3个CentOS6.5操作系统的虚拟机,命名(可自定)为masternode.slavenode1和slavenode2.该过程参考上一篇博文CentOS6.5安装配置详解 2.Hadoop集群搭建(以下操作中三个节点相同的地方就只给出主节点的截图,不同的才给出所有节点的截图)   2.1 系统时间同步 使用date命令查看当前系统时间 系统时间同步 [root@masternode ~]# cd /usr/share/zoneinfo/ [root@masternode…

1.简介 Hadoop是大数据通用处理平台,提供了分布式文件存储以及分布式离线并行计算,由于Hadoop的高拓展性,在使用Hadoop时通常以集群的方式运行,集群中的节点可达上千个,能够处理PB级的数据. Hadoop各个模块剖析:https://www.cnblogs.com/funyoung/p/9889719.html 2.Hadoop集群架构图 3.Hadoop集群搭建 3.1 修改配置 1.配置SSH以及hosts文件 由于在启动hdfs.yarn时都需要对用户的身份进行验证,且集群中…

本篇介绍为了保证Hadoop集群平稳地执行.须要深入掌握的知识.以及一些管理监控的手段,日常维护的工作. HDFS 永久性数据结构 对于管理员来说.深入了解namenode,辅助namecode和datanode等HDFS组件怎样在磁盘上组织永久性数据很重要. 洞悉各文件的使用方法有助于进行故障诊断和故障检出. namenode的文件夹结构 namenode被格式化后,将在${dfs.namenode.name.dir}/current 文件夹下.产生例如以下的文件夹结构:VERSION.edi…

Hadoop系列之(三):使用Cloudera部署,管理Hadoop集群 http://www.cnblogs.com/ee900222/p/hadoop_3.html Hadoop系列之(一):Hadoop单机部署 http://www.cnblogs.com/ee900222/p/hadoop_1.html Hadoop系列之(二):Hadoop集群部署 http://www.cnblogs.com/ee900222/p/hadoop_2.html…

1. Cloudera介绍 Hadoop是一个开源项目,Cloudera对Hadoop进行了商业化,简化了安装过程,并对hadoop做了一些封装. 根据使用的需要,Hadoop集群要安装很多的组件,一个一个安装配置起来比较麻烦,还要考虑HA,监控等. 使用Cloudera可以很简单的部署集群,安装需要的组件,并且可以监控和管理集群. CDH是Cloudera公司的发行版,包含Hadoop,Spark,Hive,Hbase和一些工具等. Cloudera有两个版本: Cloudera Expres…

##################内存管理############### 1.Redis的内存管理 .与memcache不同,没有实现自己的内存池 .在2..4以前,默认使用标准的内存分配函数(libc),可以选择tcmalloc .在2..4以后,jemalloc成为代码一部分 2.从实验的各个角度出发,发现对于大量数据的内存管理,使用jemolloc效果比较好,而对于少量数据,使用libc即可. ##################集群环境下Session管理###############…

redis 的安装与设置开机自启(https://www.cnblogs.com/zhulina-917/p/11746993.html)  第一步: a) 搭建环境 引入 jedis jar包 commons-lang3.jar b) 扩展MyBatis 应用Redis 扩展 Cache MyBatis 应用 Redis作为缓存的开发步骤 2. Redis与java连接 当我们要连接java 代码时,配置文件默认绑定的端口号是127.0.0.1 那么也就意味着使用的是本机进行连接 此时如果要能…