在CDH集群中发现有两台机器获取不到心跳(),导致监控不了机器状态,出现告警 可以使用ntpstat检查与ntp 服务器的时间偏差状态 使用 ntpstat 发现没有同步到ntp时间服务器,运行 ntpdate ip  添加时间同步服务器出现报错 the NTP socket is in use, exiting 网上搜了一下,大部分的建议是运行 service ntpd stop  关掉ntpd这个服务再 ntpdate ip 来添加ntp时间同步服务器,运行 service ntpd sta…

集群时间同步(主节点) 1. 查看是否安装ntp服务,如果没有安装 rpm -qa |grep ntpd查看命令 yum install ntp安装命令 2. 修改配置 vi /etc/ntp.conf 去掉这个注释,将地址改成网段地址 restrict 10.228.86.252 mask 255.255.255.0 nomodify notrap 注释掉这几个 #server .centos.pool.ntp.org iburst #server .centos.pool.ntp.org i…

2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu   内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server  || Agent 10G 6G 5G CDH2_node10 Agent 2G 1-1.5G 1G CDH3_node11 Agent 2G 1-1.5G 1G 1. • 系统环境准备 1.网络配置  vi /etc/sysconfig/network vi /etc/hosts 2.SSH免密钥登录 虚拟机的环境…

0.绪论 之前完全没有接触过大数据相关的东西,都是书上啊,媒体上各种吹嘘啊,我对大数据,集群啊,分布式计算等等概念真是高山仰止,充满了仰望之情,觉得这些东西是这样的: 当我搭建的过程中,发现这些东西是这样的: 对于初学者来说,我认为缺点如下: 1.需要控制,配置的东西太多,并且配置对应并不是很清晰(以后优化集群是否会有很高含金量?) 2.整个集群,我觉的从硬件到软件整体来说还是稳定性有待提高,尤其CDH 集群这块一会这个主机失去联系,一会NameNode挂,一会monitor挂,整个使用过程就是…

集群时间同步服务在集群中的两个 Oracle RAC 节点上执行以下集群时间同步服务配置.Oracle Clusterware 11g 第 2 版及更高版本要求在部署了 Oracle RAC 的集群的所有节点上实现时间同步.Oracle 提供了两种方法来实现时间同步:一种方法是配置了网络时间协议 (NTP) 的操作系统,另一种方法是新的 Oracle 集群时间同步服务 (CTSS).Oracle 集群时间同步服务 (ctssd) 旨在为那些 Oracle RAC 数据库无法访问 NTP 服务的组…

1. 安装ntp时间同步工具 yum -y install ntp ntpdate #安装ntpdate时间同步工具 ntpdate cn.pool.ntp.org #设置时间同步 hwclock --systohc #将系统时间写入硬件时间 timedatectl #查看系统时间 一般来讲,经过这几部之后,应该就OK了.关于时间服务的网址,可以到http://www.ntp.org.cn/pool.php查阅. 有些时候,在执行ntpdate cn.pool.ntp.org的时候会出现下面的错…

本文原始地址:https://sitoi.cn/posts/27560.html 步骤 在时间同步主节点创建 ntp.conf 文件 在时间同步从节点上创建 ntp.conf 文件 修改所有节点时区 重启主节点 ntpd 服务 将所有从节点时间与主节点时间同步 检测时间是否同步 重启从节点 ntpd 服务 在时间同步主节点创建 ntp.conf 文件 选择一台设备当时间同步主节点,运行以下命令,编写文件 ntp.conf sudo vim /etc/ntp.conf 写入如下内容: driftf…

集群时间同步 如果服务器在公网环境(能连接外网),可以不采用集群时间同步.因为服务器会定期和公网时间进行校准. 如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步. 时间服务器配置(必须root用户) 首先需要设置一个时间服务器作为基准,其他服务器周期性的与时间服务器同步.测试环境为了尽快看见效果采用1分钟同步一次. 1.查看所有节点ntpd(时间服务器)服务状态和开机自启状态 [root@hadoop102 ~]$ systemctl sta…

一.系统centOS7以上,至少三台主机 添加ip 主机名映射关系:(每台主机都要做) vim /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.0.8.107 master 10.0.8.108 node1 10.0.8.1…

前言 由于项目数据安全的需要,这段时间看了下hadoop的distcp的命令使用,不断的纠结的问度娘,度娘告诉我的结果也让我很纠结,都是抄来抄去, 还好在牺牲大量的时间的基础上还终于搞出来了,顺便写这个随笔,记录下. 环境 目前我们是两套同版本的CDH集群,集群内的节点通信使用的私网,提供浮动ip对外通信,也就是说,两个集群间的私网是不互通的,只能通过浮动ip 进行通信. 操作 使用hadoop提供的distcp命令进行数据迁移 (数据源集群source和目标集群target版本相同) 迁移hd…

body { border: 1px solid #ddd; outline: 1300px solid #fff; margin: 16px auto; } body .markdown-body { padding: 30px; } @font-face { font-family: fontawesome-mini; src: url(data:font/woff;charset=utf-8;base64,d09GRgABAAAAAAzUABAAAAAAFNgAAQAAAAAAAAAAAA…

最近CDH集群频繁告警,原因是某些host频繁swapping,极大影响了集群的性能. 后来发现有个设置(/proc/sys/vm/swappiness)需要修改,默认值60 Setting the vm.swappiness Linux Kernel Parameter vm.swappiness is a Linux Kernel Parameter that controls how aggressively memory pages are swapped to disk. It can…

1. 硬件准备     使用了五台机器,其中两台8c16g,三台4c8g.一台4c8g用于搭建cmServer和NFS服务端,另外4台作为cloudera-manager agent部署CDH集群. ip 主要服务/角色 hostname(hosts配置与此一致) 机器规格 10.2.223.237 cmServer NFS server v-xstest-849-171208-cdh-1.hx 4c8g200g 10.2.223.239 Namenode,resouceManager,Hbas…

#---1.修改每个用户的hosts vi /etc/hosts #127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 172.6.10.20 dip001172.6.10.21 dip002172.6.10.22 dip003172.6.10.23 dip…

关闭集群 - 关闭集群所有组件 关闭Cloudera Management Service 关闭cdh所有客户端节点 sudo /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-agent hard_stop_confirmed 使用stop不会停止pid相关的进程,会造成在客户端机器重启后再次启动cloudera-scm-agent出现异常,使用hard_stop_confirmed则不会造成异常. 关闭chd中服务端节点 sudo…

CDH集群中YARN的参数配置 前言:Hadoop 2.0之后,原先的MapReduce不在是简单的离线批处理MR任务的框架,升级为MapReduceV2(Yarn)版本,也就是把资源调度和任务分发两块分离开来.而在最新的CDH版本中,同时集成了MapReduceV1和MapReduceV2(Yarn)两个版本,如果集群中需要使用Yarn做统一的资源调度,建议使用Yarn. CDH对Yarn的部分参数做了少了修改,并且添加了相关的中文说明,本文着重介绍了CDH中相比 MapReduceV1一些参…

 CDH集群搭建视频教程 百度云网盘下载 链接: http://pan.baidu.com/s/1i5DVBlb   密码:2mny…

相关文章链接 CentOS7安装CDH 第一章:CentOS7系统安装 CentOS7安装CDH 第二章:CentOS7各个软件安装和启动 CentOS7安装CDH 第三章:CDH中的问题和解决方法 CentOS7安装CDH 第四章:CDH的版本选择和安装方式 CentOS7安装CDH 第五章:CDH的安装和部署-CDH5.7.0 CentOS7安装CDH 第六章:CDH的管理-CDH5.12 CentOS7安装CDH 第七章:CDH集群Hadoop的HA配置 CentOS7安装CDH 第八章:…

背景:部署CDH集群的 hive 服务,选用 mysql 作为 hive 元数据的存储数据库,通过 hive cli 建表时发现中文注释均乱码. 现象:hive端建表中文注释乱码. 定位: 已经确认过 mysql 库的默认编码是 utf-8,并且 mysql 中建库建表不存在中文乱码的情况. 于是查看hive库表的编码,分别通过如下方式查看hive库和随机某个表的编码,发现hive表的编码是 lantin1,问题也就出在这里. 查看hive库编码: 查看hive表编码: 解决方法: 将hive表…

一.环境准备 准备至少3台设备:CentOS7系统: 如果是在实验环境下,给虚拟机的内存至少4G,根建议1T,数据盘1T,由于是虚拟机,所以根分区和数据盘放心大胆的给:如果是在生产环境则多多益善:我这次的实验环境是三台2G内存,50G硬盘的腾讯云主机(CentOS7.5),不知是否能搭建成功,试试吧: 二.数据库安装 注意:以下数据库的配置方式是错误的,一定不要yum安装数据库,yum安装在CentOS7上是mariadb5.5版本的:在最后初始化的时候会遇到各种古怪问题,我的CDH版本明明是5…

NTP时钟同步方式说明NTP在linux下有两种时钟同步方式,分别为直接同步和平滑同步: 直接同步 使用ntpdate命令进行同步,直接进行时间变更.如果服务器上存在一个12点运行的任务,当前服务器时间是13点,但标准时间时11点,使用此命令可能会造成任务重复执行.因此使用ntpdate同步可能会引发风险,因此该命令也多用于配置时钟同步服务时第一次同步时间时使用. 平滑同步 使用ntpd进行时钟同步,可以保证一个时间不经历两次,它每次同步时间的偏移量不会太陡,是慢慢来的,这正因为这样,ntpd平…

我们搭建集群环境的时候,时间必须是要统一的,才能保证集群数据的一致性. 一般操作是直接使用NTP,跟默认的时间服务器同步,但是最好还是让所有节点跟集群中的某台作为时间服务器的节点同步. 步骤:(节点有NameNode1,NameNode2,DataNode1,DataNode2,DataNode3) 选择一台服务器作为时间服务器.(DataNode1做为时间服务器) 使用root用户,查看服务器是否安装ntp服务  rpm -qa|grep ntp 没有安装的话使用yum install进行安装…

1. NTP 简介 网络时间协议(英语:Network Time Protocol,简称NTP)是在数据网络潜伏时间可变的计算机系统之间通过分组交换进行时钟同步的一个网络协议.自1985年以来,NTP是目前仍在使用的最古老的互联网协议之一.NTP由特拉华大学的David L. Mills设计. NTP意图将所有参与计算机的协调世界时(UTC)时间同步到几毫秒的误差内.它使用Marzullo算法的修改版来选择准确的时间服务器,其设计旨在减轻可变网络延迟造成的影响.NTP通常可以用公共互联网保持几十…

集群中时间不同步有可能会让大数据的应用程序运行混乱,造成不可预知的问题,比如Hbase,当时间差别过大时就会挂掉,所以在大数据集群中,ntp服务,应该作为一种基础的服务,以下在演示在CentOS 7.2集群上配置ntp服务的过程 首先检查系统中是否安装ntp包: rpm -q ntp 我这里是只是基础服务器操作系统,所以没有安装ntp服务 然后,执行命令在线安装ntp: yum -y install ntp 安装成功之后,再次执行 rpm -q ntp 可以看到对应的包: 这个时候可以使用命令查…

说明:由于hadoop集群对时间要求很高,所以集群内主机要经常同步.本文档适合ubuntu.redhat系列. 注:很多内容是在网上摘录,然后试验后总结,如有疑问可留言探讨. 1.设置主机时间准确(任意机器都可).//如果不需要同步网络时间则可以省略这一步 1.1查看本机时间和时区(date) 1.2设置时区(tzselect ;选择后执行cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime)(这里是redhat的修改时区,ubuntu较简单,命…

1 软硬件准备 1.1 准备三个节点 序号 主机名 内存 CPU IP地址 角色 1 cdh1 8G 8核心 192.168.5.78 cloudera-scm-server,mysql 2 cdh2     4G 8核心 192.168.5.79 cloudera-scm-agent 3 cdh2 4G 8核心 192.168.5.80 cloudera-scm-agent 1.2 软件版本信息 OS:RedHat EL 6.5 CDH: 5.6.0 Java:1.7 MySQL:5.6  …

1       情况概述 公司的开发集群在周末莫名其妙的主节点Hadoop-1的启动固态盘挂了,由于CM.HDFS的NameNode.HBase的Master都安装在Hadoop-1,导致了整个集群都无法使用,好在数据不在启动盘. Hadoop-1的系统必须重装,但是不能重装集群,因为要将之前的数据全部保留恢复,所以只能通过集群恢复的手段将集群重新跑起来. 主要服务角色安装情况: Hadoop-1: CM,HDFS( NN,DN ),HBase(HMaster, RegionServer),YA…

CDH 数据库 磁盘坏了  所有集群配置 都没了    而且 还没备份  ....    元数据 还在  cdh  软件配置 和  安装软件 不能用了 下载 apache hadoop   重新配置  namenode datenode   journode  加载以前的数据  读出来了  .. 强制了  namenode 主   把数据迁移到 其他节点   因为 重新 安装数据可  CDH 自动把之前的目录  配置文件 和 软件 全部清空了 还是手动安装靠谱…

最近尝试这用用eclipse连接CDH的集群,由于之前尝试过很多次都没连上,有一次发现Cloudera Manager是将连接的端口修改了,所以才导致连接不上CDH的集群,之前Apache hadoop采用的端口是9000和9001,而Cloudera Manager采用的端口是8020端口,于是通过eclipse中的MapReduce选项卡,edit一个选项连接,发现连上了.这给我带来了一些意外. 在这里有一个问题需要说明一下,这个eclipse的插件我还是用的Apache hadoop的ha…

1.概述 NTP(Network Time Protocol)是用来使计算机时间同步化的一种协议,它可以使计算机对其服务器或时钟源(如石英钟,GPS等等)做同步化,它可以提供高精准度的时间校正(LAN上与标准间差小于1毫秒,WAN上几十毫秒),且可介由加密确认的方式来防止恶毒的协议攻击.(来自 百度百科) 2.集群状况 现在又4台Ubuntu主机,选择其中一台作为提供ntp服务的主机(server01). 3.安装ntp服务 在提供ntp服务的主机上安装ntpserver: apt-get in…