1. 为什么集群需要使用时间同步

暂时保留。

2. hadoop集群如何同步

2.1  以下面hadoop集群为例子:

10.10.11.1   master
10.10.11.2 slave
10.10.11.3 slave
10.10.11.4 slave
10.10.11.5 slave
10.10.11.6 slave

2.2 查看所有服务器是否安装ntp软件

rpm -qa |grep ntp

如果有下面2个即可。

2.3 在master上设置配置文件

2.3.1   修改/etc/ntp.conf文件

参考以下2处修改:

2.3.2 开启服务

service ntpd start

2.3.3 同步系统时间到硬件时间上

hwclock -w

系统时间  date 或 date -u

得到的是本地时间。

硬件时间

主板上电池供电的BIOS时间,开机启动会将硬件时间同步给本地时间的。

2.4 在其他slave上设置定时同步

使用root账户编辑 /var/spool/cron/root文件,添加以下内容:

  * * * /usr/sbin/ntpdate 10.10.11.1   #表示每天23点开始从10.10.11.1服务器同步时间

2.5 初始化

master初始化同步时间

ntpdate -u 210.72.145.44   #中国国家受时中心
hwclock -w

slave初始化同步master的时间

ntpdate 10.10.11.1    #先同步master时间
hwclock -w #再将系统时间同步到硬件时间上

20180123更新:

国家受时中心经常连接不上,请换用time.windows.com

Hadoop集群时钟同步的更多相关文章

  1. 基于OGG的Oracle与Hadoop集群准实时同步介绍

    版权声明:本文由王亮原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/220 来源:腾云阁 https://www.qclou ...

  2. linux集群时钟问题

    一.ntpd与ntpdate的区别: 摘自:ntpd与ntpdate的区别 - 百事乐 - 博客园  http://www.cnblogs.com/liuyou/archive/2012/07/29/ ...

  3. 配置NTP服务ntpd/ntp.conf(搭建Hadoop集群可参考)

    本文拟定是在一个局域网内(比如一个Hadoop集群)设定一台NTP服务器作为整个网络的标准时间参考,使用网络(集群)内的所有机器保持时间一致!以下是详细的操作步骤: 1. 修改选定的服务器的本地时间 ...

  4. 使用yum安装CDH Hadoop集群

    使用yum安装CDH Hadoop集群 2013.04.06 Update: 2014.07.21 添加 lzo 的安装 2014.05.20 修改cdh4为cdh5进行安装. 2014.10.22  ...

  5. yum安装CDH5.5 Hadoop集群

    1.环境说明 系统环境: 系统环境:centos6.7 Hadoop版本:CDH5.5 JDK运行版本:1.7.0_67 集群各节点组件分配: 2.准备工作 安装 Hadoop 集群前先做好下面的准备 ...

  6. 高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南

    原文:http://my.oschina.net/wstone/blog/365010#OSC_h3_13 (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 [X] ...

  7. Apache Hadoop 集群安装文档

    简介: Apache Hadoop 集群安装文档 软件:jdk-8u111-linux-x64.rpm.hadoop-2.8.0.tar.gz http://www.apache.org/dyn/cl ...

  8. hadoop集群安装规划

    http://mp.weixin.qq.com/s?__biz=MzI5MDYxNjIzOQ==&mid=2247483999&idx=1&sn=016e4c4d0ba7bd9 ...

  9. Apache Hadoop集群安装(NameNode HA + SPARK + 机架感知)

    1.主机规划 序号 主机名 IP地址 角色 1 nn-1 192.168.9.21 NameNode.mr-jobhistory.zookeeper.JournalNode 2 nn-2 ).HA的集 ...

随机推荐

  1. xp看系统位数

      运行cmd,看打开的cmd窗口标题一般c:\windows\system32代表32位操作系统,64位就是system64,详细系统信息运行命令“systeminfo”  

  2. Evernote如何邮件分享

    把你的笔记通过邮件发送给别人,从而实现分享

  3. Java并发和多线程:序

      近期,和不少公司的"大牛"聊了聊,当中非常多是关于"并发和多线程"."系统架构"."分布式"等方面内容的.不少问题, ...

  4. django中处理文件上传文件

    1 template模版文件uploadfile.html 特别注意的是,只有当request方法是POST,且发送request的<form>有属性enctype="multi ...

  5. Git教程Git多人协作开发

    Git可以完成两件事情: 1. 版本控制 2.多人协作开发 如今的项目,规模越来越大,功能越来越多,需要有一个团队进行开发. 如果有多个开发人员共同开发一个项目,如何进行协作的呢. Git提供了一个非 ...

  6. Creating the Help Page in ASP.NET Web API

    Introduction In this article we will define the process of creating the help page in the ASP .NET We ...

  7. 分享一:关于mysql中避免重复插入记录方法

    一: INSERT ON DUPLICATE KEY UPDATE 如果您指定了ON DUPLICATE KEY UPDATE,并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重 ...

  8. SpringCloud分布式开发五大神兽

    SpringCloud分布式开发五大神兽 服务发现——Netflix Eureka 客服端负载均衡——Netflix Ribbon 断路器——Netflix Hystrix 服务网关——Netflix ...

  9. Android 开发之 bindService() 通信

    Service 启动方式有两种 startService(intent) bindService(intent,conn,Context.BIND_AUTO_CREATE) startService( ...

  10. android 开发 ------- 接口文档 规范

    1 接口书写的格式: 1   用例图 2   流程图 3   详细的接口: 3.1请求的方式: 包含:   server地址 le.gxjinan.com/open/user.php?ac=login ...