首先说一下,这里是虚拟机环境.

1.用vbox安装centos6.8-mini

注意不要使用复制的方式安装,复制的虚拟机网络不通

安装如下:

主机 ip 角色 内存
hadoop1 192.168.0.10 namenode,HMASTER 2G
hadoop2 192.168.0.11 namenode,HiverServer2,HiveMetaStore 1G
hadoop3 192.168.0.12 ZooKeeper,DateNode,HRegionServer,JournalNode 2G
hadoop4 192.168.0.13 ZooKeeper,DateNode,HRegionServer,JournalNode 2G
hadoop5 192.168.0.14 ZooKeeper,DateNode,HRegionServer,JournalNode 2G

2.修改/etc/hosts

所有机器上执行

echo "127.0.0.1     localhost localhost">/etc/hosts
echo "192.168.0.10 hadoop1">>/etc/hosts
echo "192.168.0.11 hadoop2">>/etc/hosts
echo "192.168.0.12 hadoop3">>/etc/hosts
echo "192.168.0.13 hadoop4">>/etc/hosts
echo "192.168.0.14 hadoop5">>/etc/hosts

3.配置SSH互信

最好把root hdfs yarn都配上ssh互信

1.生成公钥

所有节点执行

ssh-keygen -t rsa -P ''

2.所有节点执行

ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.0.10
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.0.11
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.0.12
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.0.13
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.0.14

这样所有节点之间都有了互信

3.创建用户和组

在所有节点创建hdfs yarn hive zookeeper hbase用户,后续添加其它用户

groupadd hadoop
useradd -g hadoop hdfs
passwd hdfs <<EOF
hdfs
hdfs
EOF
useradd -g hadoop yarn
passwd yarn <<EOF
yarn
yarn
EOF
groupadd zookeeper
useradd -g zookeeper zookeeper
passwd zookeeper <<EOF
zookeeper
zookeeper
EOF
groupadd hive8
useradd -g hive hive
passwd hive <<EOF
hive
hive
EOF
groupadd hbase
useradd -g hbase hbase
passwd hbase <<EOF
hbase
hbase
EOF

4.修改系统参数

echo "session          required       /lib64/security/pam_limits.so ">> /etc/pam.d/login
echo "@hdfs - nofile 4096 ">>/etc/security/limits.conf
echo "@hive - nofile 4096 ">>/etc/security/limits.conf
echo "@yarn - nofile 4096 ">>/etc/security/limits.conf
echo "@zookeeper - nofile 4096 ">>/etc/security/limits.conf
echo "@hbase - nofile 4096 ">>/etc/security/limits.conf
echo "@hdfs - nproc 1024 ">>/etc/security/limits.conf
echo "@hive - nproc 1024 ">>/etc/security/limits.conf
echo "@yarn - nproc 1024 ">>/etc/security/limits.conf
echo "@zookeeper - nproc 1024 ">>/etc/security/limits.conf
echo "@hbase - nproc 1024 ">>/etc/security/limits.conf
echo "@hdfs - memlock 32768" >>/etc/security/limits.conf

设置完后,应用程序需要重启生效.

5.关闭防火墙及SELINUX

#关闭防火墙
service iptables stop
chkconfig iptables off
setenforce 0 #关闭selinux

永久关闭SELINUX:

vi /etc/selinux/config
SELINUX=disabled

6.安装ntp

yum -y install ntp

在ntp服务器节点:

vi /etc/ntp.conf
#本子网内主机都可以同步
restrict 192.168.0.0 mask 255.255.0.0 nomodify
#优先时间服务器
server 192.168.0.10 prefer
#当ntp server不可用,把本地时间做为ntp时间给端用
fudge 127.127.1.0 stratum 8
#日志文件位置
logfile /var/log/ntp.log

启动ntpd服务

service ntpd start

这里将使用192.168.0.10作为时间服务器,建议使用网上的时间服务器比较准确.

客户端节点:

vi /etc/ntp.conf
#优先时间服务器
server 192.168.0.10 prefer
#日志文件位置
logfile /var/log/ntp.log

客户端先手动同步一次时间:

nptdate hadoop1

然后启动nptd服务:

service ntpd start

查看npt状态:

watch ntpq -p

7.禁用IPV6

IPV6会引起某些问题,有些程序默认搜索IPV6.

参考:https://linux.cn/article-5417-1.html

vi /etc/sysctl.conf
# 禁用整个系统所有接口的IPv6
net.ipv6.conf.all.disable_ipv6 = 1
# 禁用某一个指定接口的IPv6(例如:eth0, lo)
net.ipv6.conf.lo.disable_ipv6 = 1
net.ipv6.conf.eth0.disable_ipv6 = 1 #使用修改生效:
$ sudo sysctl -p /etc/sysctl.conf

8.配置环境变量

下载java1.8,解压到/opt/下. vi /etc/profile

export JAVA_HOME=/opt/jdk1.8.0_131
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME
export PATH

测试java:

java -version

1.linux环境配置的更多相关文章

  1. rancher说明为什么需要按照指定版本安装以及rancher和节点linux环境配置-docker指定版本安装

    rancher说明为什么需要按照指定版本安装以及rancher和节点linux环境配置-docker指定版本安装 待办 https://blog.csdn.net/CSDN_duomaomao/art ...

  2. JMeter学习-038-JMeter Linux 环境配置

    1.1.下载 Download URL:http://mirrors.tuna.tsinghua.edu.cn/apache//jmeter/binaries/apache-jmeter-3.0.tg ...

  3. linux环境配置nginx导致页面不刷新

    在linux环境下,配置了nginx负载均衡,由于可能在虚拟主机的配置文件nginx.conf中,对缓存机制未配置成功,导致页面不刷新,仍然显示缓存中的内容. 最后通过注释nginx.conf文件中的 ...

  4. [Linux]环境配置之jdk的安装 标签: jdk服务器linux 2016-08-07 22:18 502人阅读 评论(21)

    这两天服务器崩了,所以需要重新配置环境,然后从头到尾配置了一遍,现在记录总结一下自己这两天的工作,首先是jdk的配置! 很多软件,需要jdk为基础,所以第一个装的就是jdk. 第一步,拷贝文件 首先将 ...

  5. linux环境配置

    一.JDK安装 1.通过xftp工具把jdk-8u60-linux-x64.gz上传到linux 2.解压JDK命令tar -xzf jdk-8u60-linux-x64.gz 3.linux配置环境 ...

  6. 使用jEnv在Mac/Linux环境配置多版本Java

    jEnv 是什么? 先来看一下官方介绍 jEnv is a command line tool to help you forget how to set the JAVA_HOME environm ...

  7. Linux 环境配置 网络端口进程命令

    网络通信命令ping 命令路径:/bin/ping 执行权限:所有用户作用:测试网络的连通性语法:ping 选项 IP地址  -c 指定发送次数    ping 命令使用的是icmp协议,不占用端口e ...

  8. linux环境配置与使用合集

    配置linux和samba共享 1. 安装linux操作系统 2. 通过windows操作系统ping linux看看是否可以ping通 3. 相关软件安装 a. 安装samba sudo apt-g ...

  9. Linux环境配置与项目部署

    简介: Linux是一类Unix计算机操作系统的统称.Linux操作系统的内核的名字也是“Linux”.Linux操作系统也是自由软件和开放源代码发展中最著名的例子.严格来讲,Linux这个词本身只表 ...

随机推荐

  1. 工具 | Axure基础操作 No.4

    昨天因为有事没有学习,很愧疚,今天赶紧补上.俗话说,"学如逆水行舟,不进则退"还是很有道理的. 1.设置页面内容格式 这里主要是在浏览器中的内容所出现的对齐格式,左对齐或者是居中对 ...

  2. mybatis——学习笔记

    配置文件 <properties resource="dbconfig.properties"></properties> 1. properties 引入 ...

  3. Spring Boot 微信-验证服务器有效性【转】

    转:https://blog.csdn.net/jeikerxiao/article/details/68064145 概述 接入微信公众平台开发,开发者需要按照如下步骤完成: 在自己服务器上,开发验 ...

  4. Archlinux下安装微信小程序开发工具

    由于微信小程序没有Linux版本,所以需要用wine来跑 一.安装wine sudo pacman -S wine 二.安装nwjs-sdk 微信开发工具包基于nwjs-sdk #没有wget就先安装 ...

  5. Redis(八):Redis的复制(Master/Slave)

    Redis的复制(Master/Slave)目录导航: 是什么 能干嘛 怎么玩 复制原理 哨兵模式(sentinel) 复制的缺点 是什么 官网 行话:也就是我们所说的主从复制,主机数据更新后根据配置 ...

  6. 「PHP」工厂方法模式

    引言   所属:创建型模式,常用设计模式之一 工厂模式分为:简单工厂模式.工厂方法模式.静态工厂模式.抽象工厂模式. 下面为工厂方法模式. 参考资料: <大话设计模式>程杰   模式概述 ...

  7. python学习——函数进阶

    首先来看下面这个函数. def func(x,y): bigger = x if x > y else y return bigger ret = func(10,20) print(ret) ...

  8. python代理爬取存入csv文件

    爬取高匿代理 from urllib import request import re import time f = open('西1.csv','w',encoding='GBK') header ...

  9. c语言入门这一篇就够了-学习笔记(一万字)

    内容来自慕课网,个人学习笔记.加上了mtianyan标签标记知识点. C语言入门 -> Linux C语言编程基本原理与实践 -> Linux C语言指针与内存 -> Linux C ...

  10. Jenkins中Publish Over SSH插件使用

    Publish Over SSH插件安装 进入插件管理安装插件,我这里已经安装过了所以在installed里面,没安装过去available里面搜索. 系统设置中配置Publish Over SSH ...