1.linux环境配置
首先说一下,这里是虚拟机环境.
1.用vbox安装centos6.8-mini
注意不要使用复制的方式安装,复制的虚拟机网络不通
安装如下:
主机 | ip | 角色 | 内存 |
---|---|---|---|
hadoop1 | 192.168.0.10 | namenode,HMASTER | 2G |
hadoop2 | 192.168.0.11 | namenode,HiverServer2,HiveMetaStore | 1G |
hadoop3 | 192.168.0.12 | ZooKeeper,DateNode,HRegionServer,JournalNode | 2G |
hadoop4 | 192.168.0.13 | ZooKeeper,DateNode,HRegionServer,JournalNode | 2G |
hadoop5 | 192.168.0.14 | ZooKeeper,DateNode,HRegionServer,JournalNode | 2G |
2.修改/etc/hosts
所有机器上执行
echo "127.0.0.1 localhost localhost">/etc/hosts
echo "192.168.0.10 hadoop1">>/etc/hosts
echo "192.168.0.11 hadoop2">>/etc/hosts
echo "192.168.0.12 hadoop3">>/etc/hosts
echo "192.168.0.13 hadoop4">>/etc/hosts
echo "192.168.0.14 hadoop5">>/etc/hosts
3.配置SSH互信
最好把root hdfs yarn都配上ssh互信
1.生成公钥
所有节点执行
ssh-keygen -t rsa -P ''
2.所有节点执行
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.0.10
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.0.11
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.0.12
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.0.13
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.0.14
这样所有节点之间都有了互信
3.创建用户和组
在所有节点创建hdfs yarn hive zookeeper hbase用户,后续添加其它用户
groupadd hadoop
useradd -g hadoop hdfs
passwd hdfs <<EOF
hdfs
hdfs
EOF
useradd -g hadoop yarn
passwd yarn <<EOF
yarn
yarn
EOF
groupadd zookeeper
useradd -g zookeeper zookeeper
passwd zookeeper <<EOF
zookeeper
zookeeper
EOF
groupadd hive8
useradd -g hive hive
passwd hive <<EOF
hive
hive
EOF
groupadd hbase
useradd -g hbase hbase
passwd hbase <<EOF
hbase
hbase
EOF
4.修改系统参数
echo "session required /lib64/security/pam_limits.so ">> /etc/pam.d/login
echo "@hdfs - nofile 4096 ">>/etc/security/limits.conf
echo "@hive - nofile 4096 ">>/etc/security/limits.conf
echo "@yarn - nofile 4096 ">>/etc/security/limits.conf
echo "@zookeeper - nofile 4096 ">>/etc/security/limits.conf
echo "@hbase - nofile 4096 ">>/etc/security/limits.conf
echo "@hdfs - nproc 1024 ">>/etc/security/limits.conf
echo "@hive - nproc 1024 ">>/etc/security/limits.conf
echo "@yarn - nproc 1024 ">>/etc/security/limits.conf
echo "@zookeeper - nproc 1024 ">>/etc/security/limits.conf
echo "@hbase - nproc 1024 ">>/etc/security/limits.conf
echo "@hdfs - memlock 32768" >>/etc/security/limits.conf
设置完后,应用程序需要重启生效.
5.关闭防火墙及SELINUX
#关闭防火墙
service iptables stop
chkconfig iptables off
setenforce 0 #关闭selinux
永久关闭SELINUX:
vi /etc/selinux/config
SELINUX=disabled
6.安装ntp
yum -y install ntp
在ntp服务器节点:
vi /etc/ntp.conf
#本子网内主机都可以同步
restrict 192.168.0.0 mask 255.255.0.0 nomodify
#优先时间服务器
server 192.168.0.10 prefer
#当ntp server不可用,把本地时间做为ntp时间给端用
fudge 127.127.1.0 stratum 8
#日志文件位置
logfile /var/log/ntp.log
启动ntpd服务
service ntpd start
这里将使用192.168.0.10作为时间服务器,建议使用网上的时间服务器比较准确.
客户端节点:
vi /etc/ntp.conf
#优先时间服务器
server 192.168.0.10 prefer
#日志文件位置
logfile /var/log/ntp.log
客户端先手动同步一次时间:
nptdate hadoop1
然后启动nptd服务:
service ntpd start
查看npt状态:
watch ntpq -p
7.禁用IPV6
IPV6会引起某些问题,有些程序默认搜索IPV6.
参考:https://linux.cn/article-5417-1.html
vi /etc/sysctl.conf
# 禁用整个系统所有接口的IPv6
net.ipv6.conf.all.disable_ipv6 = 1
# 禁用某一个指定接口的IPv6(例如:eth0, lo)
net.ipv6.conf.lo.disable_ipv6 = 1
net.ipv6.conf.eth0.disable_ipv6 = 1
#使用修改生效:
$ sudo sysctl -p /etc/sysctl.conf
8.配置环境变量
下载java1.8,解压到/opt/下. vi /etc/profile
export JAVA_HOME=/opt/jdk1.8.0_131
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME
export PATH
测试java:
java -version
1.linux环境配置的更多相关文章
- rancher说明为什么需要按照指定版本安装以及rancher和节点linux环境配置-docker指定版本安装
rancher说明为什么需要按照指定版本安装以及rancher和节点linux环境配置-docker指定版本安装 待办 https://blog.csdn.net/CSDN_duomaomao/art ...
- JMeter学习-038-JMeter Linux 环境配置
1.1.下载 Download URL:http://mirrors.tuna.tsinghua.edu.cn/apache//jmeter/binaries/apache-jmeter-3.0.tg ...
- linux环境配置nginx导致页面不刷新
在linux环境下,配置了nginx负载均衡,由于可能在虚拟主机的配置文件nginx.conf中,对缓存机制未配置成功,导致页面不刷新,仍然显示缓存中的内容. 最后通过注释nginx.conf文件中的 ...
- [Linux]环境配置之jdk的安装 标签: jdk服务器linux 2016-08-07 22:18 502人阅读 评论(21)
这两天服务器崩了,所以需要重新配置环境,然后从头到尾配置了一遍,现在记录总结一下自己这两天的工作,首先是jdk的配置! 很多软件,需要jdk为基础,所以第一个装的就是jdk. 第一步,拷贝文件 首先将 ...
- linux环境配置
一.JDK安装 1.通过xftp工具把jdk-8u60-linux-x64.gz上传到linux 2.解压JDK命令tar -xzf jdk-8u60-linux-x64.gz 3.linux配置环境 ...
- 使用jEnv在Mac/Linux环境配置多版本Java
jEnv 是什么? 先来看一下官方介绍 jEnv is a command line tool to help you forget how to set the JAVA_HOME environm ...
- Linux 环境配置 网络端口进程命令
网络通信命令ping 命令路径:/bin/ping 执行权限:所有用户作用:测试网络的连通性语法:ping 选项 IP地址 -c 指定发送次数 ping 命令使用的是icmp协议,不占用端口e ...
- linux环境配置与使用合集
配置linux和samba共享 1. 安装linux操作系统 2. 通过windows操作系统ping linux看看是否可以ping通 3. 相关软件安装 a. 安装samba sudo apt-g ...
- Linux环境配置与项目部署
简介: Linux是一类Unix计算机操作系统的统称.Linux操作系统的内核的名字也是“Linux”.Linux操作系统也是自由软件和开放源代码发展中最著名的例子.严格来讲,Linux这个词本身只表 ...
随机推荐
- 工具 | Axure基础操作 No.4
昨天因为有事没有学习,很愧疚,今天赶紧补上.俗话说,"学如逆水行舟,不进则退"还是很有道理的. 1.设置页面内容格式 这里主要是在浏览器中的内容所出现的对齐格式,左对齐或者是居中对 ...
- mybatis——学习笔记
配置文件 <properties resource="dbconfig.properties"></properties> 1. properties 引入 ...
- Spring Boot 微信-验证服务器有效性【转】
转:https://blog.csdn.net/jeikerxiao/article/details/68064145 概述 接入微信公众平台开发,开发者需要按照如下步骤完成: 在自己服务器上,开发验 ...
- Archlinux下安装微信小程序开发工具
由于微信小程序没有Linux版本,所以需要用wine来跑 一.安装wine sudo pacman -S wine 二.安装nwjs-sdk 微信开发工具包基于nwjs-sdk #没有wget就先安装 ...
- Redis(八):Redis的复制(Master/Slave)
Redis的复制(Master/Slave)目录导航: 是什么 能干嘛 怎么玩 复制原理 哨兵模式(sentinel) 复制的缺点 是什么 官网 行话:也就是我们所说的主从复制,主机数据更新后根据配置 ...
- 「PHP」工厂方法模式
引言 所属:创建型模式,常用设计模式之一 工厂模式分为:简单工厂模式.工厂方法模式.静态工厂模式.抽象工厂模式. 下面为工厂方法模式. 参考资料: <大话设计模式>程杰 模式概述 ...
- python学习——函数进阶
首先来看下面这个函数. def func(x,y): bigger = x if x > y else y return bigger ret = func(10,20) print(ret) ...
- python代理爬取存入csv文件
爬取高匿代理 from urllib import request import re import time f = open('西1.csv','w',encoding='GBK') header ...
- c语言入门这一篇就够了-学习笔记(一万字)
内容来自慕课网,个人学习笔记.加上了mtianyan标签标记知识点. C语言入门 -> Linux C语言编程基本原理与实践 -> Linux C语言指针与内存 -> Linux C ...
- Jenkins中Publish Over SSH插件使用
Publish Over SSH插件安装 进入插件管理安装插件,我这里已经安装过了所以在installed里面,没安装过去available里面搜索. 系统设置中配置Publish Over SSH ...