hadoop搭建的前期准备
这个hadoop的搭建是以比赛前的练习为目的的,所以我直接以root用户来搭建hadoop,主要也是方便我自己以后复习用的
需要的软件:vmware15.5,xshell6,xftp6,jdk Linux:centos7.4
1,创建主机
在虚拟机中用centos镜像创建3台主机,用于模拟之后的实验。具体的创建方式就不说了
2,设置静态IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改ifcfg-ens33文件的内容,把“dhcp"修改成”static“,并添加ip地址,掩码和网关。
BOOTPROTO = static
IPADDR = 192.168.1.10
NETMASK = 255.255.255.0
GEYWAY = 192.168.1.1
DNS1 = 8.8.8.8
但是有一个问题,配置静态ip后我的DNS失效了,以前也遇见过解决了,现在又忘了。
3,主机名修改
Centos7.4修改主机名有两种方法,都有重启后才生效
方法一
hostnamectl set-hostname master
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2
init 0
方法二
vi /etc/hostname
master
init 6
4,主机映射
vi /etc/hosts
#(每台主机都要添加)
172.16.1.2 master
172.16.1.3 slave1
172.16.1.4 slave2
5,关闭防护墙
关闭iptables
systemctl enable iptables #让iptables开机不自启
systemctl stop iptables
关闭selinux
service selinux stop
vim /etc/sysconfig/selinux
SELINUX=enforcing 改为 SELINUX=disabled
关闭firewalld
service firewalld stop
setenforce
6,配置免密码登入
ssh-keygen #生成密钥
都按回车健,默认无密码。
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2
每台主要都要操作一遍,先生成密钥
7,安装JDK
先在官网上下载jdk,文件:jdk-8u144-linux-x64.tar.gz 要注册oracle。然后使用XFTP上传文件到root目录下。
先配置环境变量
vi /etc/profile
export JAVA_HOME=/usr/local/src/jdk
export PATH=$PATH:JAVA_HOME/bin
source /etc/profile #使环境变量生效
然后解压文件,重命名文件名(个人习惯)
tar zxf /root/jdk-jdk-8u144-linux-x64.tar.gz -C /usr/local/src/
cd /usr/local/src
mv jdk1..0_144 jdk
最后就是验证jdk是否有用
java -version
8,时间同步
伪分布式的hadoop不用
利用Xshell的同时键入到所有的会话的功能发送命令
date #查看当前的时间
data -s "20191122 13:28:00" #yyyymmdd hh:mm:ss
最后:这个是我自己一直在用的方法,可能以后会有更好的
hadoop搭建的前期准备的更多相关文章
- Hadoop集群搭建-01前期准备
Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...
- hadoop搭建开发环境及编写Hello World
hadoop搭建开发环境及编写Hello World 本文地址:http://www.cnblogs.com/archimedes/p/hadoop-helloworld.html,转载请注明源地 ...
- hadoop搭建伪分布式集群(centos7+hadoop-3.1.0/2.7.7)
目录: Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改 /etc/hosts5.关闭防火墙6.关闭SE ...
- hadoop搭建一:虚拟机网络配置和基础(未完成)
基于VMware 15+CentOS 7+Hadoop 2.6,hadoop的搭建主要用于个人学习,水平有限. hadoop搭建一:虚拟机网络配置和基础 hadoop搭建二:hadoop全分布搭建 h ...
- 搭建分布式hadoop环境的前期准备---需要检查的几个点
前期准备: jdkhostnamehostsdate安全机制firewallwindows 域名映射 具体的操作见下面 1.看看自己是否已经配置了别名了(linux别名的配置可以参考博文:自己cent ...
- 【hbase0.96】基于hadoop搭建hbase的心得
hbase是基于hadoop的hdfs框架做的分布式表格存储系统,所谓表格系统就是在k/v系统的基础上,对value部分支持column family和column,并支持多版本读写. hbase的工 ...
- hadoop搭建杂记:Linux下hadoop的安装配置
VirtualBox搭建伪分布式模式:hadoop的下载与配置 VirtualBox搭建伪分布式模式:hadoop的下载与配置 由于个人机子略渣,无法部署XWindow环境,直接用的Shell来操作, ...
- hadoop搭建杂记:Linux下hostname的更改办法
VirtualBox搭建hadoop伪分布式模式:更改hostname VirtualBox搭建hadoop伪分布式模式:更改hostname master: ip:192.168.56.120 机器 ...
- hadoop搭建杂记:Linux下虚拟机集群网络搭建
VirtualBox搭建hadoop伪分布式模式 VirtualBox搭建hadoop伪分布式模式 master: ip:192.168.56.120 机器名: master 启动NameNode 启 ...
随机推荐
- python操作s3服务中的文件
亚马逊云aws提供了s3服务.国内一些云厂商也用了s3技术.要操作s3服务器中的文件需要用到boto这个python包.下面的代码是一个简单例子. #! /usr/bin/python # -*-co ...
- CF1009F Dominant Indices(启发式合并)
You are given a rooted undirected tree consisting of nn vertices. Vertex 11 is the root. Let's denot ...
- 为什么JDK动态代理中要求目标类实现的接口数量不能超过65535个
先明确几个概念: Class文件是一组以8字节为基础单位的二进制流 各个数据项目严格按照顺序紧凑排列在class文件中 中间没有任何分隔符,这使得class文件中存储的内容几乎是全部程序运行的程序 J ...
- 浅析Java String
String 特性 1.其定义的字符串序列不可变. 2.是一个final类,不可被继承,且其内部一些重要方法被定义为final类型,不可重写. 3.内部实现Serializable接口(支持字符串序列 ...
- Socket与系统调用深度分析
学习一下对Socket与系统调用的分析分析 一.介绍 我们都知道高级语言的网络编程最终的实现都是调用了系统的Socket API编程接口,在操作系统提供的socket系统接口之上可以建立不同端口之间的 ...
- ELK和EFK的区别
ELK 是现阶段众多企业单位都在使用的一种日志分析系统,它能够方便的为我们收集你想要的日志并且展示出来 ELK是Elasticsearch.Logstash.Kibana的简称,这三者都是开源软件,通 ...
- django基础之day04,必知必会13条,双下划线查询,字段增删改查,对象的跨表查询,双下划线的跨表查询
from django.test import TestCase # Create your tests here. import os import sys if __name__ == " ...
- 微信小程序 wepy框架 之拦截器intercepter使用
1,在使用wepy框架创建的项目下 找到src/app.wpy 2,在app.wpy constructor方法中添加 super(); this.use('promisify');//启用ES6 p ...
- 《Java基础知识》Java异常处理详解
1. Java 中的异常 前言:Java 中的异常处理是处理程序运行错误时的强大机制之一,它可以保证应用程序的正常流程. 首先我们将了解java异常.异常的类型以及受查和非受查异常之间的区别. 1.1 ...
- 约数之和(POJ1845 Sumdiv)
最近应老延的要求再刷<算法进阶指南>(不得不说这本书不错)...这道题花费了较长时间~(当然也因为我太弱了)所以就写个比较易懂的题解啦~ 原题链接:POJ1845 翻译版题目(其实是AcW ...