最近在搞大数据项目支持所以有时间写下hadoop随笔吧. 环境介绍: Linux: centos7 jdk:java version "1.8.0_181 hadoop:hadoop-3.2.0 ssh:配置ssh免密码登录 安装步骤: 1.下载hadoop 地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 下载完成后解压包 tar xzvf  hadoop-3.2.0.tar.gz…

本地模式 环境介绍 一共三台测试机 master   192.168.4.91 slave1   192.168.4.45 slave2   192.168.4.96 操作系统配置 1.Centos7操作系统 2.防火墙,selinux都关闭(在学习的时候,基本都是关闭防火墙,生产环境,防火墙都是打开的,不仅有Linux自带的主机防火墙,还有其他的物理防火墙) *** 以下操作需要root权限 *** () Centos7关闭防火墙命令 #systemctl stop firewalld #sy…

1  下载 下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/stable2/ 2 解压 将文件解压到 /usr/local/hadoop cd ~/下载 tar -zxf hadoop-.tar.gz sudo mv ./hadoop-/ /usr/local/hadoop cd /usr/local/hadoop 此时可以查看Hadoop版本信息: ./bin/hadoop version   3 hadoop伪分布式配置 3.1 配置ha…

hadoop 2.6的“伪”分式安装与“全”分式安装相比,大部分操作是相同的,主要区别在于不用配置slaves文件,而且其它xxx-core.xml里的参数很多也可以省略,下面是几个关键的配置: (安装JDK.创建用户.设置SSH免密码 这些准备工作,大家可参考hadoop 2.6全分布安装 一文,以下所有配置文件,均在$HADOOP_HOME/etc/hadoop目录下) 另外,如果之前用 yum install hadoop安装过低版本的hadoop,请先卸载干净(即:yum remove…

目录 环境准备 创建hadoop用户 更新apt 配置SSH免密登陆 安装配置Java环境 安装Hadoop Hadoop单机/伪分布配置 单机Hadoop 伪分布Hadoop 启动Hadoop 停止Hadoop 作者: vincent_zh时间:2016-10-16 出处:http://www.cnblogs.com/vincentzh/p/5967274.html 声明:本文以学习.研究和分享为主,如需转载,标明作者和出处,非商业用途! 环境准备 此处准备的环境是Virtual Box虚拟机…

1. 安装 这里以安装hadoop-0.20.2为例 先安装java,参考这个 去着下载hadoop 解压 2. 配置 修改环境变量 vim ~/.bashrc export HADOOP_HOME=/home/rte/hadoop-0.20.2 #这里为实际hadoop解压的目录位置 export PATH=$PATH:$HADOOP_HOME/bin source ~/.bashrc 配置hadoop-env.sh vim conf/hadoop-env.sh export JAVA_HOM…

local模式: 把安装包 解压到 /usr/local  下 [hadoop@master local]$ sudo tar -zxvf hadoop-2.7.3.tar.gz   创建一个软连接 [hadoop@master local]$ sudo ln -s hadoop-2.7.3 hadoop   增加环境变量 [hadoop@master local]$ vi ~/.bash_profile  增加 export JAVA_HOME=/usr/ export HADOOP_HOME…

一. 基本环境搭建 1. 设置主机名.静态IP/DNS.主机映射.windows主机映射(方便ssh访问与IP修改)等 设置主机名: vi /etc/sysconfig/network # 重启系统生效(临时修改: hastname xxx;另起一个终端将会看到效果,需要注意的是: 若即将搭建Hadoop,这里起的hostname禁止使用"_") 设置静态IP/DNS: vi /etc/sysconfig/network-scripts/ifcfg-eth0(示例:修改BOOTPROT…

[/soft/hadoop/etc/hadoop] [hdfs-site.xml] <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.hosts</name> // 这个是白名单 , 可以添加节点 <value>/s…

问题导读 1.从本文部署实际部署,总结本地模式.伪分布.分布式的区别是什么?2.单机是否是伪分布?3.本地模式是否可以运行mapreduce? 来源:about云 http://www.aboutyun.com/thread-12798-1-1.html hadoop2.7发布,这一版不太适合用于生产环境,但是并不影响学习:由于hadoop安装方式有三种,并且三种安装方式都可以在前面的基础上继续配置,分别是: 本地模式 伪分布 分布式 ##############################…