在安装JDK之前,请确认系统是32还是64,根据系统版本,选择JDK版本.Hadoop版本 下面是以在CentOS-6.5-x86_64系统上安装为例 安装前准备 在"/usr"下创建java目录,并cd到该目录,如下 确认防火墙关闭 防火墙关闭后的效果如下 具体操作,请查看"XX/XX/XX/ notes/防火墙.docx" 确认安装openssh-server.openssh-clients,具体操作,请参考"XX/XX/XX/notes/安全登录ss…

简介: Hadoop是处理大数据的主要工具,其核心部分是HDFS.MapReduce.为了学习的方便,我在虚拟机上搭建了一个伪分布式环境,来进行开发学习. 一.安装前准备: 1)linux服务器:Vmware 上CentOS6.4 mini安装 2) JDK:jdk-7u65-linux-x64.gz 3) SSH:ssh client 4) YUM源配置妥当:yum list查看 5)Hadoop:hadoop-2.5.2.tar.gz 下载地址:http://mirror.bit.edu.c…

最近开始学习Hadoop,一直使用的是公司配好的环境.用了一段时间后发现对Hadoop还是一知半解,故决定动手在本机上安装一个供学习研究使用.正好自己用的是mac,所以没啥说的,直接安装. 总体流程 1.安装jdk并配置好环境变量.因为Hadoop是使用java开发的,所以JDK是必须的. 2.实现ssh无密码验证配置 可以用ssh无需登陆连接到localhost.Hadoop并不要求一定要ssh无密码登录,主要是考虑到集群环境中机器数目多,一个一个输入密码浪费时间而且麻烦,不方便管理. 3.安…

本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoop用户 使用root账户创建hadoop用户,为了在实验环境下便于操作,赋予hadoop用户sudo权限.具体操作代码如下: useradd hadoop # 添加hadoop用户 passwd hadoop # 设置密码 visudo hadoop ALL=(root)NOPASSWD:ALL 二…

Ubuntu用的是Ubuntu15.10Beta2版本,正式的版本好像要到这个月的22号才发布.参考的资料主要是http://www.powerxing.com/install-hadoop-cluster/和<Hadoop基础教程>这本书.我的用户名是wuyouwulv,所以在接下来的代码中如果出现wuyouwulv的地方只要更改一下用户名就可以了.搭建hadoop伪分布式环境并不需要为此创建一个新的group和user,所以我这里用的一直都是wuyouwulv这个用户.我所需的文件都放在我…

近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop2.6.0伪分布式环境. 1. 所需要的软件 使用Vmware 11.0搭建虚拟机,安装Ubuntu 14.04.2系统. Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录:/home/vm/tool…

引言 一直用的Ubuntu 32位系统(准备下次用Fedora,Ubuntu越来越不适合学习了),今天准备学习一下Hadoop,结果下载Apache官网上发布的最新的封装好的2.5.1版,配置完了根本启动不起来,查看错误日志发现是native库的版本和系统不一致,使用file命令可以发现封装版的native库文件全是64位的: 原来官网发布的版本开始用64位环境编译了(貌似之前是32位环境编译).没办法,只好自己下载源码编译了. 毫无意外的,编译时各种错误简直停不下来,强忍着一个个耐心解决了,配…

ubuntu + hadoop2.5.2分布式环境配置 我之前有详细写过hadoop-0.20.203.0rc1版本的环境搭建 hadoop学习笔记——环境搭建 http://www.cnblogs.com/huligong1234/p/3533382.html 本篇部分细节就不多说. 一.基础环境准备系统:(VirtualBox) ubuntu-12.04.2-desktop-i386.isohadoop版本:hadoop-2.5.2jdk版本:jdk-6u26-linux-i586.bin…

一.安装并配置Linux 8. 使用当前root用户创建文件夹,并给/opt/下的所有文件夹及文件赋予775权限,修改用户组为当前用户 mkdir -p /opt/modules mkdir -p /opt/software mkdir -p /opt/datas mkdir -p /opt/tools /opt/* chown beifeng:beifeng /opt/* 最终效果如下: [beifeng@beifeng-hadoop- opt]$ pwd /opt [beifeng@beif…

1.安装环境 ①.一台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask                  geteway  Node1 192.168.139.150 255.255.255.0 192.168.139.2 ②.hadoop 2.7 安装包 百度云下载链接:http://pan.baidu.com/s/1gfaKpA7密码:3cl7 2.安装 JDK 教程:http://ww…