本文仅作为学习笔记,供大家初学Hadoop时学习参考。初学Hadoop,欢迎有经验的朋友进行指导与交流!

1、安装CentOS7

准备

  CentOS系统镜像CentOS-7.0-1406-x86_64-Everything.iso

  vmware workstation 11

安装

  1、点击创建一个新的虚拟机,选择"典型"配置,下一步。

  

  2、选择"安装程序光盘镜像文件",选择已经准备的系统镜像文件,下一步。

  

  3、设置账户信息,下一步。

  

  4、设置虚拟机名称和保存路径,下一步。

  

  5、默认配置,下一步。

  

  6、默认配置,点击完成。

  

  7、等待安装完成。

  

  

  8、输入密码登录系统。

  

  至此,系统安装完成。

2、安装JDK1.7.0

准备

  jdk安装包jdk-7u15-linux-x64.tar.gz

安装

  1、查看当前jdk版本。

  

  2、解压准备的JDK文件,解压路径/opt。

  

  3、修改配置系统变量。

vim /etc/profile
  export JAVA_HOME=/opt/jdk1.7.0_15
  export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib
  export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

  保存退出,运行。

source /etc/profile

  

  3、运行命令。

update-alternatives --install /usr/bin/java java /opt/jdk1.7.0_15/bin/java 60
update-alternatives --config java

  输入新配置的jdk序号。

  

  至此,JDK安装完成。

3、安装Hadoop2.6.0

准备

  hadoop-2.6.0-x64.tar.gz

安装

  1、解压Hadoop,解压路径/opt。

  

  2、配置hadoop-env.sh

  文件路径 hadoop-2.6.0\etc\hadoop

  

  3、配置系统变量。

#vim /etc/profile
#source /etc/profile

  

  至此,Hadoop单机模式配置完成。(单机模式,伪分布式,真正分布式)

4、SSH无密码登录

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
验证ssh,# ssh localhost
不需要输入密码即可登录。

  

  至此,ssh无密码登录配置完成。

=====下一篇文章将使用WordCount分词统计进行环境测试(已通过)。=====

初学Hadoop之单机模式环境搭建的更多相关文章

  1. 初学者值得拥有Hadoop单机模式环境搭建

    单机模式Hadoop环境搭建 Hadoop环境搭建流程图 具体过程 文章目录 单机模式Hadoop环境搭建 Hadoop环境搭建流程图 具体过程 1.搭建准备工作 (1)关闭防火墙 (2)关闭seli ...

  2. Spark—local模式环境搭建

    Spark--local模式环境搭建 一.Spark运行模式介绍 1.本地模式(loca模式):spark单机运行,一般用户测试和开发使用 2.Standalone模式:构建一个主从结构(Master ...

  3. 【Hadoop基础教程】4、Hadoop之完全分布式环境搭建

    上一篇blog我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode.SecondaryNameNode.DataNode.JobTracker.TaskTrac ...

  4. Linux巩固记录(3) hadoop 2.7.4 环境搭建

    由于要近期使用hadoop等进行相关任务执行,操作linux时候就多了 以前只在linux上配置J2EE项目执行环境,无非配置下jdk,部署tomcat,再通过docker或者jenkins自动部署上 ...

  5. Hadoop源码阅读环境搭建(IDEA)

    拿到一份Hadoop源码之后,经常关注的两件事情就是 1.怎么阅读?涉及IDEA和Eclipse工程搭建.IDEA搭建,选择源码,逐步导入即可:Eclipse可以选择后台生成工程,也可以选择IDE导入 ...

  6. Kafka单机Windows环境搭建

    Kafka单机Windows环境搭建 1,安装jdk1.8:安装目录不能有中文空格: 2,下载zookeeper,https://mirrors.cnnic.cn/apache/zookeeper/z ...

  7. [Hadoop] 在Ubuntu系统上一步步搭建Hadoop(单机模式)

    1 Hadoop的三种创建模式 单机模式操作是Hadoop的默认操作模式,当首次解压Hadoop的源码包时,Hadoop无法了解硬件安装环境,会保守地选择最小配置,即单机模式.该模式主要用于开发调试M ...

  8. ubuntu14.04 Hadoop单机开发环境搭建MapReduce项目

    Hadoop官网:http://hadoop.apache.org/ 目前最新的版本是Hadoop 3.0.0-alpha1前提:java 1.6 版本以上 首先从官网下载压缩包(hadoop-3.0 ...

  9. 【Hadoop基础教程】2、Hadoop之单机模式搭建(转)

    单机模式所需要的系统资源是最少的,这种安装模式下,Hadoop的core-site.xml.mapred-site.xml.hdfs-site.xml配置文件均为空.默认情况下,官方hadoop-1. ...

随机推荐

  1. C#演化过程--各个版本新增加特性

  2. shiro实战系列(十五)之Spring集成Shiro

    Shiro 的 JavaBean 兼容性使得它非常适合通过 Spring XML 或其他基于 Spring 的配置机制.Shiro 应用程序需要一个具 有单例 SecurityManager 实例的应 ...

  3. Dubbo -- 系统学习 笔记 -- 安装手册

    安装手册 示例提供者安装 示例消费者安装 Zookeeper注册中心安装 Redis注册中心安装 简易注册中心安装 简易监控中心安装 管理控制台安装 推荐使用Zookeeper注册中心 你可以只运行D ...

  4. Features + Git + Drush,打造你的Drupal开发与维护标准工作流

    还在为如何将本地的开发工作如何部署到生产环境而皱眉头?本文以实战历程教你如何一步步将你的工作成果从开发环境部署到生产环境. 如题所示,需要用到Features, Git, Drush:如果你还不知道他 ...

  5. 服务器端数据合法性验证:签名sign和口令token原理

    有时候,你也许会想: 我写的接口,那别人要是知道url,并且知道其需要的数据结构和逻辑,那不是都可以访问了? 甚至是,客户点传递过来的数据,是不是被恶意修改了? 这时,我们可能需要“验证”一下.比如: ...

  6. USB主机控制器ECHI

    USB主机控制器ECHI 2017年10月24日 15:44:11 阅读数:239 1. 主机控制器(Host Controller) • UHCI: Universal Host Controlle ...

  7. 在win10环境中安装xilinx vivado IDE时出现的问题及解决方法

    1.问题:There is no valid Xilinx installation that this Update can be applied to. 解决方法一:下载的是更新包,如果设备没有预 ...

  8. 20155338《网络对抗》 Exp4 恶意代码分析

    20155338<网络对抗>恶意代码分析 实验过程 1.计划任务监控 在C盘根目录下建立一个netstatlog.bat文件(先把后缀设为txt,保存好内容后记得把后缀改为bat),内容如 ...

  9. mfc 线程的诞生和死亡

    知识点:  线程概念  线程的诞生  线程的死亡 一. 线程: 线程,是程序执行流的最小单元. 另外,线程是进程中的一个实体,是被系统独立调度和分派的基本单位,线程自己不拥有系统资源,只拥有一点 ...

  10. 【第三课】Centos 7.x系统安装和网络配置以及远程密钥登录

    目录 一.安装CentOS 7.3 二.配置网络 1.使用dhclient命令自动获取ip地址 2.使用ip addr或ifconfig命令查看网卡信息 3.使用route命令查看路由信息 4.通过修 ...