工作须要。要開始搞hadoop了,又是大数据,自己感觉大数据、云。仅仅是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。

只是Apache是个奇妙的组织。Java假设没有它也不会如今如火中天。言归正传:

首先须要下载Apache hadoop 2.4.0的tar.gz包,到本地解压缩到某个盘下,注意路径里不要带空格。

否则你配置文件中须要用windows 8.3格式的路径!

第二确保操作系统是64bit。已安装.netframework4.0以上版本号,这个你懂的,微软的天下,没有这个怎么混!

第三确保安装了64 bit 版本号的JDK1.7,笔者使用的就是JDK1.7.

第四请到github下载hadoop-commin-2.2.zip,官方下载的Apache hadoop 2.4.0的压缩包里,缺少windows下执行的链接库(hadoop.dll,winutils.exe。libwinutils.lib等),这个github的是大佬们编译好的64bit版的链接库包。

下载直接解压缩。覆盖掉官方hadoop文件夹下的bin文件夹就可以。

假设你想在windows下编译安装hadoop,则请直接參考官方原版文档:Hadoop2.X Windows安装指南

接下来进行配置(大部分摘抄自官方文档):

我的Hadoop解压缩文件夹是D:\Hadoop_2_4_0,下面简称h_home

首先,改动%h_home%\etc\hadoop的hadoop-env.cmd脚本文件,在文件末尾添加环境变量定义。注意找到文件最初的JAVA_HOME设置,改成你的64位JDK路径,这一点一定要注意!

比方我的:“set  JAVA_HOME=D:\OLD_JDK\jdk1.7.0_51”

set HADOOP_PREFIX=c:\deploy
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

之后在该路径下找到或创建core-site.xml文件,改动内容例如以下:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://0.0.0.0:19000</value>
</property>
</configuration>

接下来是 hdfs-site.xml 文件。一样的改动内容例如以下。

配置文件默认使用\tmp文件夹作为hdfs文件的存储位置。比方我解压hadoop在D:\下,则它就会创建D:\tmp来存放HDFS文件系统。

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

基本配置ok。

接下来我们配置一个YARN演示样例:

还是在该配置文件路径下,改动或者创建一个mapred-site.xml文件,路径下有个同名的模板文件,能够直接复制,然后改动当中的内容。

注意替换配置文件里%USERNAME% 为你windows的username。

<configuration>

   <property>
<name>mapreduce.job.user.name</name>
<value>%USERNAME%</value>
</property> <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>yarn.apps.stagingDir</name>
<value>/user/%USERNAME%/staging</value>
</property> <property>
<name>mapreduce.jobtracker.address</name>
<value>local</value>
</property> </configuration>

最后,创建yarn-site.xml文件,变更内容例如以下:

<configuration>
<property>
<name>yarn.server.resourcemanager.address</name>
<value>0.0.0.0:8020</value>
</property> <property>
<name>yarn.server.resourcemanager.application.expiry.interval</name>
<value>60000</value>
</property> <property>
<name>yarn.server.nodemanager.address</name>
<value>0.0.0.0:45454</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property> <property>
<name>yarn.server.nodemanager.remote-app-log-dir</name>
<value>/app-logs</value>
</property> <property>
<name>yarn.nodemanager.log-dirs</name>
<value>/dep/logs/userlogs</value>
</property> <property>
<name>yarn.server.mapreduce-appmanager.attempt-listener.bindAddress</name>
<value>0.0.0.0</value>
</property> <property>
<name>yarn.server.mapreduce-appmanager.client-service.bindAddress</name>
<value>0.0.0.0</value>
</property> <property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property> <property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>-1</value>
</property> <property>
<name>yarn.application.classpath</name>
<value>%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*</value>
</property>
</configuration>

ok。所有配置都改完了。

点击命令提示符(管理员)执行命令提示符,切换到hadoop的安装文件夹。进行下面操作

1、切换到etc/hadoop文件夹,执行hadoop-env.cmd脚本,设置当前命令窗体执行环境变量。

2、格式化HDFS文件系统(建议切换到bin文件夹然后运行命令):

%HADOOP_PREFIX%\bin\hdfs namenode -format
3、执行HDFS演示样例:
%HADOOP_PREFIX%\sbin\start-dfs.cmd

不报错的话。部署就ok了!

apache hadoop 2.4.0 64bit 在windows8.1下直接安装指南(无需虚拟机和cygwin)的更多相关文章

  1. Ubuntu14.04用apt在线/离线安装CDH5.1.2[Apache Hadoop 2.3.0]

    目录 [TOC] 1.CDH介绍 1.1.什么是CDH和CM? CDH一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装. Cloudera-Ma ...

  2. Ubuntu14.04用apt在线/离线安装CDH5.1.2[Apache Hadoop 2.3.0]-old

    用markdown重写,请稳步这里http://www.cnblogs.com/lion.net/p/5477899.html

  3. CentOS 6.4 64位 源码编译hadoop 2.2.0

    搭建环境:Centos 6.4 64bit 1.安装JDK 参考这里2.安装mavenmaven官方下载地址,可以选择源码编码安装,这里就直接下载编译好的wget http://mirror.bit. ...

  4. Hadoop程序运行中的Error(1)-Error: org.apache.hadoop.hdfs.BlockMissingException

    15/03/18 09:59:21 INFO mapreduce.Job: Task Id : attempt_1426641074924_0002_m_000000_2, Status : FAIL ...

  5. CentOS 64位上编译 Hadoop 2.6.0

    Hadoop不提供64位编译好的版本号,仅仅能用源代码自行编译64位版本号. 学习一项技术从安装開始.学习hadoop要从编译開始. 1.操作系统编译环境 yum install cmake lzo- ...

  6. Hadoop 2.6.0分布式部署參考手冊

    Hadoop 2.6.0分布式部署參考手冊 关于本參考手冊的word文档.能够到例如以下地址下载:http://download.csdn.net/detail/u012875880/8291493 ...

  7. linux编译64bitHadoop (eg: ubuntu14.04 and hadoop 2.3.0)

    Hadoop官网提供的编译好的hadoop-2.3.0.tar.gz二进制包是在32位系统上编译的,在64系统上运行会有一些错误,比如: WARN util.NativeCodeLoader: Una ...

  8. at org.apache.hadoop.util.RunJar.main(RunJar.java:153)

    关于手动编译hadoop入门例子WordCount并执行 之前做的例子都是用hadoop中已经编译好jar包来运行示例的但是这次想要手动编译个实例,练下手没想到还是遇到点了小困难 [root@cent ...

  9. Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

    1.今天在进行hive测试的时候,发现hive一直进不去,并且报了这个错误. Unable to instantiate org.apache.hadoop.hive.ql.metadata.Sess ...

随机推荐

  1. [SCOI2007][bzoj1070] 修车 [费用流]

    题面 传送门 思路 我们考虑某个工人修车的从前到后序列如下: ${W_1,W_2,W_3,...,W_n}$ 那么,对于这n辆车的车主而言,他们等候的总时间为: $\sum_{i=1}^{n}W_i\ ...

  2. bzoj 2387: [Ceoi2011]Traffic

    bzoj 2387: [Ceoi2011]Traffic 题目描述 The center of Gdynia is located on an island in the middle of the ...

  3. 小w的喜糖(candy)

    小w的喜糖(candy) 题目描述 废话不多说,反正小w要发喜糖啦!! 小w一共买了n块喜糖,发给了n个人,每个喜糖有一个种类.这时,小w突发奇想,如果这n个人相互交换手中的糖,那会有多少种方案使得每 ...

  4. 转JSON提示No serializer found for class

    在调用Json串生成方法时,提示: No serializer found for class com.jeremxy.domain.EpgDetail and no propertiesdiscov ...

  5. Linux下调试段错误 (gdb,core,ulimit)

    Linux环境下经常遇到某个进程挂掉而找不到原因,我们可以通过生成core file文件加上gdb来定位. (1)首先 在makefile中要增加编译调试选项 -g,才可以利用下面的gdb来调试 gc ...

  6. docke存储

    1.Docker提供三种不同的方式将数据从宿主机挂载到容器中:volumes,bind mounts和tmpfs.volumes:Docker管理宿主机文件系统的一部分(/var/lib/docker ...

  7. redis批量删除脚本

    服务器上安装了redis客户端,通过客户端利用脚本对数据批量删除,脚本内容如下: #!/bin/bash name="$1" echo $name ./redis-cli -h r ...

  8. Mongoose 参考手册

    转自:https://cnodejs.org/topic/548e54d157fd3ae46b233502 Mongoose 是什么? 一般我们不直接用MongoDB的函数来操作MongoDB数据库 ...

  9. Ncut matlab 代码bug 修复

    先说平台: win7 x64,matlab 2012a x64,亲测运行. ncut 是个图像切割方法,以后再回顾具体算法吧,网上很多流程的是Jianbo Shi 这位2000年写的,名字应该是:Da ...

  10. Using adb over wifi

    Step1 : phone & pc connect the same wifi. Step2 : phone use usb cable to connect pc. Step 3 : $ ...