Hadoop之MapReduce 本机windows模式运行
hadoop在windows本机运行
(1)在 windows环境下编译好的hadoop放到没有中文和空格的路径下
(2)编译好的hadoop内的hadoop.all文件要放到windows机器的windows-system32目录下 ,
否则报错
(3)配置windows环境下的hadoop环境变量
(4)设置输入路径和输出路径 以file:///开头
或者同时设置下面这两个参数 (hadoop2.6.0-cdh-5.14.0版本 不设置也可以运行 其他版本不清楚)
configuration.set("mapreduce.framework.name","local");
configuration.set(" yarn.resourcemanager.hostname","local");
最后老子运行成功,成功输出结果了还是报这个错 (待解决)
ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable D:\hadoop-2.6.0-cdh5.14.0\bin\bin\winutils.exe in the Hadoop binaries.
Hadoop之MapReduce 本机windows模式运行的更多相关文章
- 从Hadoop骨架MapReduce在海量数据处理模式(包括淘宝技术架构)
		从hadoop框架与MapReduce模式中谈海量数据处理 前言 几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,认为它们非常是神奇.而神奇的东西常能勾 ... 
- hadoop 2.7.3伪分布式环境运行官方wordcount
		hadoop 2.7.3伪分布式模式运行wordcount 基本环境: 系统:win7 虚机环境:virtualBox 虚机:centos 7 hadoop版本:2.7.3 本次以伪分布式模式来运行w ... 
- 如何在Windows下面运行hadoop的MapReduce程序
		在Windows下面运行hadoop的MapReduce程序的方法: 1.下载hadoop的安装包,这里使用的是"hadoop-2.6.4.tar.gz": 2.将安装包直接解压到 ... 
- 【爬坑】运行 Hadoop 的 MapReduce 示例卡住了
		1. 问题说明 在以伪分布式模式运行 Hadoop 自带的 MapReduce 示例,卡在了 Running job ,如图所示 2. 解决过程 查看日志没得到有用的信息 再次确认配置信息没有错误信息 ... 
- 大数据入门第八天——MapReduce详解(四)本地模式运行与join实例
		一.本地模式调试MR程序 1.准备 参考之前随笔的windows开发说明处:http://www.cnblogs.com/jiangbei/p/8366238.html 2.流程 最重要的是设置Loc ... 
- hadoop 把mapreduce任务从本地提交到hadoop集群上运行
		MapReduce任务有三种运行方式: 1.windows(linux)本地调试运行,需要本地hadoop环境支持 2.本地编译成jar包,手动发送到hadoop集群上用hadoop jar或者yar ... 
- Windows下运行Hadoop
		Windows下运行Hadoop,通常有两种方式:一种是用VM方式安装一个Linux操作系统,这样基本可以实现全Linux环境的Hadoop运行:另一种是通过Cygwin模拟Linux环境.后者的好处 ... 
- Windows下IIS以FastCGI模式运行PHP
		由于PHP5.3 的改进,原有的IIS 通过isapi 方式解析PHP脚本已经不被支持,PHP从5.3.0 以后的版本开始使用微软的 fastcgi 模式,这是一个更先进的方式,运行速度更快,更稳定. ... 
- 用shell获得hadoop中mapreduce任务运行结果的状态
		在近期的工作中,我需要用脚本来运行mapreduce,并且要判断运行的结果,根据结果来做下一步的动作. 开始我想到shell中获得上一条命令运行结果的方法,即判断"$?"的值 if ... 
随机推荐
- 异步任务分发模块Celery
			Celery简介 Celery是一个功能完备即插即用的任务队列.它使得我们不需要考虑复杂的问题,使用非常简单. celery适用异步处理问题,当遇到发送邮件.或者文件上传, 图像处理等等一些比较耗时的 ... 
- 十九、RF接口测试汇总(一)
			搭建项目:转自 http://chuansong.me/n/1858477 A.请求方式为get请求 方式一:导入RequestsLibrary库,get request [ alias | ... 
- JavaScript中this的一些坑
			我们经常在回调函数里面会遇到一些坑: var obj = { name: 'qiutc', foo: function() { console.log(this); }, foo2: function ... 
- 基于Python对象引用、可变性和垃圾回收详解
			基于Python对象引用.可变性和垃圾回收详解 下面小编就为大家带来一篇基于Python对象引用.可变性和垃圾回收详解.小编觉得挺不错的,现在就分享给大家,也给大家做个参考. 变量不是盒子 在示例所示 ... 
- Oracle 启用登录终端超时锁定功能
			远程连接oracle 会出现超时连接断开的问题,所以需要修改oracle配置. 修改超时时间10分钟 ALTER PROFILE DEFAULT LIMIT IDLE_TIME 10; 查询修改后的超 ... 
- redis在ubuntu下的安装
			安装: 1.apt-get install redis 2.接下来输入redis-cli,登陆redis,然后就可以操作redis了 卸载 在ubuntu下卸载redis 1. 卸载软件 apt-ge ... 
- PHP Memcache 扩展安装
			PHP Memcache 扩展安装 PHP Memcache 扩展包下载地址:http://pecl.php.net/package/memcache,你可以下载最新稳定包(stable). 下载对应 ... 
- Go语言入门篇-复合数据类型
			复合数据类型 主要讨论四种类型——数组.slice.map和结构体 数组和结构体聚合类型 --数组和结构体都是有固定内存大小的数据结构 --数组:由同构的元素组成——每个数组元素都是完全相同的类型 ... 
- webView实现网页缩放
			项目中遇到要实现webview上面的网页缩放功能,在网上查了资料加自己实践后得出结论: //缩放开关,设置此属性,仅支持双击缩放,不支持触摸缩放 mWebView.getSettings().setS ... 
- 【Linux 环境搭建】Ubuntu下安装tftp
			1.安装软件 sudo apt-get install tftp-hpa tftpd-hap xinetd 2.修改配置文件 sudo vim /etc/default/tftpd-hpa ... 
