MapReduce两种执行环境介绍:本地测试环境,服务器环境
本地测试环境(windows):
1、在windows下配置hadoop的环境变量
2、拷贝debug工具(winutils.exe)到hadoop目录中的bin目录,注意winutils.exe的版本要与hadoop版本对应,否则可能会报错。
3、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
4、MapReduce调用的代码需要改变:
  a、src不能有服务器的hadoop配置文件
  b、在调用是使用:
  Configuration config = new  Configuration();
  config.set("fs.defaultFS", "hdfs://node7:8020");//指定namenode的主机名和端口号,因为文件是放在hdfs上的需要从hdfs上读取。
  config.set("yarn.resourcemanager.hostname", "node7");//resourcemanager的主机名。
5、可以进行Debug调试。
服务器环境:首先需要在src下放置服务器上的hadoop配置文件
1、在本地直接调用,执行过程在服务器上(真正企业运行环境)
  a、把MapReduce程序打包jar包,直接放到本地
  b、修改hadoop的源码 ,注意:确保项目的lib需要真实安装的jdk的lib
  c、增加一个属性:
    config.set("mapred.jar", "D:\\wc.jar");//第一个参数:jar包名加后缀,第二个参数jar存放的位置。
  d、本地执行main方法,servlet调用MapReduce。
2、直接在服务器上,使用命令的方式调用,执行过程也在服务器上
  a、直接new Configuration对象,不用再配置其它信息。会自动从服务器上加载。
  b、把mapreduce程序打包成jar包,传送到服务器上
  c、通过: hadoop jar jar路径  类的全限定名
注:修改hadoop的源码
org\apache\hadoop\io\nativeio下NativeIO.java文件,复制包名和文件到项目中,修改access方法返回值为true。
  
MapReduce两种执行环境介绍:本地测试环境,服务器环境的更多相关文章
- Solr系列二:solr-部署详解(solr两种部署模式介绍、独立服务器模式详解、SolrCloud分布式集群模式详解)
		一.solr两种部署模式介绍 Standalone Server 独立服务器模式:适用于数据规模不大的场景 SolrCloud 分布式集群模式:适用于数据规模大,高可靠.高可用.高并发的场景 二.独 ... 
- Spark on YARN两种运行模式介绍
		本文出自:Spark on YARN两种运行模式介绍http://www.aboutyun.com/thread-12294-1-1.html(出处: about云开发) 问题导读 1.Spark ... 
- 两种方法上传本地文件到github
		https://www.jianshu.com/p/c70ca3a02087 自从使用github以来,一直都是在github网站在线上传文件到仓库中,但是有时因为网络或者电脑的原因上传失败.最重要的 ... 
- 两种方法上传本地文件到github(转)
		自从使用github以来,一直都是在github网站在线上传文件到仓库中,但是有时因为网络或者电脑的原因上传失败.最重要的原因是我习惯本地编辑,完成以后再一起上传github.看过了几个教程,总结出最 ... 
- Golang两种执行流程以及区别
		Go语言的执行方式有两种,一种是编译后再执行,另一种直接go run执行. 一.先编译后执行 .go文件(源代码)--->go build指令把源代码编译(如果是windows下会编译出一个.e ... 
- PyCharm上unittest 测试用例两种执行方式
		每次讲到unittest测试框架的时候,经常有同学在群里反映,为啥我的运行不是按照我往suite里添加的用例顺序执行的,为什么别人的能跑出来报告,我的就不行... 当然,首先确认代码是OK的,如果代码 ... 
- 【Shell脚本学习1】Shell简介:什么是Shell,Shell命令的两种执行方式
		Shell本身是一个用C语言编写的程序,它是用户使用Unix/Linux的桥梁,用户的大部分工作都是通过Shell完成的.Shell既是一种命令语言,又是一种程序设计语言.作为命令语言,它交互式地解释 ... 
- 【转】shell 教程——01 Shell简介:什么是Shell,Shell命令的两种执行方式
		Shell本身是一个用C语言编写的程序,它是用户使用Unix/Linux的桥梁,用户的大部分工作都是通过Shell完成的.Shell既是一种命令语言,又是一种程序设计语言.作为命令语言,它交互式地解释 ... 
- Shell简介:什么是Shell,Shell命令的两种执行方式
		Shell本身是一个用C语言编写的程序,它是用户使用Unix/Linux的桥梁,用户的大部分工作都是通过Shell完成的.Shell既是一种命令语言,又是一种程序设计语言.作为命令语言,它交互式地解释 ... 
随机推荐
- 【转载】MDX Step by Step 读书笔记(三) - Understanding Tuples (理解元组)
			1. 在 Analysis Service 分析服务中,Cube (多维数据集) 是以一个多维数据空间来呈现的.在Cube 中,每一个纬度的属性层次结构都形成了一个轴.沿着这个轴,在属性层次结构上的每 ... 
- bzoj4361:isn(dp+容斥+树状数组)
			题面 darkbzoj 题解 \(g[i]\)表示长度为\(i\)的非降序列的个数 那么, \[ ans = \sum_{i=1}^{n}g[i]*(n-i)!-g[i+1]*(n-i-1)!*(i+ ... 
- TP5 隐藏入口文件 index.php
			找到public下的.htaccess <IfModule mod_rewrite.c> Options +FollowSymlinks -Multiviews RewriteEngine ... 
- 让 Linux grep 的输出不换行
			在Redhat中亲测. 本来ps -ef的输出是不会换行的,但是 ps -ef | grep java 就换行了. 如果想让grep完的结果不要换行,找到两种方法. 1. 在后面拼接 less -S: ... 
- Cpython 支持的线程
			因为Python解释器帮你自动定期进行内存回收,你可以理解为python解释器里有一个独立的线程,每过一段时间它起wake up做一次全局轮询看看哪些内存数据是可以被清空的,此时你自己的程序 里的线程 ... 
- RHCE 共享文件系统
			9.1 共享文件系统 概述: 共享文件系统通常有两种方式: 基于文件共享,一种直接共享文件夹给client端,常见的技术有NFS(Network File System )和 SMB (Server ... 
- vue记事1
			1.组件引入css. 例:test.vue引入swiper.min.css | -- src | | -- components | | -- test | | -- test.vue | | - ... 
- HaspMap的新奇用法
			HashMap<String, String> map = new HashMap<String,String>(){ private static final long se ... 
- Node.js创建第一个应用
			在我们创建 Node.js 第一个 "Hello, World!" 应用前,让我们先了解下 Node.js 应用是由哪几部分组成的: 引入 required 模块:我们可以使用 r ... 
- Spring 学习(十)--- Dispatch 分发逻辑
			问题 : Spring 分发逻辑是如何的 概述 本文讲解Spring 请求到返回视图的分发过程. 分发逻辑 分发逻辑可以使用下图来表示. 总共七个步骤 : 接收请求,经过 DispatcherServ ... 
