Mapreduce 是Hadoop上一个进行分布式数据运算和统计的框架,但是每次运行程序的时候都需要将程序打包并上传的集群环境中运行,这就会让程序的调试变得十分不方便.所以在这里写下这篇博客和大家交流学习如何在本地调试Mapreduce程序. 本地是windows系统,文件路径也是本地 首先需要将编译后的windos放入解压后的hadoop解压包的bin目录下,还有hadoop,dll文件不同版本的windows对应的winutils.exe是不同的.具体编译方法,网上可以找到相关教程 这里就不…

关键词:hive, debug 本地调试(local debug) Hive 可分为 exec (hive-exec,主要对应源码里的ql目录) 和 metastore 两部分,其中exec对外有两种接口方式 CLIDriver 和 HiveServer2的ThriftCLIService.前者对应的就是直接执行hive命令的command line,后者对应就是thrift直连或jdbc的连接方式,因此这里其实有个知识点:hive命令的执行是不经过hiveserver2的服务的,虽然底层代码是…

1.下载并编译lucene-solr的源代码,并导入 eclipse sts等 2.修改SolrDispatchFilter的solr.solr.home属性,我们这里将其直接修改为一个本地绝对路径,以便能够直接启动: //String solrHome = (String) config.getServletContext().getAttribute(SOLRHOME_ATTRIBUTE); String solrHome="E:\\demo\\lucene-solr\\solr\\serv…

windows上先调试该程序,然后再转到linux下. 程序运行的过程中, 报 Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null \bin\winutils.exe in the Hadoop binaries. 1.将windows编译的hadoop源码里面的bin目录拷贝到安装hadoop解压包bin目录下(网…

参考:https://blog.csdn.net/letasian/article/details/75021656 有关fiddler基础用法的介绍详见我的上一篇博客:http://www.cnblogs.com/maxigang/p/5571151.html. 本文主要介绍fiddler在本地调试过程中的两种常见的应用场景: 1-静态请求调试 2-动态请求调试 一.设置映射规则和映射文件 在介绍调试之前先通过一个简单的例子了解一下fiddler AutoResponse的配置过程和注意事项.…

一:简介 最近学习hadoop本地运行模式,在运行期间遇到一些问题,记录下来备用:以运行hadoop下wordcount为例子. hadoop程序是在集群运行还是在本地运行取决于下面两个参数的设置,第一个参数用来设置mr程序要在yarn集群中执行,第二个参数设置yarn集群的主节点地址. hadoop默认情况下是在window本地运行.  conf.set("mapreduce.framework.name","yarn");   conf.set("ya…

相关随笔: Hadoop-1.0.4集群搭建笔记 用python + hadoop streaming 编写分布式程序(二) -- 在集群上运行与监控 用python + hadoop streaming 编写分布式程序(三) -- 自定义功能 MapReduce与HDFS简介 什么是Hadoop? Google为自己的业务需要提出了编程模型MapReduce和分布式文件系统Google File System,并发布了相关论文(可在Google Research的网站上获得: GFS . Ma…

1,本地安装hadoop https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 下载hadoop对应版本 (我本意是想下载hadoop 2.7.2没有了) 2,  解压D:\devtool ,3,下载winutils 等一系列东西保证windows下能使用hadoop  不然本地调试会报错:ERROR util.Shell: Failed to locate the winutils binary in the hadoop bin…

1.在github上搜索下载winutils.exe相关的一套文件,下载对应hadoop的版本. 2.将所有文件复制到hadoop的bin目录下 3.将hadoop.dll复制到windows\system32目录下 4.添加环境变量HADOOP_HOME指向hadoop目录 5.将%HADOOP_HOME%\bin加入到path里面 完成上述步骤后,可以在windows环境调试hadoop,也可以本地调试远程节点,可以把本地文件上传到远程hadoop节点上.…

用MVC EF框架开发项目,数据库用的是Oracle,本地调试的时候一切正常,但是把代码编译之后放到服务器就会读不出数据. 原因:本地调试环境与服务器环境不一致. 办法:在服务器上装ODT.NET组件就OK了.…