前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么.       通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T T)的探索,我目前主要完成的是: 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功. http://www.cnblogs.com/Pur…

eclipse中访问不了tomcat首页server Locations变灰无法编辑 2014年07月25日 14:37:21 wuha0 阅读数:19139更多 个人分类: servlet   解决办法: 1.首先将Servers中部署的工程全部清空 2.然后对Tomcat v7.0 Server at localhost,点右键进行clean处理,再 重新双击打开server服务即可.…

前文: [学习笔记] 在Eclipse中导出可以直接运行的jar,依赖的jar打在jar包中 使用7z打开压缩包,查看所有依赖的jar都被解压以包名及class的方式存储在了运行jar中,此时jar的大小为11MB左右了. 然后执行如下命令运行即可. java -jar Hibernate_demo_003.jar…

本文需要参考前文: [学习笔记] 在Eclipse中导出可以直接运行的jar,依赖的jar在子目录中 上文是导出的运行的依赖jar被放在了子目录中,本文是将依赖jar放在可运行jar的本身,这样发布的时候,只提供一个jar包就可以了. 查看导出的 Hibernate_demo_002.jar ,发现其文件大小已经是27MB了. 用7z 软件打开这个jar包.查看其中的内容. 然后,在命令行中直接执行如下命令即可运行了. java -jar Hibernate_demo_002.jar…

1.查看hadoop版本 [hadoop@ltt1 sbin]$ hadoop version Hadoop -cdh5.12.0 Subversion http://github.com/cloudera/hadoop -r dba647c5a8bc5e09b572d76a8d29481c78d1a0dd Compiled by jenkins on --29T11:33Z Compiled with protoc From source with checksum 7c45ae7a4592c…

运行wordcount实例 在/tmp目录下生成两个文本文件,上面随便写两个单词. cd /tmp/ mkdir file cd file/ echo "Hello world" > file1.txt cp file1.txt file2.txt 在hadoop平台中新建 /input 目录,这里不是系统的 / 目录. cd /usr/local/hadoop-2.6.5 ./bin/hadoop fs -mkdir /input hadoop fs -ls / drwxr-x…

1    运行环境说明 1.1     硬软件环境 1.2     机器网络环境 2    :安装Eclipse并测试 2.1     内容 2.2     实现过程 2.2.1   2.2.2   2.2.3   2.2.4   2.2.5   2.2.6   2.2.7   2.2.8   2.2.9   2.2.10编写代码 2.2.11设置运行参数 2.2.12运行并查看结果 3    :传递参数问题 3.1     内容 3.2     程序代码 3.2.1   3.3     实现过…

1. 安装虚拟机,我用的是VMware Workstation 12 Player 2. 在VM中安装Ubuntu,我用的镜像文件是ubuntu-15.10-desktop-amd64.iso 3. 安装java,sudo apt-get install openjdk-7-jdk 4. 安装Eclipse,去Eclipse官网http://www.eclipse.org/downloads,下载Eclipse安装器,运行后选择安装Eclipse IDE for Java Developers…

1. 解药hadoop包 1, C:\hadoop-2.7.2\share\hadoop  提取出所有的 jar 包, 到 _lib 文件夹下 2,将有含有source 名称的jar包 剪切出来 3,再 将含有 test名称的jar包剪切出来. 4, 留下剩余的jar包, 拷贝到eclipse 中的lib文件夹. 2, 在 项目底下,新建lib文件夹, 将jar包拷贝进去. 3,全选 lib 下的jar 包: 按住shift,点击第一个,不松开shift,点击最后一个 4  全选状态下右键 bu…

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-clean-plugin:2.5:clean (default-clean) on project hadoop_test: Failed to clean project: Failed to delete /home/winstercheng/java/workspace/hadoop_test/target/classes/hadoop_test/WordCount.…

我的配置环境看我的上篇博文. 配置过程: (1)把插件放到eclipse/plugins目录下.(我的版本上一篇也有) )重启eclipse,配置Hadoop installation directory 如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径 )配置Map/Reduce Locations 打开Windows—Open Perspective—Other,选择Map/R…

以hadoop 2.7.3为例, jdk1.7.0_80 , Eclipse Mars(4.5), Apache Maven 3.0.5   mvn时需要使用root权限,即县切换到root用户,用命令su root. 本节将介绍如何创建一个Hadoop源代码工程以方便阅读源代码.    Hadoop源代码hadoop-2.7.3-src不能直接导入Eclipse,会报很多错,因为该源代码工程没有包含它所需的所有JAR包等, 需要Maven编译引入. 首先,介绍一下我自己成功的办法.  ( 后面…

工程创建可参考前文: [学习笔记] 在Eclipse中使用Hibernate,并创建第一个工程,数据库为Oracle XE 在工程上鼠标右键: 找到java 选择 Runable JAR file Next 点击Finish 打开文件目录 D:\tmp  会看到一个jar 及 一个子目录,运行jar所依赖的jar文件都在这个子目录之中了. 执行这个jar,打开dos窗口  执行如下命令 cd d:\tmp java -jar Hibernate_demo_001.jar 输出内容如下: 十一月…

1.下载并安装eclipse2.https://github.com/winghc/hadoop2x-eclipse-plugin3.下载插件到eclipse的插件目录 4.配置hadoop安装目录 打开eclipsewindow ->preference -> hadoop Map/Reduce -> Hadoop installation directory 5.配置Map/Reduce视图window ->Open Perspective -> other->Ma…

机群搭建好,执行自带wordcount时出现: Input path does not exist: hdfs://ns1/user/root/a.txt 此错误. [root@slave1 hadoop]# ls a.txt  dfs1  include  libexec      name        sbin   test  tmp2 bin    etc   journal  LICENSE.txt  NOTICE.txt  share  tmp   zookeeper.out dat…

1.安装 Red Hat 环境 2.安装JDK 3.下载hadoop2.8.0 http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz 4.在用户目录下新建hadoop文件夹,并解压hadoop压缩包 mkdir Hadoop tar -zxvf hadoop-2.8.0.tar.gz 5.为hadoop配置JAVA_HOME [xxx@localhost ~]$ cd h…

在学习一门新语言时,想必我们都是"Hello World"程序开始,类似地,分布式计算框架的一个典型实例就是WordCount程序,接触过Hadoop的人肯定都知道用MapReduce实现WordCount,当前内存分布式计算框架Spark因为其计算速度之快,并且可以部署到Hadoop YARN中运行,已经受到各大公司的青睐,Spark社区提供了一些编译好的jar包,但是其中没有适配Hadoop-2.2.0的jar包,为了避免版本问题,需要自己编译指定hadoop版本的Spark ja…

本文是在Ubuntu下已搭建好JRE+Eclipse+AndroidSDK的环境中进行的. 如果从未进行过如下的操作的话,在运行Android应用时,在设备选择器那里你的手机会显示为一大串"?"组成的设备并且不可用. 这个事情Android官方文档是有讲到的,点我去看官方文档. 手机端的操作就是打开USB调试选项,然后用USB数据线连接至电脑. 电脑端,首先打开终端,然后输入以下内容并回车: sudo gedit /etc/udev/rules.d/51-android.rules 然…

在eclipse创建webservice的方法: 1.在Eclipse的菜单栏中,Window --> Preferences --> Web Service --> Axis2 Perferences,在Axis2 runtime location中选择Axis2解压缩包的位置,设置好后,点"OK"即行. 2.新建一个webservice: (1)新建一个Java Project,命名为"WebServiceTest1"(2)新建一个class,…

Window -> Preferences -> General -> Workspace -> “Save automatically before build” Window ->Preferences -> Run/Debug -> Launching -> “Save dirty editors before launching”…

1.将hadoop-2.6.1.tar.gz解压到本地 配置环境变量 HADOOP_HOME E:\kaifa\hadoop-2.6.1\hadoop-2.6.1 HADOOP_BIN_PATH %HADOOP_HOME%\bin HADOOP_PREFIX %HADOOP_HOME% 配置path E:\kaifa\jdk1.7.0_21\bin;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin; 2.用idea新建一个maven项目 导入hadoop依赖包 File>…

问题 eclipse中启动tomcat,项目可以正常运行,但是localhost:8080无法访问. 关闭eclipse中的Tomact,直接从tomcat/bin 下的startup.bat启动,localhost:8080可以正常访问. 原因 eclipse将tomcat的项目发布目录(tomcat 目录中的webapp)重定向了,所以你会发现在tomcat安装目录下的webapp目录里面找不到你的项目文件. 解决办法 如下图,默认的workspace存储在以下位置,并没有存储在tomcat…

在eclipse中建立hadoop环境的支持 1.需要下载安装eclipse 2.需要hadoop-eclipse-plugin-2.6.0.jar插件,插件的终极解决方案是https://github.com/winghc/hadoop2x-eclipse-plugin下载并编译.也是可用提供好的插件. 3.复制编译好的hadoop-eclipse-plugin-2.6.0.jar复制到eclipse插件目录(plugins目录)下,如图所示 重启eclipse 4.在eclipse中配置ha…

monkeyrunner脚本使用Python语法编写,但它实际上是通过Jython来解释执行. Jython是Python的Java实现,它将Python代码解释成Java虚拟机上的字节码并执行,这种做法允许在Python中继承一个Java类型,可以调用任意的 Java API . 本文档主要是可以实现在eclipse环境中运行Monkeyrunner脚本.所需要的环境和工具如下:win7 os.jdk.eclipse.sdk.python.jython.模拟器或真机设备. 在前两章中,我们分别…

上篇文章介绍了如何在Eclipse中搭建Felix的运行环境,我们需要將Bundle发布到Felix框架的bundle目录下,Felix框架启动时才会自动加载这些Bundle,否则需要在Felix框架启动后手动安装Bundle,我们可以发现Bundle的管理非常麻烦,而且一旦Bundle启动报错,我们修改代码后,又需要重新发布Bundle进行调试,虽然我们可以使用自动化工具Ant或者Maven进行管理,但是一个项目中如果有几百个自定义的Bundle,这些Bundle管理起来就相当繁琐. 本文开始…

转载自:lynnLi 的monkeyrunner之eclipse中运行monkeyrunner脚本之环境搭建(四) monkeyrunner脚本使用Python语法编写,但它实际上是通过Jython来解释执行. Jython是Python的Java实现,它将Python代码解释成Java虚拟机上的字节码并执行,这种做法允许在Python中继承一个Java类型,可以调用任意的 Java API . 本文档主要是可以实现在eclipse环境中运行Monkeyrunner脚本.所需要的环境和工具如下:…

假设你制作了个docker的 hadoop的镜像,镜像名叫 hd_image,如果想在外网的浏览器中访问hadoop的50070和8088端口,则在启动镜像hd_image时, 脚本如下: docker run -d -it -h aaaaa -p -p --name bbbbb hd_image --name bbbbb,表示这个容器的名字是bbbbb. -h aaaaa,表示容器内的主机名为aaaaa. -d ,表示detach模式. -p 50070 -p 8088,表示将这个容器的端口5…

1 eclipse中hadoop环境部署概览 eclipse 中部署hadoop包括两大部分:hdfs环境部署和mapreduce任务执行环境部署.一般hdfs环境部署比较简单,部署后就 可以在eclipse中像操作windows目录一样操作hdfs文件.而mapreduce任务执行环境的部署就比较复杂一点,不同版本对环境的要求度 高低不同就导致部署的复杂度大相径庭.例如hadoop1包括以前的版本部署就比较简单,可在windows和Linux执行部署运行,而hadoop2 及以上版本对环境要求…

在Eclipse中安装SVN客户端插件 1.1  Eclipse插件应用市场 在Eclipse中访问Eclipse Marketplace Client可以搜索Subversion,下载插件,按提示安装即可. 1.2 使用压缩包 如果不能联网可以使用下载好的插件压缩包eclipse_svn_site-1.10.5.zip,这个压缩包是从http://subclipse.tigris.org/网站(subclipse是这款Eclipse插件的名称)上下载的.安装方法是: ①解压eclipse_sv…

在VMware虚拟机下搭建了hadoop集群,ubuntu-12.04,一台master,三台slave.hadoop-0.20.2版本.在 master机器上利用eclipse-3.3连接hadoop并运行mapreduce实例可以成功.但是当在windows下eclipse-3.3 远程连接hadoop,DFS locations可以连接上,但运行mapreduce实例时报错,如下: 13/07/02 13:37:04 WARN conf.Configuration: DEPRECATED:…