编译hadoop版的hello,world

cd ~/src mkdir classes javac -classpath ~/hadoop-/hadoop--core.jar WordCount.java -d classes jar -cvf WordCount.jar -C classes/ . hadoop jar WordCount.jar com.codestyle.hadoop.WordCount input output hadoop fs -ls output hadoop fs - 要点: 编译WordCount.ja…

在Ubuntu X64上编译Hadoop

在之前的文章中介绍了如何直接在Ubuntu中安装Hadoop.但是对于64位的Ubuntu来说,官方给出的Hadoop包是32位的,运行时会得到警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 所以我们最好是自己在Ubuntu中编译Hadoop.先介绍一下我的环境是Ubuntu 1…

mac OS X Yosemite 上编译hadoop 2.6.0/2.7.0及TEZ 0.5.2/0.7.0 注意事项

1.jdk 1.7问题 hadoop 2.7.0必须要求jdk 1.7.0,而oracle官网已经声明,jdk 1.7 以后不准备再提供更新了,所以趁现在还能下载,赶紧去down一个mac版吧 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 应该选择mac ox 64位的版本 http://download.oracle.com/otn-pub/java/jdk/7u79-b1…

64位centos 下编译 hadoop 2.6.0 源码

64位os下为啥要编译hadoop就不解释了,百度一下就能知道原因,下面是步骤: 前提:编译源码所在的机器,必须能上网,否则建议不要尝试了一. 下载必要的组件 a) 下载hadoop源码 (当前最新的稳定版是2.6.0)地址 http://mirrors.hust.edu.cn/apache/hadoop/common/stable/hadoop-2.6.0-src.tar.gz b) 下载apache-ant (centos自带的ant版本太低,编译过程中会报错)地址: http://mi…

Windows 10 x64 下编译 Hadoop 源码

Windows 10 x64 下编译 Hadoop 源码环境准备 Hadoop并没有提供官方的 Windows 10 下的安装包,所以需要自己手动来编译,官方文档中 BUILDING.txt 文件中说明了编译源码需要的软件环境: 1. 具体如下: [x] Hadoop源码 [x] Windows 系统 [x] JDK 1.8+ [x] Maven 3.0 or later [x] Findbugs 1.3.9 (可省略) [x] ProtocolBuffer 2.5.0 [x] CMake 2…

[转]编译hadoop

安装maven hadoop源码是使用maven组织管理的,必须下载maven.从maven官网下载,下载地址是http://maven.apache.org/download.cgi,选择 apache-maven-3.1.0-bin.tar.gz 下载,不要选择3.1下载. 执行以下命令解压缩jdk tar -zxvf apache-maven-3.1.0-bin.tar.gz 会生成一个文件夹apache-maven-3.1.0,然后设置环境变量中. 执行命令vi /etc/profi…

[b0013] Hadoop 版hello word mapreduce wordcount 运行(三)

目的: 不用任何IDE,直接在linux 下输入代码.调试执行环境: Linux Ubuntu Hadoop 2.6.4 相关: [b0012] Hadoop 版hello word mapreduce wordcount 运行(二) 最佳: 简单方式: 在当前目录创建类文件,添加后面的内容,但是不包括第一行package 编译: javac WordCount.java 打包 jar -cvf WordCount.jar ./WordCount*.class 执行 hadoop jar W…

在docker容器中编译hadoop 3.1.0

在docker容器中编译hadoop 3.1.0 优点:docker安装好之后可以一键部署编译环境,不用担心各种库不兼容等问题,编译失败率低. Hadoop 3.1.0 的源代码目录下有一个 `start_build_env.sh** 的脚本,通过脚本会从Docker hub网站拉取hadoop-build镜像,然后在镜像中添加本地用户信息和环境变量等,最后运行Docker镜像并挂载本地目录. docker跨平台的特性已经非常不错,最需要注意的一点在于:所有操作不要使用root用户,也不要使用s…

编译Hadoop

Apache Hadoop 生态圈软件下载地址:http://archive.apache.org/dist/hadoop/hadoop下载地址 http://archive.apache.org/dist/hadoop/common 安装环境虚拟机中的 CentOS 64位需要安装软件: jdk: jdk-7u45-linux-x64.rpm hadoop:hadoop-2.7.2-src.tar.gz maven:apache-maven-3.0.5-bin.tar.gz protobu…

编译hadoop遇到maven timeout

在编译hadoop的过程中,使用ant jar进行编译时,提示maven版本库连接超时的问题,通过搜索发现,在如下文件的位置中有repo2的版本库地址,这个地址在国内,目前不能正常的访问: 将出现repo2.maven.org/maven2的地方,都替换成:http://mirrors.ibiblio.org/maven2/ 可以解决问题. 这个地址是在ivysettings.xml中发现了,是备用的maven版本库地址:…

在Ubuntu 64位OS上运行hadoop2.2.0[重新编译hadoop]

最近在学习搭建Hadoop, 我们从Apache官方网站直接下载最新版本Hadoop2.2.官方目前是提供了linux32位系统可执行文件,结果运行时发现提示 “libhadoop.so.1.0.0 which might have disabled stack guard” 的警告. Google了一下发现是因为 hadoop 2.2.0提供的是libhadoop.so库是32位的,而我们的机器是64位. 解决的办法就是重新在64位的机器上编译hadoop. 编译环境 OS: Ubuntu 1…

编译Hadoop源码

背景: 在阅读hadoop源代码过程中会发现部分类或者函数无法找到,这是由于Hadoop2.0使用了Protocol Buffers定义了RPC协议, 而这些Protocol Buffers文件在Maven编译源代码才会生成对应的java类,因此若其他类在源代码中引用这些类则暂时无法找到. 解决办法就是先对hadoop源码进行编译,再导入eclipse工程. 一.基础软件: 软件下载地址推荐版本 JDK http://www.oracle.com/technetwork/java/javas…

CentOS 6.4 编译 Hadoop 2.5.1

为了防止无良网站的爬虫抓取文章,特此标识,转载请注明文章出处.LaplaceDemon/SJQ. http://www.cnblogs.com/shijiaqi1066/p/4058956.html 1 前提准备建议关闭编译机器上的防火墙与SELinux. 需要保证编译机器可以访问互联网. 卸载机器上的OpenJDK,并安装上64位的Oracle JDK.此处选用JDK7. 注意:经过实践,直到Hadoop 2.6.3使用JDK8进行编译依然存在出现各种问题.理论上应该可以解决,可是实在不够方…

CentOS 6.4 64位源码编译hadoop 2.2.0

搭建环境:Centos 6.4 64bit 1.安装JDK 参考这里2.安装mavenmaven官方下载地址,可以选择源码编码安装,这里就直接下载编译好的wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip解压文件后,同样在/etc/profie里配置环境变量vim /etc/profieexport MAVEN_HOME=/opt/maven3.1.1export…

64位CentOS上编译 Hadoop 2.2.0

下载了Hadoop预编译好的二进制包,hadoop-2.2.0.tar.gz,启动起来后.总是出现这样的警告: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因是apache官网提供的二进制包,里面的native库.是32位的,坑跌啊,如今server谁还有32位的啊. $ file…

Windows 10 上编译 Hadoop

下载源码源码下载地址(Source download):https://hadoop.apache.org/releases.html 这里以 2.9.2 为例,查看源码中的编译说明文件 BUILDING.txt,截取 windows 部分 Requirements: * Windows System * JDK 1.7 or 1.8 * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2.5…

编译Hadoop 2.7.2支持压缩转

hadoop Native Shared Libraries 使得Hadoop可以使用多种压缩编码算法,来提高数据的io处理性能.不同的压缩库需要依赖到很多Linux本地共享库文件,社区提供的二进制安装包,默认没有支持snappy这样在生产中最常用的压缩格式.而且社区没有提供64位的二进制安装包,在生产环境中一般都是x86 64位服务器,所以需要自己编译部署包.根据公司情况有一些修改的分支基础构建二进制安装包/rpm包. 我今天介绍,源码编译Hadoop支持多种Native Shared Lib…

Centos7编译hadoop异常:Received fatal alert: handshake_failure

保持网络畅通或者配置代理能够访问cdh的仓库 https://repository.cloudera.com/artifactory/cloudera-repos/ 编译hadoop版本 hadoop-2.6.0-cdh5.7.0 jdk版本 1.7 java version "1.7.0_80" 1 增加Maven参数 vim /etc/profile export MAVEN_OPTS='-Dhttps.protocols=TLSv1.2' source /etc/pr…

一步步实现windows版ijkplayer系列文章之四——windows下编译ijkplyer版ffmpeg

一步步实现windows版ijkplayer系列文章之一--Windows10平台编译ffmpeg 4.0.2,生成ffplay 一步步实现windows版ijkplayer系列文章之二--Ijkplayer播放器源码分析之音视频输出--视频篇一步步实现windows版ijkplayer系列文章之三--Ijkplayer播放器源码分析之音视频输出--音频篇一步步实现windows版ijkplayer系列文章之四--windows下编译ijkplyer版ffmpeg 一步步实现windows版…

Centos编译Hadoop 2.x 源码

1. 前言 Hadoop-2.4.0的源码目录下有个BUILDING.txt文件,它介绍了如何在Linux和Windows下编译源代码,本文基本是遵照BUILDING.txt指示来操作的,这里再做一下简单的提炼.第一次编译要求能够访问互联网,Hadoop的编译依赖非常多的东西,一定要保证机器可访问互联网,否则难逐一解决所有的编译问题,但第一次之后的编译则不用再下载了.如不能上网可以参考:虚拟机三种网络模式该如何上网指导2. 安装依赖在编译Hadoop 2.4.0源码之前,需要将下列几个依赖的东西…