一.阅读编译文档 在hadoop源码包根目录下有个一个BUINDING.txt的文件,文件说明了编译hadoop所需要的一些编译hadoop所需要的一些编译环境相关的东西.不同hadoop版本的要求都不一样.我选择的版本是hadoop-2.7.7 ---------------------------------------------------------------------------------- Requirements: * Unix System * JDK 1.7+ * Ma

Openssl的编译安装以及Vs2012上环境搭建教程 一.Openssl的编译安装 一.准备工作 1.Openssl下载地址:https://www.openssl.org/source/ 2.ActivePerl下载地址:http://www.activestate.com/activeperl/downloads 3.Vs2012下载并安装,此处不再多说. 4.说明:●此处我选用的openssl的版本是Openssl-1.0.1u; ●此处我选用的ActivePerl的版本是ActiveP

  一.hadoop集群环境配置 参考我的前一篇文章(ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html)  我是在自己的Linux上编译了一一下, centos 64位 编译环境: 二.windows基础环境准备 windows7(x64),jdk,ant,eclipse,hadoop 1.jdk环境配置 jdk-6u26-windows-i586.exe安装后好后配置相关JAVA_HOM

在 Windows 平台上调用动态链接库 dll 文件时,有两种方式:a) 隐式的加载时链接:使用 *.lib (导入库)文件,在 IDE 的链接器相关设置中加入导入库 lib 文件的名称,或在程序中加入预编译指令 #pragma comment (lib,”*.lib”).b) 显式的运行时链接.不使用 *.lib (导入库)文件,使用 Load Library(),GetProcAddress() 函数来加载动态库中的函数.要注意的是在导入库 lib 文件内部包含了其对应 dll 文件的名称

关于openssl的编译与使用,可以参考这两往篇文章 http://blog.csdn.net/lazyclough/article/details/7456131 http://www.leavesongs.com/C/OpenSSL4MD5.html

Hadoop YARN学习之组件功能简述(3) 1. YARN的三大组件功能简述: ResourceManager(RM)是集群的资源的仲裁者, 它有两部分:一个可插拔的调度器和一个ApplicationManager,用于管理集群中的用户作业. NodeManager,位于每个节点上,管理该节点上用户作业和工作流. ApplicationMaster,用户作业生命周期管理者. 是用户应用程序驻留的地方. 2. 三大组件构成了一个可扩展的.灵活的.高效的环境,来运行各种类型的大数据处理作业. 3

一 Hadoop简介 1.1Hadoop产生的背景 1. HADOOP最早起源于Nutch.Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取.索引.查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问,如何解决数十亿网页的存储和索引问题. 2. 2003年开始谷歌陆续发表的三篇论文为该问题提供了可行的解决方案. 分布式文件系统(GFS),可用于处理海量网页的存储 分布式计算框架MAPREDUCE,可用于处理海量网页的索引计算问题. BigTable 数据库:OLTP 联机事

编译过程漫长无比,错误百出,需要耐心耐心!! 1.准备的环境及软件 操作系统:Centos6.4 64位 jdk:jdk-7u80-linux-x64.rpm,不要使用1.8 maven:apache-maven-3.3.3-bin.tar.gz protobuf:protobuf-2.5.0.tar.gz 注:谷歌的产品,最好是提前百度准备一下这个文件 hadoop src:hadoop-2.5.2-src.tar.gz     hadoop的官网下载 ant:apache-ant-1.9.6

所需工具 1.Windows 7 32 Bit OS(你懂的) 2.Apache Hadoop 2.2.0-bin(hadoop-2.2.0.tar.gz) 3.Apache Hadoop 2.2.0-src(hadoop-2.2.0-src.tar.gz) 3.JDK 1.7 4.Maven 3.2.1(apache-maven-3.2.1-bin.zip) 5.Protocol Buffers 2.5.0 6.Unix command-line tool Cygwin(Setup-x86.e

昨天折腾hadoop2X的eclipse插件,从https://github.com/winghc/hadoop2x-eclipse-plugin把源码搞下来后,很快搞定出来一个,但是...New Hadoop Location时,窗口出不来,汗死,原因后面会说明的.源码难下,最后我会附上源码包的. 仔细看了ant和ivy的文件之后,我发现了一个坑爹的现象,编译一个插件,需要ivy么?! ant用了好久了,还是自己写一个的好. 查看了jar包,都是hadoop安装目录里面存在的,还需要连个毛线的

Windows平台上使用ANT编译Hadoop Eclipse Plugin 一.准备工作:   1.安装JDK 下载页面:http://www.oracle.com/technetwork/java/javase/downloads/index.html JDK6,JDK7都可以.这里以jdk-7u40-windows-x64.exe为例.   安装完成后要设置环境变量. 在Path变量的变量值后添加:[;C:\Program Files\Java\jdk1.7.0_40\bin](JDK安装

hadoop-1.2.1 eclipse插件编译       在ubuntu上进行hadoop相关的开发,需要在eclipse上安装hadoop开发插件.最新释放出的hadoop包含源码的包,以hadoop-1.1.1为例,包含相关的eclipse插件的源码,因此可以针对自己的eclipse版本来编译一个hadoop的eclipse插件,我的eclipse的版本代号为indigo,以此为例,下面详细介绍插件的编译安装过程. 一. 下载hadoop-1.2.1     我的下载地址为:(http:

近期对Hadoop很感兴趣,下面是在CentOS系统上进行编译的分享 系统情况如下: 1. CentOS 6.2 64位    2. hadoop-2.2.0    3. jdk 1.6.0_31    4. maven 3.1.0    5. protobuf-2.5.0    6. cmake 2.8.12.1 系统中已经安装好了JDK,并正确进行了设置,这里不说明JDK的安装与设置,请自行查阅 第一步:安装maven 1.1 下载文件 apache-maven-3.1.0-alpha-1-

openssl版本:openssl-1.0.0k 64位编译 1.编译环境: openssl-1.0.0a必须用vs2008编译(Open Visual Studio 2008 x64 Cross Tools Command Prompt),VC6+nasm32是无法编译了,因为openssl-1.0.0a要求cl.exe的版本比较高,vc6无法编译,所以用vs2008编译. 2.64位编译: 运行configure: perl Configure VC-WIN64A 或 perl Config

参考文档:http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署,cdh5.10.0提供默认的二进制安装包存在未知问题,如果直接下载spark二进制安装文件,配置完成后会发现启动spark及相关使用均会报错. 编译spark需要联网,spark使用scala语言编写,所以运行spark需要scala语言,上一步已经安装了scala,scala使用java编写,所以安装scala需要jdk支持,上

程序代码为 ~\hadoop-2.7.4\share\hadoop\mapreduce\sources\hadoop-mapreduce-examples-2.7.4-sources\org\apache\hadoop\examples\WordCount.java 第一次  删除了package import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configur

近期工作调动.打算补一下大数据处理的知识.可能会陆续涉及hadoop.mongodb.ddbs等. 首先Apache提供二进制的Hadoop版本号是32位的.在启动时总是有警告,所以想自己编译一遍.部分内容来源于网络. 0.环境说明: 操作系统环境: ububtu 14.04 LTS 64位操作系统 JDK环境: java version "1.7.0_55" Java(TM) SE Runtime Environment (build 1.7.0_55-b13) Java HotSp

本机环境: Visual Studio 2010 . Windows 7 64 bit 1: 下载文件 1.1 libcurl: curl-7.49.1.zip 地址: https://curl.haxx.se/download/curl-7.49.1.zip 1.2 zlib: zlib-1.2.8.tar.gz 地址: http://prdownloads.sourceforge.net/libpng/zlib-1.2.8.tar.gz?download 1.3 openssl: opens

工具: 1. 编译环境win10+vs2015专业版 2. ActivePerl工具,官网下载链接:http://www.activestate.com/activeperl/downloads 3. openssl源码,下载链接:https://www.openssl.org/source/,选择2016-May-03 13:57:13 openssl-1.0.1t.tar.gz这个版本,之所以没有选择1.1.0,发觉两个版本差异较大,ms文件夹下缺少很多文件,没办法按照此方法编译. 步骤:

1.工具准备,最靠谱的是hadoop说明文档里要求具备的那些工具. 到hadoop官网,点击source下载hadoop-2.7.3-src.tar.gz. 解压之 tar -zxvf hadoop-2.7.3-src.tar.gz 得到hadoop-2.7.3-src文件夹. 进入hadoop-2.7.3-src文件夹,查看BUILDING.txt cd hadoop-2.7.3-src vim BUILDING.txt 可以看到编译所需的库或者工具: 包括: JDK1.7+ maven 3.

这几天需要使用openssl,前期本机上保存的目录不知道哪天整理的时候删除了,索性下载最新的自己编译一下: 在最新版的openssl(openssl-1.0.2e),编译过程中出现了很多问题,这里主要汇总一下: 使用环境:win10/VC2015 1.如何编译unicode 版openssl? 在配置时添加选项: perl Configure VC-WIN32 -DUNICODE -D_UNICODE   2.如何使得编译的openssl库在debug程序时不报错? 修改ms\do_xx.bat