1 下载snappy包并编译 wget https://github.com/google/snappy/releases/download/1.1.3/snappy-1.1.3.tar.gz tar xvfz snappy-1.1.3.tar.gz cd snappy-1.1.3/ ./configure makesudo make installls -lh /usr/local/lib |grep snappy 2 编译hadoop源码  cd hadoop-2.6.0-cdh5.7.0…

在使用hive或者是kylin时,可以选择文件的压缩格式,但是这个需要有hadoop native库的支持,默认情况下,hadoop官方发布的二进制包中是不包含native库的,所以无法使用一些压缩相关的算法.本例中选择自己手动编译hadoop源码,并将native文件部署到hadoop安装目录/lib目录下. 1. 环境准备 a) 安装JDK(1.7以上版本),本例中安装jdk1.8b) 安装maven(3.0以上版本),参见本人博文c) yum install -y CMake openss…

简介:介绍源码编译安装软件包的管理 源码安装优点:编译安装过程,可以设定参数,指定安装目录,按照需求进行安装,指定安装的版本,灵活性比较大. 源码安装的缺点:需要对依赖包一个一个的进行安装,不敢随便升级,一升级可能会由于依赖包的是不能使用导致一系列连锁反应   源码编译安装软件包4大步骤: 1. 解压源码包 tar -xf 源码包 2. 配置 进入解压后的目录,用./configure命令来配置相关信息(比如指定安装目录 -- prefix=/usr/local/nginx)和生成Makefil…

[一].下载源码 打开网址:http://www.igniterealtime.org/downloads/source.jsp 选择目前最新版本 openfire_src_3_9_1.zip 下载. [二].配置Eclipse项目 1.把下载好的 openfire_src_3_9_1.zip 压缩包直接解压到Eclipse的工作目录(以 D:\openfire\ 如下图为例) 2.把 openfire_src\build\eclipse 目录下的文件夹setting.文件classpth.文件…

1 下载地址 https://sourceforge.net/projects/boost/files/boost/1.61.0/ boost_1_61_0.tar.gz 2 卸载系统自带的boost库 rpm -qa|grep boost 3 编译 配置环境 ./bootstrap.sh --prefix=/usr/local ./b2 install --with=all 4 修改环境变量 修改.bash_profile文件 cd /root vi .bash_profile PATH=$P…

准备工作 下载 Hadoop 源码 Source (当前最新 2.9.2) https://hadoop.apache.org/releases.html 打开压缩包会看到 BUILDING.txt 文件,这是官方提供的编译说明,参看 Linux 部分 Requirements: * Unix System * JDK 1.7 or 1.8 * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) * ProtocolBuffer 2…

首先,说的是,本人到现在为止,已经玩过.                   对于,这样的软件,博友,可以去看我博客的相关博文.在此,不一一赘述! Eclipse *版本 Eclipse *下载 Jdk 1.7*安装并配置 Jdk 1.8*安装并配置 JDK的windows和Linux版本之下载 Eclipse下新建Maven项目.自动打依赖jar包 如何在Maven官网下载历史版本 setting.xml配置文件 [转]maven核心,pom.xml详解 本博文呢,Eclipse下详细讲解ha…

1.本次Hadoop源码阅读环境使用的阅读工具是idea,Hadoop版本是2.7.3.需要安装的工具包括idea.jdk.maven.protobuf等 2.jdk,使用的版本是1.8版,在jdk官网下载jdk-8u111-macosx-x64.dmg,点击安装,一路next. 3.idea安装,略 4.maven,使用的版本是3.3.9,下载apache-maven-3.3.9-bin.tar,解压: tar -zxvf  apache-maven-3.3.9-bin.tar 进入 Mave…

说在前面的话   重新试多几次.编译过程中会出现下载某个包的时间太久,这是由于连接网站的过程中会出现假死,按ctrl+c,重新运行编译命令. 如果出现缺少了某个文件的情况,则要先清理maven(使用命令 mvn clean) 再重新编译.    前言 Spark可以通过SBT和Maven两种方式进行编译,再通过make-distribution.sh脚本生成部署包. SBT编译需要安装git工具,而Maven安装则需要maven工具,两种方式均需要在联网 下进行.  尽管maven是Spark官…

Windows 10 x64 下编译 Hadoop 源码 环境准备 Hadoop并没有提供官方的 Windows 10 下的安装包,所以需要自己手动来编译,官方文档中 BUILDING.txt 文件中说明了编译源码需要的软件环境: 1. 具体如下: [x] Hadoop源码 [x] Windows 系统 [x] JDK 1.8+ [x] Maven 3.0 or later [x] Findbugs 1.3.9 (可省略) [x] ProtocolBuffer 2.5.0 [x] CMake 2…