最近想对自己学的东西做些回顾,想到写博客是个不错的方式,方便他人也有利自己,刚开始写不足之处大家多担待. 编译前需要安装JDK1.6以上.scala.Maven.Ant.hadoop2.20 如下图(/etc/profile): Spark编译有提供了两种方式: Maven编译:在 /etc/profile文中添加:export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" 执行命令:mv…

参考:https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html Ambari 是什么 Ambari 的作用来就是创建.管理.监视 Hadoop 集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop.用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使…

以下为在CentOS-6.4下hadoop-1.2.0源码编译步骤. 1. 安装并且配置ant 下载ant,将ant目录下的bin文件夹加入到PATH变量中. 2. 安装git,安装autoconf,安装automake,安装libtool 3. 修改saveVersion.sh文件 修改hadoop工程目录src目录下的saveVersion.sh文件,将user=‘whoami’中的‘whoami’改为实际的名字(如我的名字maybob,则改为:user=maybob). 4. 执行ant编…

在上一篇文章中,介绍了hadoop-2.6.0源码编译的一般流程,因个人计算机环境的不同, 编译过程中难免会出现一些错误,下面是我编译过程中遇到的错误. 列举出来并附上我解决此错误的方法,希望对大家有所帮助. 问题1: Detected JDK Version: ,} 原因:我当时的执行mvn package 操作时,我安装的jdk版本是1.8.0_144,从问题描述就可以看出,应该使用jdk1.7.0-----jdk1.7.1000这个范围. 解决:更改ldk版本.这里很简单,就不在列举更换步…

问题导读:1.如何对Spark1.0.0源码编译?2.如何生成Spark1.0的部署包?3.如何获取包资源? Spark1.0.0的源码编译和部署包生成,其本质只有两种:Maven和SBT,只不过针对不同场景而已:Maven编译SBT编译IntelliJ IDEA编译(可以采用Maven或SBT插件编译),适用于开发人员部署包生成(内嵌Maven编译),适用于维护人员编译的目的是生成指定环境下运行Spark本身或开发Spark Application的JAR包,本次编译的目的生成运行在hadoo…

编译环境: OS:RHEL 6.3 x64 Maven:3.2.1 Eclipse:Juno SR2 Linux x64 libprotoc:2.5.0 JDK:1.7.0_51 x64 步骤: 1. 下载Hadoop2.2.0源码包  http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz 2. 解压缩到Eclipse的workspace中.这里最好解压缩到workspace中,编译完…

Ubuntu 环境 TensorFlow 源码编译安装 基于(Ubuntu 14.04LTS/Ubuntu 16.04LTS/) 一.编译环境 1) 安装 pip sudo apt-get install python-pip python-dev 2)安装JDK 8 sudo apt-get install openjdk-8-jdk Ubuntu 14.04 LTS 还需要: sudo add-apt-repository ppa:webupd8team/java sudo apt-get…

参考这篇博客 经过测试,8.0源码下载及编译之后,占用100多G的硬盘空间,尽量给ubantu系统多留一些硬盘空间,如果后续需要在编译好的源码上进行开发,需要预留更多的控件,为了防止后续出现文件权限问题,建议使用root用户进行开发 分为4个流程 源码下载 构建编译环境 编译源码 运行 源码下载 安装git并且配置 //安装git sudo apt-get install git //配置git用户名称和邮箱 git config --global user.name "your name&qu…

Hive默认使用MapReduce作为执行引擎,即Hive on mr,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark.由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Spark比MapReduce快很多.默认情况下,Hive on Spark 在YARN模式下支持Spark. 因为本人在之前搭建的集群中,部署的环境为:hadoop2.7.3 hive2.3.4 scala2.12.8 kafka2…

最近打算开始研究一下Tomcat的工作原理,拜读一下源码.所以先从编译源码开始了.尽管网上有那么多的资料,但是总是觉得,自己研究一遍,写一遍,在动手做一遍能够让我们更加深入的了解.现在整个社会都流行着浮躁的风气,各种速成班,催熟剂的让我们难易静下心来去好好的研究一下技术.现在想想高中时候虽然很累,但是很充实.知道自己每天都干了些什么,再想想现在,是否还经常写字,写文章?是否还经常读书.我在经过了很长一段时间沉浸在只是上下班,重复以往的无聊日子后,终于明白了,学习读书依然要继续,要好好为自己充电来…