参考http://blog.csdn.net/lalaguozhe/article/details/10912527 环境:hadoop2.3cdh5.0.2 hive 1.2.1 目标:安装lzo 测试作业运行与hive表创建使用lzo格式存储 之前安装试用snappy的时候,发现cdh解压后的native中已经包含了libsnappy之类的本地库,但是没有包含lzo. 所以lzo的使用,除了要安装lzo程序之外,还要编译安装hadoop-lzo. 1.安装lzo.可以yum安装,也可以根据上…

作业题目 位系统下进行本地编译的安装方式 选2 (1) 能否给web监控界面加上安全机制,怎样实现?抓图过程 (2)模拟namenode崩溃,例如将name目录的内容全部删除,然后通过secondary namenode恢复namenode,抓图实验过程 (3) 怎样改变HDFS块大小?实验验证并抓图过程 (4) 把secondary namenode和namenode分离,部署到单独的节点,抓图实验过程 (5) 在Hadoop集群实施成功后,再次格式化名称节点,请问此时datanode还能加入…

hadoop安装遇到的各种异常及解决办法 异常一: 2014-03-13 11:10:23,665 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: Linux-hadoop-38/10.10.208.38:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=…

接上一篇Kafka的安装与实验: http://www.cnblogs.com/charlesblc/p/6046023.html 还有再上一篇Flume的安装与实验: http://www.cnblogs.com/charlesblc/p/6046023.html Storm的安装可以参考这篇: http://shiyanjun.cn/archives/934.html 有1.0后的版本,和0.x的版本,最后为了稳妥,还是下载了0.10的版本. http://apache.fayea.com/…

1.hadoop版本介绍 0.20.2版本以前(不含该版本)的配置文件都在default.xml中. 0.20.x以后的版本不含有eclipse插件的jar包,由于eclipse的版本不一,所以就需要自己编译源码生成对应的插件. 0.20.2——0.22.x版本的配置文件集中在conf/core-site.xml. conf/hdfs-site.xml  和 conf/mapred-site.xml. 中. 0.23.x 版本有添加了yarn技术,配置文件集中在  conf/core-site.…

最近听了一个关于大数据的大牛的经验分享,在分享的最后大牛给我们一个他之前写好的关于大数据和地理应用demo.这个demo需要在Linux环境上搭建Hadoop平台.这次就简单的分享一下我关于在 Linux虚拟机上搭建Hadoop平台的一些经验和遇到的一些问题以及问题的解决办法. 首先我们这次搭建的环境是hadoop.hadoop实现了分布式文件系统,它可以部署在一些廉价的硬件环境上,并且提供了高吞吐量来访问应用程序的数据,非常适合那些有着大数据集的应用程序.而且最重要的是,hadoop是开源的.…

启用lzo的压缩方式对于小规模集群是很有用处,压缩比率大概能降到原始日志大小的1/3.同时解压缩的速度也比较快. 安装 准备jar包 1)先下载lzo的jar项目https://github.com/twitter/hadoop-lzo/archive/master.zip 2)下载后的文件名是hadoop-lzo-master,它是一个zip格式的压缩包,先进行解压,然后用maven编译.生成hadoop-lzo-0.4.20. 3)将编译好后的hadoop-lzo-0.4.20.jar 放入…

编译: 0. 环境准备 maven(下载安装,配置环境变量,修改sitting.xml加阿里云镜像) gcc-c++ zlib-devel autoconf automake libtool 通过yum安装即可,yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool 1. 下载.安装并编译LZO wget http://www.oberhumer.com/opensource/lzo/download/lzo-2…

一.准备 该准备工作在三台机器上都需要进行,首先使用 vmvare 创建 1 个虚拟机,这台虚拟机是 master,一会需要把 master 克隆出两台 slave 点确定然后开启此虚拟机 然后添加/boot 分区,大小为 1G,文件系统选 ext4 然后添加 swap 分区,注意,swap 分区为内存的 2 倍,文件系统则选择为 swap 然后点完成 然后等待安装完成,然后点重启 到此系统安装就完成了,然后设置网络 点完确定后,然后再进去查看下网关 点取消,记住这个网关 1.我先换下主机名 […

实验名称:Hadoop安装部署 一.实验环境: 虚拟机数量:3个 (1个master,2个slave:slave01,slave02) 主节点master信息: 操作系统:CentOS7.5 软件包位置:/home/zkpk/tgz 数据包位置:/home/zkpk/experiment 已安装软件:无 从节点slave01信息: 操作系统:CentOS7.5 软件包位置:/home/zkpk/tgz 数据包位置:/home/zkpk/experiment 已安装软件:无 从节点slave02信…