转载请注明出处:http://www.cnblogs.com/xiaodf/ Flume作为日志收集工具,监控一个文件目录或者一个文件,当有新数据加入时,采集新数据发送给消息队列等. 1 安装部署Flume 若要采集数据节点的本地数据,每个节点都需要安装一个Flume工具,用来做数据采集. 1.1 下载并安装 到官网去下载最新版本的Flume 下载地址为:http://flume.apache.org/,目前最新版本为1.6.0,需要1.7及以上版本的JDK. 1.解压 tar -xzvf ap…

编译: 使用的环境是:Hadoop2.6.0.Spark1.4.0.Hive0.13.1.Sqoop1.4.4 编译Oozie的命令:./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.6.0 -Ddistcp.version=2.6.0 -Dsqoop.version=1.4.4 -Dhive.version=0.13.1 -Dpig.version=0.15.0 (突然发现,编译时没有指定Spark的版本) 经过艰难漫长的编译过程,最后得到了oo…

一.安装solr4.8: 1.把apache-solr-4.8.1\example\webapps下的solr.war文件拷贝到Tomcat下的Tomcat7.0\webapps目录下,tomcat启动时,solr.war会自动解压生成solr目录. 2.检查解压缩后的solr\WEB-INF\lib下的jar包是否全,最好去apache-solr-4.8.1下的某些jar复制过来,不然启动tomcat有无厘头错误. 3.配置solrhome(索引数据.配置信息存储的地方)路径信息:将Tomca…

1.首先关闭机器上之前配置的分布式Hadoop 命令: (在hadoop的安装目录中)  sbin/stop-dfs.sh              关闭: yarn   命令:  sbin/stop-yarn.sh 2.先使用hadoop-senior.zuoyan.com 上的 伪分布式Hadoop进行配置 Hive (将需要的文件上传到服务器上) 2.1 启动 hdfs 2.2 启动yarn        2.3 将secondaryNamenode 停止掉  节省点内存  命令:sbin…

需求:根据当前客户的生产环境,模拟安装部署Redis的测试环境,方便后续的功能测试. 1.准备工作 2.安装编译Redis 3.Redis运行环境配置 4.Redis启动和关闭 1.准备工作 Redis的版本和虚拟主机数量都按照客户的生产环境来准备: Redis版本:3.2.10 准备3台虚拟机,具体环境信息为: 系统版本 主机名 IP地址 主机内存 磁盘空间 RHEL6.8 test01 192.168.1.121 4G 20G RHEL6.8 test02 192.168.1.122 4G…

一.hive是什么东东 1. 个人理解 hive就是一个基于hdfs运行于MapReduce上的一个java项目, 这个项目封装了jdbc,根据hdfs编写了处理数据库的DDL/DML,自带的 二进制包内嵌Derby数据库,且默认使用Derby,简而言之,hive就是一个 帮助我们处理/分析数据的工具,不过这个工具却像namenode一样存储了 一份文件的元数据,这就有点像数据仓库的感觉 2. 架构 分为服务端.客户端,基于hadoop,运行在mapreduce,存储于hfds, 可与hbase…

qemu-kvm和openvswitch安装部署 本文包含两个部分: qemu-kvm的安装部署 openvswitch的安装部署 参考文档: kvm官网:http://www.linux-kvm.org/page/Documents qemu文档:kvm官网把qemu文档(qemu user manual)直接指向wiki了,^_^ http://wiki.qemu.org/Qemu-doc.html *** 1. qemu-kvm的安装部署 环境准备 1). 内核需要支持KVM.KVM版本>…

redis 应用于web前端,做缓存和数据存取的速度是挺可观的,最近看了一些资料,手痒了,就弄了一个测试环境,两台方案,试用一下. ##Redis 集群部署## 一,方案调研: 参考博客: http://jolestar.com/redis-ha/ http://www.luocs.com/archives/tag/redis https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.md https://github.com…

测试环境swarm安装部署 部署前增加监听docker2375端口 centos 增加tcp监听端口 修改/lib/systemd/system/docker.service sed -i ‘s/ExecStart=.*/ExecStart=\/usr\/bin\/dockerd -H unix\:\/\/\/var\/run\/docker.sock -D -H tcp\:\/\/0.0.0.0\:2375/g‘ /lib/systemd/system/docker.service 即 Exe…

一.Oracle安装部署 1.1 单机环境 1.2 Oracle RAC环境 1.3 Oracle DataGuard环境 1.4 主机双机 1.5 客户端部署 二.Oracle版本升级 2.1 单机环境 2.2 Oracle RAC环境 2.3 Oracle DataGuard环境 2.4 主机双机 三.Oracle应用补丁 3.1 单机环境 3.2 Oracle RAC环境 3.3 Oracle DataGuard环境 3.4 主机双机 说明:本文汇总Oracle安装部署,版本升级,应用补丁…