安装的节点如下:1个namenode.1个hiveserver.3个dataNode192.168.1.139   namenode1192.168.1.146   hiveserver 192.168.1.164   datanode1192.168.1.165   datanode2192.168.1.166   datanode3 ===========安装步骤记录================================一.主机环境配置(所有节点都要配置)1.配置主机名.JDK.网…

说明:这篇博客来自我的csdn博客,http://blog.csdn.net/lxxgreat/article/details/7753511 一.参考书:<hadoop权威指南--第二版(中文)> 二.hadoop环境安装 1.安装sun-jdk1.6版本 1)目前我只在一台服务器(CentOS5.5)上搭建hadoop环境,因此先卸载已安装的java1.4版本 卸载命令:yum -y remove java 2)下载sun-jdk1.6,地址:http://download.oracle.…

1)首先配置好了四个linux虚拟机 root pwd:z****l*3 关闭了防火墙 开通了 sshd服务 开通了 ftp服务 配置了 jdk 1.8 配置好了互信 (之前配置的过程忘了!--检查了一下可以) 注意 /etc/hosts 中需配置主机名(每台都要设置) 注意 互信建立时 第一次连接会提示要输入yes才行,即使用ip试过 换了主机名同样会在换过主机名后的第一次 提示输入yes 所以最后 用主机名试一下 scp linux版本是 Fedora release 22 (Twenty…

expect是交互性很强的脚本语言,可以帮助运维人员实现批量管理成千上百台服务器操作,是一款很实用的批量部署工具!expect依赖于tcl,而linux系统里一般不自带安装tcl,所以需要手动安装 下载:expect-5.43.0.tar和tcl8.4.11-src.tar下载地址:https://pan.baidu.com/s/1kVyeLt9 提取密码:af9p 将expect和tcl的软件包下载放到/usr/local/src目录下 (1)解压tcl,进入tcl解压目录,然后进入unix目…

一.hadoop简介 相信你或多或少都听过hadoop这个名字,hadoop是一个开源的.分布式软件平台.它主要解决了分布式存储(hdfs)和分布式计算(mapReduce)两个大数据的痛点问题,在hadoop平台上你可以轻易地使用和扩展数千台的计算机而不用关心底层的实现问题.而现在的hadoop更是形成了一个生态体系,如图: 上图大体展示了hadoop的生态体系,但并不完整.总而言之,随着hadoop越来越成熟,也会有更多地成员加入hadoop生态体系中. hadoop官方网站:http://…

在ubuntu16.04下安装OpenCV 2.4.11的简单记录 1. 安装cmake,执行$apt-get install cmake即可,cmake -version验证 2. 下载OpenCV tar包    地址 3. 解压tar包到~/dev/opencv-2.4.11 4. 进入该目录,执行$cmake .   如果报错缺少依赖库则安装之 5. 执行$make,过程略慢 6. 执行$make install 7. 创建文件/etc/ld.so.conf.d/opencv.conf…

inkfish原创,请勿商业性质转载,转载请注明来源(http://blog.csdn.net/inkfish ).(来源:http://blog.csdn.net/inkfish) Pig是Yahoo!捐献给Apache的一个项目,眼下还在Apache孵化器(incubator)阶段,眼下版本号是v0.5.0.Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-like语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运…

kafka安装和简单测试 # 安装zookeeper(apache-zookeeper-3.5.6-bin)https://archive.apache.org/dist/zookeeper/zookeeper-3.5.6/apache-zookeeper-3.5.6-bin.tar.gz # 安装kafka(kafka_2.11-2.3.1)http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.1/kafka_2.11-2.3.1.tgz #…

day39 SQL语句简单介绍 库(增删改查) 查看数据库 show databases; 查看其中一个库 show create database db1; 创建数据库 create database db1; 创建数据库并指定编码 create database db1 charset utf8; 使用数据库 use db1; 修改数据库 alter database db1 charset utf8; 删除数据库 drop database db1; 表(增删改查) 创建表 create…

1.安装hadoop 解压hadoop-1.2.1-bin.tar.gz包   tar -zxvf hadoop-1.2.1-bin.tar.gz  /opt/modules/ 解压后在/opt/modules/看到有hadoop-1.2.1文件夹(此为安装目录) 2.配置环境变量 vim 3.刷新环境变量 source /etc/profile 4.测试MapReduce程序 (1)新建文件夹input   mkdir input (2)进入hadoop安装目录    (3)拷贝所有xml文件…