ambari集成impala
1.查看hdp版本,可在ambari-agent节点上查看
VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`
2.server节点上git克隆代码,其中下方$VERSION指的是上方的版本号
sudo git clone https://github.com/cas-bigdatalab/ambari-impala-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/IMPALA
如果出现SSL问题,可关闭SSL验证再执行
git config --global http.sslVerify false
git config --global http.sslversion tlsv1
如果你没有安装git,可到https://github.com/cas-bigdatalab/ambari-impala-service地址上下载代码,放到目录/var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/IMPALA下
如果你的git安装有任何问题,参考文章后方附录git的安装升级配置
3.server上目录/etc/yum.repos下新建文件impala.repo
[cloudera-cdh5]
# Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/
gpgkey =https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
gpgcheck =
然后将此文件发送到各个需要安装的agent节点上
4.重启ambari-server
service ambari-server restart
5.重启成功后, 在页面里选择impala服务进行安装
这里选择server节点安装catalog , state_store
agent节点安装impala-daemon
由于要去cloudera官网下载rpm包,网速比较慢,若失败可多试几次。
6.安装成功后,在ambari服务配置里修改或添加HDFS配置
6.1 修改core-site.xml
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property> <property>
<name>dfs.client.read.shortcircuit.skip.checksum</name>
<value>false</value>
</property> <property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
6.2 修改hdfs-site.xml
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.block.local-path-access.user</name>
<value>impala</value>
</property>
<property>
<name>dfs.client.file-block-storage-locations.timeout.millis</name>
<value>60000</value>
</property>
7.重启hdfs及相关服务
8.启动impala服务
impala服务启动后一会就会停掉,不用着急,继续向下看
9.将各个节点上的hbase的jar包复制到impala目录下
需要将版本号去掉改为软连接,
因为我的节点上/usr/lib/impala/lib目录下已有hbase的三个jar包(hbase-annotations.jar,hbase-client.jar,hbase-common.jar),这几个就不需要再次建立软连接了
cp /usr/lib/hbase/lib/hbase-*.jar /usr/lib/impala/lib/
ln -s hbase-examples-1.2.-cdh5.16.1.jar hbase-examples.jar
ln -s hbase-external-blockcache-1.2.-cdh5.16.1.jar hbase-external-blockcache.jar
ln -s hbase-hadoop2-compat-1.2.-cdh5.16.1.jar hbase-hadoop2-compat.jar
ln -s hbase-hadoop-compat-1.2.-cdh5.16.1.jar hbase-hadoop-compat.jar
ln -s hbase-it-1.2.-cdh5.16.1.jar hbase-it.jar
ln -s hbase-prefix-tree-1.2.-cdh5.16.1.jar hbase-prefix-tree.jar
ln -s hbase-procedure-1.2.-cdh5.16.1.jar hbase-procedure.jar
ln -s hbase-resource-bundle-1.2.-cdh5.16.1.jar hbase-resource-bundle.jar
ln -s hbase-rest-1.2.-cdh5.16.1.jar hbase-rest.jar
ln -s hbase-rsgroup-1.2.-cdh5.16.1.jar hbase-rsgroup-1.2..jar
ln -s hbase-server-1.2.-cdh5.16.1.jar hbase-server.jar
ln -s hbase-shell-1.2.-cdh5.16.1.jar hbase-shell.jar
ln -s hbase-spark-1.2.-cdh5.16.1.jar hbase-spark.jar
ln -s hbase-thrift-1.2.-cdh5.16.1.jar hbase-thrift.jar
10.错误时,查看各节点日志/var/log/impala/
我的jdk版本是1.8,并需要在各节点上修改配置文件/etc/default/bigtop-utils,修改
export JAVA_HOME=/opt/module/jdk1..0_112
然后执行source /etc/default/bigtop-utils
11.ambari管理页面启动impala
查看server上state_store
查看catalog
打开impalad各节点的ui
在impalad节点上打开shell客户端
参考:
https://www.cnblogs.com/zwgblog/p/6846030.html
https://github.com/cas-bigdatalab/ambari-impala-service
【附录】
git的安装升级配置
如果出现fatal: HTTP request failed此类问题,一般是由于git版本过低引起的,可参考下方升级
1.查看git版本
git --version
2.删除旧版本
yum remove git
3.安装git依赖包
yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidoc
yum install gcc perl-ExtUtils-MakeMaker
4.下载新版本
cd /usr/local/src/
wget https://www.kernel.org/pub/software/scm/git/git-2.15.1.tar.xz
5.解压编译
tar -vxf git-2.15..tar.xz
cd git-2.15.
make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/usr/local/git/bin" >> /etc/profile
source /etc/profile
6.查看版本变为2.15.1
git --version
ambari集成impala的更多相关文章
- 【原创】大数据基础之Ambari(4)通过Ambari部署Impala
ambari2.7.3(hdp3.1) 安装 impala2.12(自动安装最新) ambari的hdp中原生不支持impala安装,下面介绍如何通过mpack方式使ambari支持impala安装: ...
- Ambari集成Kerberos报错汇总
Ambari集成Kerberos报错汇总 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查看报错的配置信息步骤 1>.点击Test Kerberos Client,查看相 ...
- 实战kudu集成impala
推荐阅读: 论主数据的重要性(正确理解元数据.数据元) CDC+ETL实现数据集成方案 Java实现impala操作kudu 实战kudu集成impala impala基本介绍 im ...
- ambari hdp 集成 impala
1.下载ambari-impala-service VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\ ...
- kudu集成impala
Kudu 与 Apache Impala (孵化)紧密集成,允许开发人员使用 Impala 使用 Impala 的 SQL 语法从 Kudu tablets 插入,查询,更新和删除数据: 安装impa ...
- hdp (ambari) 集成hue
ambari-server resetambari-admin-password-reset https://github.com/EsharEditor/ambari-hue-service可以基于 ...
- 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)
不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 horton ...
- 基于Ambari构建自己的大数据平台产品
目前市场上常见的企业级大数据平台型的产品主流的有两个,一个是Cloudera公司推出的CDH,一个是Hortonworks公司推出的一套HDP,其中HDP是以开源的Ambari作为一个管理监控工具,C ...
- Hadoop生态圈-开启Ambari的Kerberos安全选项
Hadoop生态圈-开启Ambari的Kerberos安全选项 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在完成IPA-Server服务的安装之后,我们已经了解了他提供的基础功 ...
随机推荐
- Adobe Acrobat Reader DC For Android 下载
http://get.adobe.com/cn/reader/otherversions/ 点击“立即下载”按钮,即可开始下载到PC端
- win7 默认程序设置
1. . 2. 3. 4. 双击某个程序-->选择浏览 目标程序 .即可完成
- 关于nagios系统下使用shell脚本自定义监控插件的编写
在自已编写监控插件之前我们首先需要对nagios监控原理有一定的了解 Nagios的功能是监控服务和主机,但是他自身并不包括这部分功能,所有的监控.检测功能都是通过各种插件来完成的. 启动Nagios ...
- 【BZOJ2331】[SCOI2011]地板 插头DP
[BZOJ2331][SCOI2011]地板 Description lxhgww的小名叫“小L”,这是因为他总是很喜欢L型的东西.小L家的客厅是一个的矩形,现在他想用L型的地板来铺满整个客厅,客厅里 ...
- Unity3D笔记 英保通八 关节、 布料、粒子系统
一.关节1.1..链条关节 Hinge joint :他可以模拟两个物体间用一根链条连接在一起的情况,能保持两个物体在一个固定距离内部相互移动而不产生作用力,但是达到固定距离后就会产生拉力 1.2.. ...
- Angular打开页面隐藏显示表达式
1.使用 ng-cloak, 同时要在css加入一行 [ng-cloak] {display: none;} 样式 [ng:cloak], [ng-cloak], [data-ng-cloak], [ ...
- 有哪些sql优化工具
https://www.oschina.net/p/soar-xiaomi https://www.oschina.net/news/101034/xiaomi-opensource-soar SOA ...
- Spark2 Dataset聚合操作
data.groupBy("gender").agg(count($"age"),max($"age").as("maxAge&q ...
- 8.30前端jQuery和数据结构知识
2018-8-30 16:37:17 单链表的demo 从俺弟家回来了! 发现,还是要努力学习是很重要的!!努力学习新的感兴趣的东西!! 多读书还是很重要的!!! 越努力,越幸运! # coding: ...
- 基于Token的多平台身份认证价格设计
1 概述 在存在账号体系的信息系统中,对身份的鉴定是非常重要的事情. 随着移动互联网时代到来,客户端的类型越来越多, 逐渐出现了 一个服务器,N个客户端的格局 . 不同的客户端产生了不同的用户使用 ...