1.查看hdp版本,可在ambari-agent节点上查看

VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`

2.server节点上git克隆代码,其中下方$VERSION指的是上方的版本号

sudo git clone https://github.com/cas-bigdatalab/ambari-impala-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/IMPALA

如果出现SSL问题,可关闭SSL验证再执行

git config --global http.sslVerify false
git config --global http.sslversion tlsv1

如果你没有安装git,可到https://github.com/cas-bigdatalab/ambari-impala-service地址上下载代码,放到目录/var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/IMPALA下

如果你的git安装有任何问题,参考文章后方附录git的安装升级配置

3.server上目录/etc/yum.repos下新建文件impala.repo

[cloudera-cdh5]
# Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/
gpgkey =https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
gpgcheck =

然后将此文件发送到各个需要安装的agent节点上

4.重启ambari-server

service ambari-server restart

5.重启成功后, 在页面里选择impala服务进行安装

这里选择server节点安装catalog , state_store

agent节点安装impala-daemon

由于要去cloudera官网下载rpm包,网速比较慢,若失败可多试几次。

6.安装成功后,在ambari服务配置里修改或添加HDFS配置

6.1 修改core-site.xml

<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property> <property>
<name>dfs.client.read.shortcircuit.skip.checksum</name>
<value>false</value>
</property> <property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>

6.2 修改hdfs-site.xml

<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.block.local-path-access.user</name>
<value>impala</value>
</property>
<property>
<name>dfs.client.file-block-storage-locations.timeout.millis</name>
<value>60000</value>
</property>

7.重启hdfs及相关服务

8.启动impala服务

impala服务启动后一会就会停掉,不用着急,继续向下看

9.将各个节点上的hbase的jar包复制到impala目录下

需要将版本号去掉改为软连接,

因为我的节点上/usr/lib/impala/lib目录下已有hbase的三个jar包(hbase-annotations.jar,hbase-client.jar,hbase-common.jar),这几个就不需要再次建立软连接了

cp /usr/lib/hbase/lib/hbase-*.jar /usr/lib/impala/lib/
ln -s hbase-examples-1.2.-cdh5.16.1.jar hbase-examples.jar
ln -s hbase-external-blockcache-1.2.-cdh5.16.1.jar hbase-external-blockcache.jar
ln -s hbase-hadoop2-compat-1.2.-cdh5.16.1.jar hbase-hadoop2-compat.jar
ln -s hbase-hadoop-compat-1.2.-cdh5.16.1.jar hbase-hadoop-compat.jar
ln -s hbase-it-1.2.-cdh5.16.1.jar hbase-it.jar
ln -s hbase-prefix-tree-1.2.-cdh5.16.1.jar hbase-prefix-tree.jar
ln -s hbase-procedure-1.2.-cdh5.16.1.jar hbase-procedure.jar
ln -s hbase-resource-bundle-1.2.-cdh5.16.1.jar hbase-resource-bundle.jar
ln -s hbase-rest-1.2.-cdh5.16.1.jar hbase-rest.jar
ln -s hbase-rsgroup-1.2.-cdh5.16.1.jar hbase-rsgroup-1.2..jar
ln -s hbase-server-1.2.-cdh5.16.1.jar hbase-server.jar
ln -s hbase-shell-1.2.-cdh5.16.1.jar hbase-shell.jar
ln -s hbase-spark-1.2.-cdh5.16.1.jar hbase-spark.jar
ln -s hbase-thrift-1.2.-cdh5.16.1.jar hbase-thrift.jar

10.错误时,查看各节点日志/var/log/impala/

我的jdk版本是1.8,并需要在各节点上修改配置文件/etc/default/bigtop-utils,修改

export JAVA_HOME=/opt/module/jdk1..0_112

然后执行source /etc/default/bigtop-utils

11.ambari管理页面启动impala

查看server上state_store

查看catalog

打开impalad各节点的ui

在impalad节点上打开shell客户端

参考:

https://www.cnblogs.com/zwgblog/p/6846030.html

https://github.com/cas-bigdatalab/ambari-impala-service

【附录】

git的安装升级配置

如果出现fatal: HTTP request failed此类问题,一般是由于git版本过低引起的,可参考下方升级

1.查看git版本

git --version

2.删除旧版本

yum remove git

3.安装git依赖包

yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidoc
yum install gcc perl-ExtUtils-MakeMaker

4.下载新版本

cd /usr/local/src/
wget https://www.kernel.org/pub/software/scm/git/git-2.15.1.tar.xz

5.解压编译

tar -vxf git-2.15..tar.xz
cd git-2.15.
make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/usr/local/git/bin" >> /etc/profile
source /etc/profile

6.查看版本变为2.15.1

git --version

ambari集成impala的更多相关文章

  1. 【原创】大数据基础之Ambari(4)通过Ambari部署Impala

    ambari2.7.3(hdp3.1) 安装 impala2.12(自动安装最新) ambari的hdp中原生不支持impala安装,下面介绍如何通过mpack方式使ambari支持impala安装: ...

  2. Ambari集成Kerberos报错汇总

    Ambari集成Kerberos报错汇总 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查看报错的配置信息步骤 1>.点击Test Kerberos Client,查看相 ...

  3. 实战kudu集成impala

    推荐阅读: 论主数据的重要性(正确理解元数据.数据元) CDC+ETL实现数据集成方案 Java实现impala操作kudu 实战kudu集成impala impala基本介绍 ​        im ...

  4. ambari hdp 集成 impala

    1.下载ambari-impala-service VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\ ...

  5. kudu集成impala

    Kudu 与 Apache Impala (孵化)紧密集成,允许开发人员使用 Impala 使用 Impala 的 SQL 语法从 Kudu tablets 插入,查询,更新和删除数据: 安装impa ...

  6. hdp (ambari) 集成hue

    ambari-server resetambari-admin-password-reset https://github.com/EsharEditor/ambari-hue-service可以基于 ...

  7. 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)

    不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 horton ...

  8. 基于Ambari构建自己的大数据平台产品

    目前市场上常见的企业级大数据平台型的产品主流的有两个,一个是Cloudera公司推出的CDH,一个是Hortonworks公司推出的一套HDP,其中HDP是以开源的Ambari作为一个管理监控工具,C ...

  9. Hadoop生态圈-开启Ambari的Kerberos安全选项

    Hadoop生态圈-开启Ambari的Kerberos安全选项 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在完成IPA-Server服务的安装之后,我们已经了解了他提供的基础功 ...

随机推荐

  1. Adobe Acrobat Reader DC For Android 下载

    http://get.adobe.com/cn/reader/otherversions/ 点击“立即下载”按钮,即可开始下载到PC端

  2. win7 默认程序设置

    1. . 2. 3. 4. 双击某个程序-->选择浏览 目标程序 .即可完成

  3. 关于nagios系统下使用shell脚本自定义监控插件的编写

    在自已编写监控插件之前我们首先需要对nagios监控原理有一定的了解 Nagios的功能是监控服务和主机,但是他自身并不包括这部分功能,所有的监控.检测功能都是通过各种插件来完成的. 启动Nagios ...

  4. 【BZOJ2331】[SCOI2011]地板 插头DP

    [BZOJ2331][SCOI2011]地板 Description lxhgww的小名叫“小L”,这是因为他总是很喜欢L型的东西.小L家的客厅是一个的矩形,现在他想用L型的地板来铺满整个客厅,客厅里 ...

  5. Unity3D笔记 英保通八 关节、 布料、粒子系统

    一.关节1.1..链条关节 Hinge joint :他可以模拟两个物体间用一根链条连接在一起的情况,能保持两个物体在一个固定距离内部相互移动而不产生作用力,但是达到固定距离后就会产生拉力 1.2.. ...

  6. Angular打开页面隐藏显示表达式

    1.使用 ng-cloak, 同时要在css加入一行 [ng-cloak] {display: none;} 样式 [ng:cloak], [ng-cloak], [data-ng-cloak], [ ...

  7. 有哪些sql优化工具

    https://www.oschina.net/p/soar-xiaomi https://www.oschina.net/news/101034/xiaomi-opensource-soar SOA ...

  8. Spark2 Dataset聚合操作

    data.groupBy("gender").agg(count($"age"),max($"age").as("maxAge&q ...

  9. 8.30前端jQuery和数据结构知识

    2018-8-30 16:37:17 单链表的demo 从俺弟家回来了! 发现,还是要努力学习是很重要的!!努力学习新的感兴趣的东西!! 多读书还是很重要的!!! 越努力,越幸运! # coding: ...

  10. 基于Token的多平台身份认证价格设计

    1   概述 在存在账号体系的信息系统中,对身份的鉴定是非常重要的事情. 随着移动互联网时代到来,客户端的类型越来越多, 逐渐出现了 一个服务器,N个客户端的格局 . 不同的客户端产生了不同的用户使用 ...