1.查看hdp版本,可在ambari-agent节点上查看

VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`

2.server节点上git克隆代码,其中下方$VERSION指的是上方的版本号

sudo git clone https://github.com/cas-bigdatalab/ambari-impala-service.git /var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/IMPALA

如果出现SSL问题,可关闭SSL验证再执行

git config --global http.sslVerify false
git config --global http.sslversion tlsv1

如果你没有安装git,可到https://github.com/cas-bigdatalab/ambari-impala-service地址上下载代码,放到目录/var/lib/ambari-server/resources/stacks/HDP/$VERSION/services/IMPALA下

如果你的git安装有任何问题,参考文章后方附录git的安装升级配置

3.server上目录/etc/yum.repos下新建文件impala.repo

[cloudera-cdh5]
# Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera's Distribution for Hadoop, Version 5
baseurl=https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5/
gpgkey =https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera
gpgcheck =

然后将此文件发送到各个需要安装的agent节点上

4.重启ambari-server

service ambari-server restart

5.重启成功后, 在页面里选择impala服务进行安装

这里选择server节点安装catalog , state_store

agent节点安装impala-daemon

由于要去cloudera官网下载rpm包,网速比较慢,若失败可多试几次。

6.安装成功后,在ambari服务配置里修改或添加HDFS配置

6.1 修改core-site.xml

<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property> <property>
<name>dfs.client.read.shortcircuit.skip.checksum</name>
<value>false</value>
</property> <property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>

6.2 修改hdfs-site.xml

<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.block.local-path-access.user</name>
<value>impala</value>
</property>
<property>
<name>dfs.client.file-block-storage-locations.timeout.millis</name>
<value>60000</value>
</property>

7.重启hdfs及相关服务

8.启动impala服务

impala服务启动后一会就会停掉,不用着急,继续向下看

9.将各个节点上的hbase的jar包复制到impala目录下

需要将版本号去掉改为软连接,

因为我的节点上/usr/lib/impala/lib目录下已有hbase的三个jar包(hbase-annotations.jar,hbase-client.jar,hbase-common.jar),这几个就不需要再次建立软连接了

cp /usr/lib/hbase/lib/hbase-*.jar /usr/lib/impala/lib/
ln -s hbase-examples-1.2.-cdh5.16.1.jar hbase-examples.jar
ln -s hbase-external-blockcache-1.2.-cdh5.16.1.jar hbase-external-blockcache.jar
ln -s hbase-hadoop2-compat-1.2.-cdh5.16.1.jar hbase-hadoop2-compat.jar
ln -s hbase-hadoop-compat-1.2.-cdh5.16.1.jar hbase-hadoop-compat.jar
ln -s hbase-it-1.2.-cdh5.16.1.jar hbase-it.jar
ln -s hbase-prefix-tree-1.2.-cdh5.16.1.jar hbase-prefix-tree.jar
ln -s hbase-procedure-1.2.-cdh5.16.1.jar hbase-procedure.jar
ln -s hbase-resource-bundle-1.2.-cdh5.16.1.jar hbase-resource-bundle.jar
ln -s hbase-rest-1.2.-cdh5.16.1.jar hbase-rest.jar
ln -s hbase-rsgroup-1.2.-cdh5.16.1.jar hbase-rsgroup-1.2..jar
ln -s hbase-server-1.2.-cdh5.16.1.jar hbase-server.jar
ln -s hbase-shell-1.2.-cdh5.16.1.jar hbase-shell.jar
ln -s hbase-spark-1.2.-cdh5.16.1.jar hbase-spark.jar
ln -s hbase-thrift-1.2.-cdh5.16.1.jar hbase-thrift.jar

10.错误时,查看各节点日志/var/log/impala/

我的jdk版本是1.8,并需要在各节点上修改配置文件/etc/default/bigtop-utils,修改

export JAVA_HOME=/opt/module/jdk1..0_112

然后执行source /etc/default/bigtop-utils

11.ambari管理页面启动impala

查看server上state_store

查看catalog

打开impalad各节点的ui

在impalad节点上打开shell客户端

参考:

https://www.cnblogs.com/zwgblog/p/6846030.html

https://github.com/cas-bigdatalab/ambari-impala-service

【附录】

git的安装升级配置

如果出现fatal: HTTP request failed此类问题,一般是由于git版本过低引起的,可参考下方升级

1.查看git版本

git --version

2.删除旧版本

yum remove git

3.安装git依赖包

yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel asciidoc
yum install gcc perl-ExtUtils-MakeMaker

4.下载新版本

cd /usr/local/src/
wget https://www.kernel.org/pub/software/scm/git/git-2.15.1.tar.xz

5.解压编译

tar -vxf git-2.15..tar.xz
cd git-2.15.
make prefix=/usr/local/git all
make prefix=/usr/local/git install
echo "export PATH=$PATH:/usr/local/git/bin" >> /etc/profile
source /etc/profile

6.查看版本变为2.15.1

git --version

ambari集成impala的更多相关文章

  1. 【原创】大数据基础之Ambari(4)通过Ambari部署Impala

    ambari2.7.3(hdp3.1) 安装 impala2.12(自动安装最新) ambari的hdp中原生不支持impala安装,下面介绍如何通过mpack方式使ambari支持impala安装: ...

  2. Ambari集成Kerberos报错汇总

    Ambari集成Kerberos报错汇总 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查看报错的配置信息步骤 1>.点击Test Kerberos Client,查看相 ...

  3. 实战kudu集成impala

    推荐阅读: 论主数据的重要性(正确理解元数据.数据元) CDC+ETL实现数据集成方案 Java实现impala操作kudu 实战kudu集成impala impala基本介绍 ​        im ...

  4. ambari hdp 集成 impala

    1.下载ambari-impala-service VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\ ...

  5. kudu集成impala

    Kudu 与 Apache Impala (孵化)紧密集成,允许开发人员使用 Impala 使用 Impala 的 SQL 语法从 Kudu tablets 插入,查询,更新和删除数据: 安装impa ...

  6. hdp (ambari) 集成hue

    ambari-server resetambari-admin-password-reset https://github.com/EsharEditor/ambari-hue-service可以基于 ...

  7. 给Ambari集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解)

    不多说,直接上干货! Impala和Hive的关系(详解) 扩展博客 给Clouderamanager集群里安装基于Hive的大数据实时分析查询引擎工具Impala步骤(图文详解) 参考 horton ...

  8. 基于Ambari构建自己的大数据平台产品

    目前市场上常见的企业级大数据平台型的产品主流的有两个,一个是Cloudera公司推出的CDH,一个是Hortonworks公司推出的一套HDP,其中HDP是以开源的Ambari作为一个管理监控工具,C ...

  9. Hadoop生态圈-开启Ambari的Kerberos安全选项

    Hadoop生态圈-开启Ambari的Kerberos安全选项 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在完成IPA-Server服务的安装之后,我们已经了解了他提供的基础功 ...

随机推荐

  1. 应该了解的Openstack命令

    整理一下Openstack的命令.下面的命令,我都是全部在机器验证过,主要是参考 redhat文档 查看rabbitmq 队列 rabbitmqctl list_queues 查看keystone的用 ...

  2. dyld: DYLD_ environment variables being ignored because main executable (/usr/bin/sudo) is setuid or setgid

    这两个变量被设置了 DYLD_LIBRARY_PATH *或* LD_LIBRARY_PATH, 用下面的明令查找一下,一般在.bash_profile, .bashrc 等文件中.执行brew do ...

  3. express-session相关用法

    通常我们在node的登录注册小案例时,我们经常要用到express-session做会话处理. express-sessionApi使用方法:https://github.com/expressjs/ ...

  4. iOS - Block产生Memory Leaks循环引用导致的内存泄漏以及解决方案

    在ARC(自动引用技术)前,Objective-c都是手动来分配释放 释放 计数内存,其过程非常复杂. ARC技术推出后,貌似世界和平了很多,但是其实ARC并不等同于Java或者C#中的垃圾回收,AR ...

  5. vim上下左右键输出A B

    (转)vim上下左右键不能用 把下面这段话存到~/.vimrc就可以了. " An example for a vimrc file. " " Maintainer: B ...

  6. POJ--1050--To the Max(线性动规,最大子矩阵和)

    To the Max Time Limit: 1000MS Memory Limit: 10000K Total Submissions: 44723 Accepted: 23679 Descript ...

  7. POJ1797 Heavy Transpotation

    Background  Hugo Heavy is happy. After the breakdown of the Cargolifter project he can now expand bu ...

  8. IntelliJ IDEA学习记录

    一.下载 地址:官网下载地址 二.安装 运行安装程序,一路下一步.注意选择安装路径. 三.基本概念 project:相当于donet中的解决方案(solution),eclipse中的工作空间(wor ...

  9. Freemarker 基本数据类型

    一 数据类型简介 freemarker 模板中的数据类型由如下几种: 1. 布尔型:等价于java中的boolean类型, 不同的是不能直接输出,可以转换成字符串再输出 2. 日期型:等价于java中 ...

  10. c# 实现ListView的排序

    [问题描述]: 当点击列标题的时候,能够完成对该列排序,同时显示排序的箭头,再次点击,按照反序排序. [解决方法]: 1.创建一个类:ListViewColumnSorter继承IComparer接口 ...