CDH6.3.0下Apache Atlas2.1.0安装与配置

CDH6.3.0下Apache Atlas2.1.0安装与配置

0. 说明

文中的${ATLAS_HOME}, ${HIVE_HOME} 环境变更需要根据实际环境进行替换。

1. 依赖

A. 软件依赖

CDH6.3.0 环境已安装：

1. Apache Hadoop
2. Apache Zookeeper
3. Apache Kafka
4. Apache HBase
5. Apache Solr
6. Apache Hive

2. Apache Atlas包编译

下载源文件包：https://atlas.apache.org/#/Downloads

在IDEA里编译

mvn clean install -Dmaven.test.skip=true
mvn clean package -Pdist -Dmaven.test.skip=true

编译过程中会因为网络、插件等各种问题阻断。多试几次就可以了。

distro/pom.xml 里有个exec-maven-plugin一直编译不过，把他注释掉继续编译就可以了。

编译完成后在distro/target目录下会有如下产物：

distro/target/apache-atlas-{project.version}-bin.tar.gz
distro/target/apache-atlas-{project.version}-hbase-hook.tar.gz
distro/target/apache-atlas-{project.version}-hive-hook.gz
distro/target/apache-atlas-{project.version}-kafka-hook.gz
distro/target/apache-atlas-{project.version}-sources.tar.gz
distro/target/apache-atlas-{project.version}-sqoop-hook.tar.gz
distro/target/apache-atlas-{project.version}-storm-hook.tar.gz

3. 安装配置

A. 传送jar包到服务器并解压

tar -zxf apache-atlas-2.0.0-bin.tar.gz

B. 集成Hbase

a. 在atlas-application.properties文件中修改配置

vim atlas-application.properties
#修改atlas存储数据主机
atlas.graph.storage.hostname=${zk_hostname1}:2181,${zk_hostname2}:2181,${zk_hostname3}:2181

b. 将hbase的配置文件链接到${ATLAS_HOME}

ln -s ${HBASE_HOME}/conf/ ${ATLAS_HOME}/conf/hbase/

c. 在atlas_env.sh文件中添加HBASE_CONF_DIR

vim atlas-env.sh
export HBASE_CONF_DIR=${ATLAS_HOME}/conf/hbase/conf

C. 集成Solr

有个问题，我在非zookeeper结点上执行solrctl命令失败，要在zookeeper结点上执行才成功。

a. 在atlas-application.properties文件中修改配置

vim atlas-application.properties
#修改如下配置
atlas.graph.index.search.solr.zookeeper-url=${zk_hostname1}:2181/solr

b. 实例化atlas配置文件

solrctl instancedir --create atlas ${ATLAS_HOME}/conf/solr

c. 创建collection

solrctl collection --create vertex_index -s 1 -c atlas -r 1
solrctl collection --create edge_index -s 1 -c atlas -r 1
solrctl collection --create fulltext_index -s 1 -c atlas -r 1

D. 集成Kafka

a. 在atlas-application.properties文件中修改配置

vim atlas-application.properties
#########  Notification Configs  #########
atlas.notification.embedded=false
atlas.kafka.zookeeper.connect=${zk_hostname1}:2181,${zk_hostname2}:2181,${zk_hostname3}:2181
atlas.kafka.bootstrap.servers=${kafka_hostname1}:9092,${kafka_hostname2}:9092,${kafka_hostname2}:9092
atlas.kafka.zookeeper.session.timeout.ms=4000
atlas.kafka.zookeeper.connection.timeout.ms=2000
atlas.kafka.enable.auto.commit=true

b. 在启动好的kafka集群中创建Topic

kafka-topics --zookeeper ${zk_hostname1}:2181 --create --replication-factor 3 --partitions 3 --topic _HOATLASOK
kafka-topics --zookeeper ${zk_hostname1}:2181 --create --replication-factor 3 --partitions 3 --topic ATLAS_ENTITIES

E. Atlas配置

a.在atlas-application.properties文件中修改配置

因为CDH里21000端口被Impala占用了，这里把端口改为21001

vim atlas-application.properties
#Server port configuration
atlas.server.http.port=21001
#########  Server Properties  #########
atlas.rest.address=http://hadoop102:21001
#If enabled and set to true, this will run setup steps when the server starts
atlas.server.run.setup.on.start=false
#########  Entity Audit Configs  #########
atlas.audit.hbase.zookeeper.quorum=${zk_hostname1}:2181,${zk_hostname2}:2181,${zk_hostname3}:2181

F. 集成Hive

a. 在atlas-application.properties文件中修改配置

vim atlas-application.properties
######### Hive Hook Configs #######
atlas.hook.hive.synchronous=false
atlas.hook.hive.numRetries=3
atlas.hook.hive.queueSize=10000
atlas.cluster.name=primary

b. 将atlas-application.properties文件夹复制到hive/conf目录下

cp ${ATLAS_HOME}/conf/atlas-application.properties ${HIVE_HOME}/conf

c. 将atlas-application.properties配置文件加入到atlas-plugin-classloader-2.0.0.jar中

zip -u ${ATLAS_HOME}/hook/hive/atlas-plugin-classloader-2.0.0.jar ${ATLAS_HOME}/conf/atlas-application.properties

d. 在CDH中配置hive-site

• 修改 hive-site.xml

<property>
    <name>hive.exec.post.hooks</name>
    <value>org.apache.atlas.hive.hook.HiveHook</value>
</property>

• 修改 hive-env.sh 的 Gateway 客户端环境高级配置代码段（安全阀）
  

HIVE_AUX_JARS_PATH=/usr/local/src/atlas/apache-atlas-2.0.0/hook/hive

• 修改 HIVE_AUX_JARS_PATH

• 修改 hive-site.xml 的 HiveServer2 高级配置代码段（安全阀）
  

<property>
    <name>hive.exec.post.hooks</name>
    <value>org.apache.atlas.hive.hook.HiveHook</value>
</property>
<property>
    <name>hive.reloadable.aux.jars.path</name>
    <value>/usr/local/src/atlas/apache-atlas-2.0.0/hook/hive</value>
</property>

• 修改 HiveServer2 环境高级配置代码段
  

HIVE_AUX_JARS_PATH=/usr/local/src/atlas/apache-atlas-2.0.0/hook/hive

e.在CM页面重新启动Hive相关服务

重启后检查下第c步copy的配置文件还在不，不在的话，再copy一次

G.分发atlas软件包到各个节点

scp -r /usr/local/src/atlas/apache-atlas-2.0.0 root@cdh02.cm:/usr/local/src/atlas/
scp -r /usr/local/src/atlas/apache-atlas-2.0.0 root@cdh02.cm:/usr/local/src/atlas/

4. 启动与关闭

A. 启动

cd ${ATLAS_HOME}
bin/atlas_start.py
输入账户密码 user:admin password:admin
访问地址 http://${HOST_NAME}:21001

B. 关闭

cd ${ATLAS_HOME}
bin/atlas_stop.py

5.导入Hive元数据

• 所有节点添加hive环境变量

vim /etc/profile
#>>>
#hive
export HIVE_HOME=/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/hive
export HIVE_CONF_DIR=/etc/hive/conf
export PATH=$HIVE_HOME/bin:$PATH
#<<< 

source /etc/profile

• 执行atlas脚本

cd ${ATLAS_HOME}
bin/imort_hive.sh
输入账户密码 user:admin password:admin

注意：CDH6.3.0安装的HIVE版本为2.1.0， 但Atlas 2.1.0版本中编译用的HIVE版本为3.x的。

在执行import_hive.sh时会报找不到方法的错。需要修改下源代码里的方法，重新编译包hive-bridge-2.1.0.jar

所需修改的项目位置：apache-atlas-sources-2.1.0\addons\hive-bridge

org/apache/atlas/hive/bridge/HiveMetaStoreBridge.java 577行

修改后重新编译,将apache-atlas-sources-2.1.0/addons/hive-bridge/target/hive-bridge-2.1.0.jar

替换${ATLAS_HOME}/hook/hive/atlas-hive-plugin-impl/hive-bridge-2.1.0.jar