1. 概述

  Apache Ranger是大数据领域的一个集中式安全管理框架,目的是通过制定策略(policies)实现对Hadoop组件的集中式安全管理。用户可以通过Ranger实现对集群中数据的安全访问。

2. Ranger内部组件

  Ranger由三个模块组成:Ranger内部组件、依赖组件、扩展性组件。

2.1 内部组件

  包含的内部组件如下:

  • Ranger Admin 用户管理策略,提供WebUI和RestFul接口
  • Ranger UserSync 用于将Unix系统或LDAP用户/组同步到RangerAdmin
  • Ranger TagSync 同步Atlas中的Tag信息,基于标签的权限管理,当一个用户的请求涉及到多个应用系统中的多个资源的权限时,可以通过只配置这些资源的tag方便快速的授权
  • Ranger KMS 对hadoop KMS的策略管理和密钥管理

  注:Apache atlas 是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目,它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。  

2.2 依赖组件

  • JDK8 用于运行RangerAdmin、RangerKMS
  • Python2.7 用于Ranger自动化安装
  • Git 用于Ranger编译
  • Maven3.6 用于Ranger编译
  • RDMS 用于存储授权策略,存储Ranger用户/组,存储审核日志
  • Solr(可选) 存储日志
  • Kerberos(可选) 确保所有请求都被认证

2.3 扩展性组件

  HDFSHBASEHIVEYARN、KNOX、STORM、SOLR、KAFKA、NIFI、KYLIN、NIFI-REGISTRY、SQOOP、ATLAS、ELASTICSEARCH、PRESTO、OZONE

2.4 总体架构

3. Ranger编译

  Ranger官网源码包版本是1.2.0,不提供二进制安装包,故需要maven编译。目前测试使用的版本为:

ranger版本 2.0.0
hadoop版本 2.7.3
hbase版本  
hive版本   2.1.0         
postgres版本       11
python版本 2.7

3.1 官网下载源码包

wget http://mirrors.tuna.tsinghua.edu.cn/apache/ranger/1.2.0/apache-ranger-1.2.0.tar.gz

  

3.2 下载maven

  编译安装需要使用到maven,下载如下:

wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.2/binaries/apache-maven-3.6.2-bin.tar.gz

  解压,并添加环境变量,同时修改maven的Java堆内存最大值,避免编译内存溢出

# tar -zxvf apache-maven-3.6.2-bin.tar.gz

# vim /etc/bashrc
export MAVEN_HOME=/opt/app/apache-maven-3.6.2
export PATH=$PATH:$MAVEN_HOME/bin MAVEN_OPTS=-Xmx2048m
export JAVA_HOME MAVEN_HOME MAVEN_OPTS JAVA_BIN PATH CLASSPATH

修改maven源为阿里源或其他源

# pwd
/opt/app/apache-maven-3.6.2/conf
# vim settings.xml
<mirrors>
<mirror>
<id>nexus-aliyun</id>
<mirrorOf>central</mirrorOf>
<name>Nexus aliyun</name>
<url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror> <mirror>
<id>CN</id>
<name>OSChina Central</name>
<url>http://maven.oschina.net/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror> <mirror>
<id>alimaven</id>
<mirrorOf>central</mirrorOf>
<name>aliyun maven</name>
<url>https://maven.aliyun.com/nexus/content/repositories/central/</url>
</mirror> <mirror>
<id>jboss-public-repository-group</id>
<mirrorOf>central</mirrorOf>
<name>JBoss Public Repository Group</name>
<url>https://repository.jboss.org/nexus/content/groups/public</url>
</mirror>
</mirrors>

3.3 安装git

  编译ranger依赖git,需要安装git

yum -y install git

3.4 安装python2

  编译机器上的python必须为python2,不能是python3,否则编译时会报错

yum -y install python2

3.5 编译Ranger

  首次编译ranger,需要时间比较长,时间主要用于maven下载相应的依赖包,时间快慢取决于机器网络带宽。

# pwd
/opt/app/apache-ranger-1.2.0
# mvn clean compile package assembly:assembly install -DskipTests -Drat.skip=true

编译完成如下:

编译完成后,在当前目录下的target会生成相应的tar包文件,如下:

3.6 编译Ranger遇到的问题

3.6.1 exec failonerror="true" executable="python

  问题描述:

[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (generate-version-annotation) on project ranger-util: An Ant BuildException has occured: exec returned: 1
[ERROR] around Ant part ...<exec failonerror="true" executable="python">... @ 4:48 in /data/apache-ranger-1.0.0/ranger-util/target/antrun/build-main.xml
[ERROR] -> [Help 1]
org.apache.maven.lifecycle.LifecycleExecutionException: Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (generate-version-annotation) on project ranger-util: An Ant BuildException has occured: exec returned: 1
around Ant part ...<exec failonerror="true" executable="python">... @ 4:48 in /data/apache-ranger-1.0.0/ranger-util/target/antrun/build-main.xml

如图:

解决方法:这里需要检查是否编译的机器是否安装了git,安装的是否是python2,不能安装python3。

安装git
$ yum -y install git 在shell界面直接运行python,看是python2或python3。python3则需要卸载
$ yum-y remove python3 没有python2则需要安装
$ yum -y install python2

4. Ranger-admin安装部署

  安装ranger-admin的机器可以不在Hadoop集群内部,可以是随便一台。

4.1 准备

4.1.1 检测是否安装python2

# python
Python 2.7.5 (default, Aug 4 2017, 00:39:18)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-16)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> 如果没有检测到python2,则执行下面的命令
# yum -y install python

4.1.2 rpm安装Mysql 5.7

 具体mysql rpm安装步骤可以百度

4.2 解压ranger-admin软件包

# pwd
/opt/app/apache-ranger-2.0.0/target
# tar -zxvf ranger-2.0.0-admin.tar.gz

4.3 修改install.properties文件

# pwd
/opt/app/apache-ranger-2.0.0/target/ranger-2.0.0-admin
# vim install.properties

修改install.properties文件,这里使用的数据库是postgres,不安装solr服务

1)数据库配置
DB_FLAVOR=MYSQL #指明使用数据库类型
SQL_CONNECTOR_JAR=/opt/software/mysql-connector-java-8.0.22/mysql-connector-java-8.0.22.jar #数据库连接驱动
db_root_user=root #数据库root用户名
db_root_password=123456 #数据库主机
db_host=192.168.56.102:3306 #数据库密码

db_ssl_enabled=false
  db_ssl_required=false
  db_ssl_verifyServerCertificate=false

  db_ssl_auth_type=2-way
  javax_net_ssl_keyStore=
  javax_net_ssl_keyStorePassword=
  javax_net_ssl_trustStore=
  javax_net_ssl_trustStorePassword=

# 以下三个属性是用于设置ranger数据库的
db_name=ranger #数据库名
db_user=root #管理该数据库用户 直接填root账号就行
db_password=123456 #密码 # 不需要保存,为空,否则生成的数据库密码为'_'
cred_keystore_filename= 2) 审计日志, 如果没有安装solr,对应的属性值为空即可
audit_store= audit_solr_urls=
audit_solr_user=
audit_solr_password=
audit_solr_zookeepers= 3)策略管理配置,配置ip和端口,默认即可
policymgr_external_url=http://192.168.56.102:6080 4) 配置hadoop集群的core-site.xml文件,把core-site.xml文件拷贝到该目录
hadoop_conf=/etc/hadoop/conf

5) 配置unix用户,用root就可以了,因为我用默认的ranger用户好像出错了
unix_user=root
unix_solr_pwd=123456
unix_group=root
6) rangerAdmin、rangerTagSync、rangerUsersync、keyadmin密码配置。默认为空,可以不配,对应的内部组件该属性也要为空
rangerAdmin_password=
rangerTagsync_password=
rangerUsersync_password=
keyadmin_password=

4.4 初始化ranger-admin

# pwd
/opt/frame-tools/apache-ranger-2.0.0/target/ranger-2.0.0-admin
# ./setup.sh

初始化结果如下则成功:

接着,运行set_globals.sh

# ./set_globals.sh
usermod: no changes
[2019/11/27 21:54:32]: [I] Soft linking /etc/ranger/admin/conf to ews/webapp/WEB-INF/classes/conf

4.5 启动ranger-admin

# ranger-admin start
或者
# ./ews/ranger-admin-services.sh start

Ranger的默认端口是6080,如图,则表明程序正常启动

查看Ranger Admin Server运行的日志情况,日志路径默认为 ews/log , 软链接到 /var/log/admin ,如下:

Ranger Admin Server的具体配置文件为 ranger-admin-site.xml ,如下:

浏览器连接测试:http://192.168.1.10:6080,登录界面用户名和密码为:admin/admin,登录进去界面如下:

5. Ranger-usersync安装部署

5.1 解压ranger-usersync软件包

# pwd
/opt/frame-tools/apache-ranger-2.0.0/target
# tar -zxvf ranger-2.0.0-usersync.tar.gz

5.2 修改install.property文件

# pwd
/opt/app/apache-ranger-2.0.0/target/ranger-2.0.0-usersync
# vim install.properties 配置ranger admin的地址
POLICY_MGR_URL = http://localhost:6080 同步源系统类型
SYNC_SOURCE = unix 同步间隔时间
SYNC_INTERVAL = 1 usersync程序运行的用户和用户组
unix_user=usersync
unix_group=usersync 修改rangerusersync用户的密码。注意,此密码应与Ranger admin中install.properties的rangerusersync_password相同。此处可以为空,同样Ranger admin的也要为空
rangerUsersync_password= 配置hadoop的core-site.xml路径
hadoop_conf=/etc/hadoop/conf 配置usersync的log路径
logdir=logs

5.3 初始化ranger-usersync

# pwd
/opt/app/apache-ranger-2.0.0/target/ranger-2.0.0-usersync
# ./setup.sh

执行结果:

5.4 启动ranger-usersync

# ranger-usersync start

# pwd
/opt/frame-tools/apache-ranger-2.0.0/target/ranger-2.0.0-usersync
# ./ranger-usersync-services.sh start

验证是否安装成功,如图则成功:

总结

【参考资料】

https://yaooqinn.github.io/spark-authorizer/docs/install_plugin.html

https://github.com/yaooqinn/spark-ranger

https://blog.csdn.net/sudaxhh/article/details/52135184

https://blog.csdn.net/w609392362/article/details/89959445

https://www.cnblogs.com/xiaolang8762400/p/7449489.html

https://help.aliyun.com/document_detail/66411.html

https://www.cnblogs.com/yjt1993/p/11837398.html

https://www.lagou.com/lgeduarticle/7838.html

https://www.jianshu.com/p/d0bf6e77bb8f

https://www.cnblogs.com/taojietaoge/p/10808534.html

https://www.cnblogs.com/jpfss/p/11021948.html Linux下LDAP统一认证解决方案

Apache Ranger 编译安装部署的更多相关文章

  1. RHEL6 最小化系统 编译安装部署zabbix (mysql)

    RHEL6 最小化系统 编译安装部署zabbix (mysql)官方说明详细见:https://www.zabbix.com/documentation/4.0/manual/installation ...

  2. Apache Mesos1.0.1 编译安装部署教程(ubuntu)

    参考资料 官方文档:http://mesos.apache.org/documentation 中文翻译:http://mesos.mydoc.io/ GitHub:https://github.co ...

  3. 大数据安全利器ranger 编译安装

    ranger大数据领域的一个集中式安全管理框架,它可以对诸如hdfs.hive.kafka.storm等组件进行细粒度的权限控制.本文将介绍部署过程 1.  部署准备 ranger:    进入apa ...

  4. Apache的编译安装error: APR not found. Please read the documentation

    提示configure: error: APR not found. Please read the documentation. 经网上查阅资料才知道这是Apache的关联软件 在apr.apach ...

  5. Centos7.4上Apache(http)编译安装

    前提:1.这个centos操作系统能上网 2.yum 安装apr,apr-util,zlib-devel,groupinstall  Development  Tools,gcc 1.在apache的 ...

  6. Apache 的编译安装

    直接看步骤: 1.安装必备环境:gcc.pcre .................................. 2.安装apr.apr-util 3.解压编译安装Apache: ./confi ...

  7. Centos7:yum安装apache,编译安装php5.6,不解析php的解决方法

    首先,说一下问题发生的场景: 因为懒,所以用 yum 安装 apache ,因为 centos 的源自带 php 5.4 不能符合环境要求,而不想用其他源,所以选择源码编译安装 php 5.6 安装完 ...

  8. 【Swoole应用教程】一、Swoole扩展的编译安装部署

    介绍swoole扩展,从源码的下载,环境依赖,编译参数配置,常见编译问题,安装,配置等内容.期间还会介绍: Linux发行版本的选择 不同版本内核的差异 gcc/g++/clang 3种编译器介绍 a ...

  9. Windows下swoole扩展的编译安装部署

    1. 到cygwin官网下载cygwin. 官网地址:https://www.cygwin.com/ 2. 打开下载好的cygwin安装包,开始安装cygwin. 选择cygwin的安装目录(这个同时 ...

随机推荐

  1. 无法自动装配。未找到 ‘xxxx’ 类型的 Bean。

    无法自动装配.未找到 'xxxx' 类型的 Bean. 1.解决办法 打开设置,找到编辑器->检查.把"自动装配Bean类",取消勾选,点击应用.确定.

  2. Vue 之 vue-cropper 组件实现头像裁剪功能

    组件与api地址: npm地址地址:https://www.npmjs.com/package/vue-cropper/v/0.4.7 GitHub地址:https://github.com/xyxi ...

  3. MySQL 行锁、表锁

    1. 多个事务操作同一行数据时,后来的事务处于阻塞等待状态.这样可以避免了脏读等数据一致性的问题.后来的事务可以操作其他行数据,解决了表锁高并发性能低的问题 2.InnoDB的行锁是针对索引加的锁,不 ...

  4. Elasticsearch (1) 文档操作

    本文介绍如何在Elasticsearch中对文档进行操作. 1.检查Elasticsearch及Kibana运行是否正常 在浏览器输入192.168.6.16:9200,有如下输出则说明Elastic ...

  5. HowToDoInJava Spring 教程·翻译完成

    原文:HowToDoInJava 协议:CC BY-NC-SA 4.0 欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远. ApacheCN 学习资源 目录 Spring 5 Spr ...

  6. 如何为Windows服务增加Log4net和EventLog的日志功能。

    一.简介 最近在做一个项目的时候,需要该项目自动启动.自动运行,不需要认为干预.不用说,大家都知道用什么技术,那就是 Windows服务.在以前的Net Framework 平台下,Windows 服 ...

  7. Redis集群安装详细步骤

    环境: Centos7    redis3.0 三台虚拟机主机名分别为 master   node1  node2 如果单机的时候设置过密码最好把密码去掉,避免位置的错误. 拍个快照方便恢复. 1.创 ...

  8. C# 获取网页验证码

    转载请注明来源:https://www.cnblogs.com/hookjc/ 以下方法必需在WebBrowser控件加载网页完成后才可以调用,否则会提示无法将对象引用到实例,切记!!! public ...

  9. PHP版的猴子选大王算法

    猴子选大王 这个算法可能是目前我看到的最简洁都算法吧,而且很好理解.它不同于其他算法,其他算法都是判断这个猴子能不能被选中,而他只是找出不能被选中的猴子,然后将其塞到数组模拟的环状队列中,参与下次选. ...

  10. python篇第5天【变量】

    第4天加班 多个变量赋值 Python允许你同时为多个变量赋值.例如: a = b = c = 1 以上实例,创建一个整型对象,值为1,三个变量被分配到相同的内存空间上. 您也可以为多个对象指定多个变 ...