Kerberos 介绍 Kerberos 是一个网络认证的框架协议,其设计的初衷便是通过密钥系统为 Client 和 Server 应用程序之间提供强大的认证服务.在使用 Kerberos 认证的集群中,Client 不会直接和 Server 进行认证,而是通过 KDC(Key Distribution Center)来完成互相的认证.首先,我们需要简单的介绍下跟 Kerberos 相关的术语,如表 1 所示. 表 1.Kerberos 相关的术语 术语 简述 KDC(Key Distribut…

Hadoop生态圈-开启Ambari的Kerberos安全选项 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在完成IPA-Server服务的安装之后,我们已经了解了他提供的基础功能和服务,领略了其Web控制台和CLI接口的便利性,但是这写特性好像并没有提示平台的安全性啊.别着急,因为IPA-Server只是提供了诸如LDAP和Kerberos等重要的基础设施,只有将IPA于Ambari进行集成才能完全显示处它的神威.关于部署IPA-Server的部署可参考我之前的笔记:“使…

本文目的:记录Kerberos环境下,通过Kettle将MySQL数据清洗到HDFS过程解决的2个问题,希望对大家有所帮助. Kettle版本:pdi-ce-7.1.0.0-12 1.在Kerberos与Kettle集成过程中,我们有如下场景:将数据从MySQL定时抽出,然后写到HDFS. 在从MySQL取数并写入HDFS过程中,需要Kettle取得KDC认证,但无论怎么配置,还是无法解决写入HDFS的时候安全认证问题.我们最终定位是Kettle与Kerberos集成的问题.(在Kettle中通…

出现警告的过程是: 1.搭建ambari集群成功后,添加了hdfs和zk组件,然后启用了kerberos: 2.kerberos启用完毕后添加hbase和yarn.MapReduce.hive都没有出现警告 3.添加kafka之后,在ambari的kerberos处更新了票据,这时候发现hive和yarn出现了警告,前台是403错误,通过查看后台日志发现,报了这样一个警告: Failure unspecified at GSS-API level (Mechanism level: Checks…

之前,在 github 上开源了 ambari-Kylin 项目,可离线部署,支持 hdp 2.6+ 及 hdp 3.0+ .github 地址为:https://github.com/841809077/ambari-Kylin ,欢迎 star . 这段时间,陆续有不少朋友通过公众号联系到我,问我相关的集成步骤.今天正好休息,索性将 ambari 自定义服务集成的原理给大家整理出来. 它其实不难,但是网络上并没有多少这方面的资料分享,官方也很少,所以学习门槛就稍微高了一些.但你如果能持续关注…

集群环境 ambari 2.7.3 hdp/hortonwork 2.6.0.3 maven <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-jdbc</artifactId> <version>-</version> <classifier>standalone</classifier> </dependenc…

系统环境 操作系统:CentOS 6 或 CentOS 7 JDK 版本:1.8.0_151 Ambari 版本:2.6.1 HDP 版本:2.6.4.0 扩展链接 Kerberos原理--经典对话 基于ambari的Kerberos安装配置 Windows本地安装配置Kerberos客户端 Kerberos应用 基于Ambari禁用Kerberos 基于Kerberos环境下,使用Java连接操作Hive 看完您如果还不明白 Kerberos 原理,算我输! 一.Kerberos概述 强大的身…

Hadoop生态圈-构建企业级平台安全方案 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 能看到这篇文章的小伙伴,估计你对大数据集群的部署对于你来说应该是手到擒来了吧.我之前分享过关于“离线方式部署Cloudera Manager5.15.1”和“离线方式部署Ambari2.6.0.0”的笔记.不管你的集群是使用CDH还是HDP亦或是使用的Apache Hadoop部署的,但是这样一套出事状态的服务只能被成为学习或者实验环境,他们还不足以担当起企业级大数据平台的重任.为什么这…

欢迎访问网易云社区,了解更多网易技术产品运营经验. 前言 最近几个月花了比较多精力在项目的测试环境Docker迁移上,从最初的docker"门外汉"到现在组里的同学(大部分测试及少数的开发)都可以熟练地使用docker环境开展测试工作,中间也积累了一些经验和踩过不少坑,借此2017复盘的机会,总结一下整个环境的搭建过程,希望可以给其他有志于向docker迁移的项目提供些许参考,同时也想跟其他docker的老司机们一起探讨改进方式. Docker迁移的必要性 这篇文章不对docker的基…

2015年7月06:release 2.7.1(稳定)请参阅 Hadoop 2.7.1发布说明 对131个bug修复和列表 从先前版本2.7.0补丁. 请看看 2.7.0章节列表的增强功能启用 第一个2.7.x稳定版本.2015年4月21日:release 2.7.0可用 Apache Hadoop 2.7.0包含许多意义重大增强.下面指出其中的几个.    重要的笔记        这个版本不再支持JDK6,请使用JDK7或更高.        这个版本还没有投入生产使用.重要更新还没有的通过…