1.生成票据 1.1.创建认证用户 登陆到kdc服务器,使用root或者可以使用root权限的普通用户操作: # kadmin.local -q “addprinc -randkey spark/yjt” 1.2.生成密钥文件 生成spark密钥文件 # kadmin.local -q “xst  -norankey  -k  /etc/spark.keytab spark/yjt” 拷贝sparkkeytab到所有的spark集群节点的conf目录下 1.3.修改权限 # chmod 404…

前一篇文章“Apache Spark学习:将Spark部署到Hadoop 2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包,而本文则在此基础上,介绍如何利用Eclipse构建Spark集成开发环境. (1) 准备工作 在正式介绍之前,先要以下软硬件准备: 软件准备: Eclipse Juno版本(4.2版本),可以直接点击这里下载:Eclipse 4.2 Scala 2.9.3版本,Window安装程序可以直接点击这里下载:Scala 2…

问题: spark集成hive,启动spark-shell或者spark-sql的时候,报错: INFO MetaStoreDirectSql: MySQL check failed, assuming we are not on mysql: Lexical error at line 1, column 5. Encountered: "@" (64), after : "". 环境: spark-1.4 hive-1.2.1 mysql-5.1 jdbc驱动…

Ambari集成Kerberos报错汇总 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.查看报错的配置信息步骤 1>.点击Test Kerberos Client,查看相应日志信息 2>.查看具体是哪台机器出现问题 3>.查看node101.yinzhengjie.org.cn的报错日志 4>.查看对应的报错信息 二.Error occured during stack advisor command invocation: Cannot create /v…

----------------------目录导航见左上角------------------------------- 环境 HDP 3.0.1.0 (已有) JDK   1.8.0_91 (已有) Mysql  5.7.25 (已有) Kerberos       1.10.3-30 (后续文档中有介绍如何安装) LDAP       knox自带的通用LDAP (已有) Ranger    1.1.0 (已有) 目的 集成HDP kerberos /LDAP/ranger之前必须先了解为…

一.Spark 架构与优化器 1.Spark架构 (重点) 2.Spark优化器 二.Spark+SQL的API (重点) 1.DataSet简介 2.DataFrame简介 3.RDD与DF/DS的创建 4.常用操作 5.类型转换 三.Spark外部数据源操作 (重点) 1.Parquet文件(默认文件) 2.Hive表 3.MySQL表(MySQL) 四.Spark+SQL的函数 1.内置函数(org.apache.spark.sql.funtions.scala) 2.自定义函数 五.Sp…

AS WE ALL KNOW,学机器学习的一般都是从python+sklearn开始学,适用于数据量不大的场景(这里就别计较“不大”具体指标是啥了,哈哈) 数据量大了,就需要用到其他技术了,如:spark, tensorflow,当然也有其他技术,此处略过一坨字... 先来看看如何让这3个集成起来吧(WINDOWS环境):pycharm(python开发环境), pyspark.cmd(REPL命令行接口), spark(spark驱动.MASTER等) download Anaconda, l…

集成hive+kerberos前,hadoop已经支持kerberos,所以基础安装略去: https://www.cnblogs.com/garfieldcgf/p/10077331.html 直接用之前hadoop集成生成的keytab文件开始配置: hive的 conf/hive-site.xml,添加如下: <property> <name>hive.server2.authentication</name> <value>KERBEROS</…

AS WE ALL KNOW,学机器学习的一般都是从python+sklearn开始学,适用于数据量不大的场景(这里就别计较“不大”具体指标是啥了,哈哈) 数据量大了,就需要用到其他技术了,如:spark, tensorflow,当然也有其他技术,此处略过一坨字... 先来看看如何让这3个集成起来吧(WINDOWS环境):pycharm(python开发环境), pyspark.cmd(REPL命令行接口), spark(spark驱动.MASTER等) download Anaconda, l…

1.票据的生成 kdc服务器操作,生成用于hive身份验证的principal 1.1.创建principal # kadmin.local -q “addprinc -randkey hive/yjt” 1.2.创建秘钥文件 # kadmin.local -q “xst  -norankey  -k  /etc/hive.keytab hive/yjt” 拷贝秘钥文件到集群,root操作或者有root权限的普通用户操作 # scp /etc/hive.keytab 192.168.0.230:…