spark集成hive遭遇mysql check失败的问题
问题: 
spark集成hive,启动spark-shell或者spark-sql的时候,报错:
INFO MetaStoreDirectSql: MySQL check failed, assuming we are not on mysql:
Lexical error at line 1, column 5.  Encountered: "@" (64), after : "".环境: 
spark-1.4 
hive-1.2.1 
mysql-5.1 
jdbc驱动
原因: 
查看hive的源码MetaStoreDirectSql的构造方法:
  public MetaStoreDirectSql(PersistenceManager pm) {
    this.pm = pm;
    Transaction tx = pm.currentTransaction();
    tx.begin();
    boolean isMySql = false;
    try {
      trySetAnsiQuotesForMysql();
      isMySql = true;
    } catch (SQLException sqlEx) {
      LOG.info("MySQL check failed, assuming we are not on mysql: " + sqlEx.getMessage());
      tx.rollback();
      tx = pm.currentTransaction();
      tx.begin();
    }
其中调用MetaStoreDirectSql.trySetAnsiQuotesForMysql(),该代码会设置sql_mode:
SET @@session.sql_mode=ANSI_QUOTESmysql的JDBC驱动执行execute(sql)的时候,会先检查该语句,然后报Encountered: “@” (64)错。
解决: 
(目前还没找到好的解决方法)
spark集成hive遭遇mysql check失败的问题的更多相关文章
- spark-sql(spark sql cli)客户端集成hive
		1.安装hadoop集群 参考:http://www.cnblogs.com/wcwen1990/p/6739151.html 2.安装hive 参考:http://www.cnblogs.com/w ... 
- spark集成hbase与hive数据转换与代码练习
		帮一个朋友写个样例,顺便练手啦~一直在做平台的各种事,但是代码后续还要精进啊... import java.util.Date import org.apache.hadoop.hbase.HBase ... 
- 使用spark访问hive错误记录
		在spark集群中执行./spark-shell时报以下错误: 18/07/23 10:02:39 WARN DataNucleus.Connection: BoneCP specified but ... 
- spark 操作Hive时遇到的问题
		To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).17/10/14 ... 
- Spark集成
		一.Spark 架构与优化器 1.Spark架构 (重点) 2.Spark优化器 二.Spark+SQL的API (重点) 1.DataSet简介 2.DataFrame简介 3.RDD与DF/DS的 ... 
- Spark 1.4连接mysql诡异的问题及解决
		在spark-default.conf文件中明明配置了mysql的数据源连接 随后启动spark-shell 执行如下测试代码: import org.apache.spark.{SparkConte ... 
- Spark:将DataFrame写入Mysql
		Spark将DataFrame进行一些列处理后,需要将之写入mysql,下面是实现过程 1.mysql的信息 mysql的信息我保存在了外部的配置文件,这样方便后续的配置添加. //配置文件示例: [ ... 
- 044 hive与mysql两种数据源之间的join
		这篇文章是基于上一篇文章的续集 一:需求 1.图形表示 二:程序 1.程序. package com.scala.it import java.util.Properties import org.a ... 
- centos7 hive + 远程mysql 搭建笔记
		1.require:java环境,本地可用的hadoop,远程可访问的mysql 2.拷贝hive文件(hive-2.2.1) 3.设置环境变量 export HIVE_HOME=/data/spar ... 
随机推荐
- CSS3之背景剪裁Background-clip
			CSS3之背景剪裁Background-clip是CSS3中新添加的内容.这个属性还是比较简单的,主要分五个属性值:border.padding.content.no-clip和text.下面将针对这 ... 
- 校园网通过路由器开WiFi
			闲话少说,为了在一个宿舍内达到一个网口N人上网目的,特地写一篇关于校园网通过路由器开wifi的文章,希望能帮助同学把wifi开起来,请看正文(操作以下步骤前建议先重置路由,也就是初始化复位): 一.一 ... 
- 一个 C# 获取高精度时间类(调用API QueryP*)
			如果你觉得用 DotNet 自带的 DateTime 获取的时间精度不够,解决的方法是通过调用 QueryPerformanceFrequency 和 QueryPerformanceCounter这 ... 
- 来自JavaScript Garden摘取
			1.数字类型不能用作对象,因为javascript解析器会将点号(.)解析成浮点型(as a floating point literal),比如:2.toString();会导致语法从错误,解决方法 ... 
- list对象排序
			在数据库中查出来的列表list中,往往需要对不同的字段重新排序,一般的做法都是使用排序的字段,重新到数据库中查询.如果不到数据库查询,直接在第一次查出来的list中排序,无疑会提高系统的性能. 只要把 ... 
- cocos2d-x CCScale9Sprite
			转自:http://www.cocos2dev.com/?p=295 前段时间看CCEditBox的时候,发现里面有个利用9宫格图缩放图片的,也就是缩放带圆角的图片. 这个比较有用处,很多游戏中有很多 ... 
- uva 10152 ShellSort
			//这个算法用到了"相对位置"的思想,并且就本题而言还有一个很重要的结论就是,假设 //移动了k个元素,那么这k个元素一定是最后结果的那个序列的前k个元素,而且易知, //越先移动 ... 
- 【转】WPF颜色相关操作
			using System.Windows.Media; 1.String转换成Color Color color = (Color)ColorConverter.ConvertFromStri ... 
- 安装Loopback网卡/回环网卡
			$CurrentPath = $MyInvocation.MyCommand.Path.substring(0,$MyInvocation.MyCommand.Path.LastIndexOf('\' ... 
- 中国软件开发project师之痛
			在最近的一次会议上,有高层谈到之前在中国觉得自己做得非常牛,但与美国同行接触后却发现与人家存在非常大的差距,这一点我在外企工作时也有过相同的体会.真正与外国同行接触后才会知道什么是差距,在这篇文章中我 ... 
