访问hive报错如下: FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 找到原因是因为在spark-shell里面操作了hive的数据(spark应用创建表时,指定的sch…

第一个方法比较简单:把域账号添加admin组即可: 第二种方法: 添加域账号到分布式 COM 组 命令提示符下运行 dcomcnfg.exe 下一步 下一步 启动和激活权限 下一步 访问权限 同上设置 上面设置完成后,记得重启Integration Services 服务,就不会报无法检索数据: 参考资料: https://msdn.microsoft.com/zh-cn/library/ms140100(v=sql.100).aspx https://msdn.microsoft.com/zh…

前言:在空间里回顾了我的2014,从生活.技术.家庭等各方面对自己进行总结剖析,也是给自己一个交代.也想在博客上专门写一篇2014年度菜鸟的技术路回忆录,但是因为各种事一再耽搁了,现在来写也就更显得不合时宜了,也就作罢了,反正码农的生活都是围绕着pc.代码转,绕不开整天敲敲打打的26个字母. 看着在园子的园龄单位从月变成年,翻翻过去写的博客从大数据到可视化以及一些零散分支,渐渐的发现,变化的时间,不变的是成长. 书归正传,这两天有看到阿里在举办一个天池大数据竞赛,仔细一看,做的是推荐算法.抱着一…

使用phpmyadmin导入SQL数据报错: MySQL 返回: #1062 - Duplicate entry '0' for key 'PRIMARY' 出现此错误的原因是数据的主键重复了,错误信息中显示的这条记录已经被导入了~~ 因为可能由于数据的更新会手工在其中对应的位置插入单条或多条数据,所以导出来的数据经过整理后把主键的自增值清空了,便于手工插入数据.这样在使用PHPMYADMIN导入SQL数据的时候就会报以上错误,解决方法如下: 在导入数据的时候导入文件的格式中不要勾选不要给零值使…

转载自:http://lxw1234.com/archives/2015/08/466.htm 本文将介绍以yarn-cluster模式运行SparkSQL应用程序,访问和操作Hive中的表,这个和在Yarn上运行普通的Spark应用程序有所不同,重点是需要将Hive的依赖包以及配置文件传递到Driver和Executor上,因为在yarn-cluster模式下,Driver和Executor都是由Yarn和分配的. 下面的代码完成了以下功能: 1. 在Hive的数据库liuxiaowen中,创…

在spark集群中执行./spark-shell时报以下错误: 18/07/23 10:02:39 WARN DataNucleus.Connection: BoneCP specified but not present in CLASSPATH (or one of dependencies)18/07/23 10:02:39 WARN metastore.HiveMetaStore: Retrying creating default database after error: Error…

知识点1:Spark访问HIVE上面的数据 配置注意点:. 1.拷贝mysql-connector-java-5.1.38-bin.jar等相关的jar包到你${spark_home}/lib中(spark2.0之后是${spark_home}/jars下),不清楚就全部拷贝过去 2.将Hive的配置文件hive-site.xml拷贝到${spark_home}/conf目录下 3.因为使用ThriftJDBC/ODBC Server访问spark SQL,所以要修改hive-site.xml文…

背景: 接到任务,需要在一个一天数据量在460亿条记录的hive表中,筛选出某些host为特定的值时才解析该条记录的http_content中的经纬度: 解析规则譬如: 需要解析host: api.map.baidu.com 需要解析的规则:"result":{"location":{"lng":120.25088311933617,"lat":30.310684375444877}, "confidence&quo…

IMP导入数据报错如下: OCI-21500: internal error code, arguments: [kgepop: no error frame to pop to], [], [], [], [], [], [], [] OCI-22275: invalid LOB locator specified xExExE@@@@@@@@Errors in file : OCI-21500: internal error code, arguments: [kgepop:…

数据表插入中文数据报错 Warning Code : 1366 Incorrect string value: '\xE5\x9C\xA8' for column 'name' at row 1 原因是表中列的编码是默认 latin1 要改成utf8 ALTER TABLE student CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci 把student表列编码改成utf8 SHOW FULL COLUMNS FROM student…