背景 项目中需要通过一些自定义的组件来操控hive的元数据,于是使用了remote方式来存储hive元数据,使用一个服务后台作为gateway,由它来控制hive元数据. 现象 在windows上连接hive metastore的时候,无端的会报NullPointerException,非常费解. 分析 看了代码后发现,连接后会获取本地用户所在的用户组信息(org.apache.hadoop.hive.metastore.HiveMetaStoreClient中的open方法): if (isC

Hive中metastore(元数据存储)的三种方式: 内嵌Derby方式 Local方式 Remote方式 [一].内嵌Derby方式 这个是Hive默认的启动模式,一般用于单元测试,这种存储方式有一个缺点:在同一时间只能有一个进程连接使用数据库. hive-site.xml 中jdbc URL.驱动.用户名.密码等的配置信息如下:     1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

一.Hive的简单使用 基本的命令和MySQL的命令差不多 首先在 /opt/datas 下创建数据  students.txt 1001 zhangsan 1002 lisi 1003 wangwu 显示有多少数据库: show databases; 使用某个数据库: use 数据库名称; 显示当前数据库下的表: show tables; 创建数据表 : create table student (id int,name string) ROW FORMAT DELIMITED FIELDS

hive --service metastore 默认端口是9083 <property> <name>hive.metastore.uris</name> <value>thrift://hiveserver1:9083</value> </property> 在连接hive的客户端,如spark,可以只在hive-site.xml中配置这一个属性即可. 不需要配置mysql连接信息与用户密码信息,hiver server作为thr

[完美解决]Spark-SQL.Hive多 Metastore.多后端.多库 [完美解决]Spark-SQL.Hive多 Metastore.多后端.多库 SparkSQL 支持同时连接多种 Metastore,包括Atlas2(PB),Hive 0.12+几种格式.用户可以在一条SQL语句中操作来自多个 Metastore 的表. 配置 Metastore 按照正常的使用方式配置 conf/hive-site.xml 比如配置访问 mysql: <?xml version="1.0&qu

一.配置 1.配置文件 #创建配置文件 [root@hadoop-senior ~]# cd /opt/modules/hive-0.13.1/conf/ [root@hadoop-senior conf]# ls hive-default.xml.template hive-env.sh hive-exec-log4j.properties.template hive-log4j.properties.template [root@hadoop-senior conf]# touch hive

Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083 执行命令jps root@hadoopm:/usr# jps1763 ResourceManager1875 NodeManager4854 Jps1400 DataNode1547 SecondaryNameNode2300 RunJar1292 NameNode 将Runjar kill掉,再重启hive --service metastore,就可以了

Ubuntu虚机中SVN连接出错,虚机本机可正常CO,CIN,外面机器无法正常连接. 解决: 虚机换个IP即可正常连接,原因不明,有可能为公司网管对该IP做了某些限制. PS:VMware中只需将网络设置为桥接,即可将虚机做为一个单独的机器运行.

hive 加载HDFS的数据时出现错误, FATAL:SemanticException [Error 10028] search了一下,跟他一样Hive load from hdfs 出错. 我按照他说的做了发现不好用. 后来改了把inpath的hdfs路径改为internal ip就好了. 我们在亚马逊的ec2上跑的hadoop

mac下,mysql5.7.18连接出错,错误信息为:Access denied for user 'root'@'localhost' (using password: YES)()里面的为shell中输入的命令,一定要输全包括:&等符号 第一步:苹果->系统偏好设置->最下面点MySQL,关闭mysql服务 第二步:进入终端输入(cd /usr/local/mysql/bin/)回车输入(sudo su)回车以获取管理员权限输入(./mysqld_safe --skip-grant

最近在测试环境下,hive的metastore不稳定,于是做一次JVM优化 在hive-env.sh中 export HADOOP_HOME=/opt/cdh/hadoop-2.6.0-cdh5.14.0   if [ "$SERVICE" = "cli" ]; then if [ -z "$DEBUG" ]; then export HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xmx2048m

首先安装svn (后补) mikdir /usr/local/svn_repertory  # 创建svn大仓库用于存放所有项目代码 cd  /usr/local/svn_repertory  # 进入大仓库 即: svn 根目录 svnserve -d -r /usr/local/svn_repertory  # 启动svn大仓库 netstat -nltp |grep 3690  # 如下表示启动成功 svnadmin create first_project  # 创建项目目录 cd fi

在远程如github新建一个项目名称为blog, 本地项目为store,是一个laravel框架项目,首先用 git init初始化本目,然后用git remote add origin git@github.com:michaelliao/learngit.git进行和远程仓库的连接, 由于远程仓库有README.md,所以先 git pull origin master ,最后将本地项目推送远程仓库git push -u origin master

http://blog.sina.com.cn/s/blog_5f266ec50100m052.html SYS远程连接出错ORA-01031:Insufficient privileges. 现象:本地可以正常连接访问,在其它机器上也能通过normal方式正常访问使用,但是不能以sysdba身份 连接访问,连接时报错ORA-01031:Insufficient privileges. 1.检查系统参数:SQL> show parameter password NAME             

hive0.13.1在hadoop2.4.1伪分布式部署上安装过程 环境:redhat enterprice 6.5 +hadoop2.4.1+hive0.13.1+mysql单节点伪分布式部署 相关网址: hive官网安装指导:https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallingHivefromaStableRelease hive之metastore的三种保存方式:h

1.下载git http://git-scm.com/download/ 2. 安装git 按照文字提示即可 3. 验证是否成功,输入命令行.输出git版本表示git安装成功. git --version 4. 在本地git中添加你得git账户和邮箱,用于每次提交时记日志(log) git config --global user.name "你的注册用户名" git config --global user.emall "你的注册邮箱" 5.生成秘钥: (1)首先

Hive concat函数连接后结果为null concat函数是用来连接字符串的 使用示例: select concat('Hello','World','Java'); 运行结果: 最近我们在做需求的时候使用concat去拼接地址信息,脚本如下:(ta是我存放地址信息的表别名,地址分为三段存储) concat(trim(ta.houseaddress),' ',trim((ta.houseaddress2),' ',trim(ta.houseaddress3)) 一般来说,我们会觉得这个没问

PS用户配置服务连接出错 [2019-07-30 14:58:25.475]-[INFO ]-[xxxx.profileserver.service.ProfileServerImpl:1430][1458000257602] - getMoAddrAndPwd|loginName=13697599634|serialno=173302|mailaddrBean=userNumber=8613697599634|partId=12|uin=218144332 [2019-07-30 14:58:

升级重装后  连接出错 报这个错误 Table 'performance_schema.session_variables' doesn't exist   使用这个命令即可 [root@localhost ~]# mysql_upgrade -u root -p --force   作用:mysql_upgrade 检查不兼容的表,更新grant表

<property><name>hive.metastore.uris</name><value></value><description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description></property> <property>&l

hive 客户端报错:Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient 咋一看以为是Mysql连接不上,结果发现Mysql正常 错误日志: Exception in thread "main" java.