三种模式 内嵌模式:元数据保持在内嵌的derby模式,只允许一个会话连接 本地独立模式:在本地安装Mysql,吧元数据放到mySql内 远程模式:元数据放置在远程的Mysql数据库 1.下载Hive安装包 http://hive.apache.org/downloads.html 2.将hive文件上传到HADOOP集群机器上,并解压 将文件上传到:/opt/ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/ cd /opt ln -s apache

Hive是存在于Hadoop集群之上的数据仓库,作为大数据处理时的主要工具,对于大数据开发人员的重要性不言而喻.当然要使用Hive仓库的前提就是对于hive的安装,hive的安装是很简单的过程,主要关注的就是对于hive的元数据的存储位置的考虑.hive在安装的时候,它会默认的将自己的元数据是存储在自身带的derby数据库里,这对于一般的用户的测试使用是相对方便的,但是由于它在使用的时候只满足一个客户端对它的访问,所以在生产模式下,hive的元数据是一般的被保存在传统的关系型数据库mysql中.

上海尚学堂谦先生的bug日志之hive启动权限问题 这几天开始做新老集群的迁移,今天开始对hive的所有数据进行迁移,主要是表的元信息和表数据.表的元信息我们存在mysql中,跟hive的服务器并不在同一个服务器上,因此这块我们不用怎么操心.但是表数据的话,我们就把hdfs的目录给迁移过去就可以了,我们用到了hadoop的快速分布式拷贝,中间会遇到一些关于数据如何避免走外网的问题,这里就不深入叙述.然后今天在迁移hive的时候,我是从老集群把hive给scp过去的,因为用户没切换过来,出现了如下

hive调试信息显示模式: ./hive -hiveconf hive.root.logger=DEBUG,console 非常有用. 默认情况下,Hive元数据保存在内嵌的 Derby 数据库中,只能允许一个会话连接,只适合简单的测试.为了支持多用户多会话,则需要一个独立的元数据库,我们使用 MySQL 作为元数据库,Hive 内部对 MySQL 提供了很好的支持,配置一个独立的元数据库需要增加以下几步骤: 第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务.此步省略,具体

Hive安装配置(mysql) 安装mysql hadoop$:sudo apt-get update hadoop$:sudo apt-get install mysql-server 启动mysql hadoop$:sudo service mysql start 进入mysql界面 hadoop$:sudo mysql -u root -p 创建hive数据库 mysql>create database hive; 将hive数据库下的所有表的所有权限赋给hadoop用户,并配置mysql

启动hive之前应该先启动metastore,也是在bin目录下:./hive --service metastore &然后再启动hive: ./hive 今天连接hive时总是报错:Unable to open a test connection to the given database. JDBC url = jdbc:mysql://192.168.252.200:3306/hive?createDatabaseIfNotExist=true, username = root.Term

l   安装hive,hive-metastore hive-server $ sudo yum install hive hive-metastore hive-server l   安装mysql-server $ sudo yum install mysql-server l   启动mysql守护进程 $ sudo service mysqld start l   下载mysql java驱动并复制到hive的lib中 $ cd ~ $ wget 'http://cdn.mysql.co

MySQL安装 ①官网下载mysql-server(yum安装) wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 若wget不可用,下载安装wget:yum -y install wget ②解压rpm -ivh mysql-community-release-el7-5.noarch.rpm ③安装yum install mysql-community-server ④重启mysql服务:servic

一.MySQL的安装 Hive的数据,是存在HDFS里的.此外,hive有哪些数据库,每个数据库有哪些表,这样的信息称之为hive的元数据信息. 元数据信息不存在HDFS,而是存在关系型数据库里,hive默认用的是derby数据库来存储.即hive工作时,除了要依赖Hadoop,还要依赖关系型数据库. 注意:虽然我们能通过HDFS查看到hive有哪些数据库,有哪些表,以及表里的数据,但是,这不是元数据信息.HDFS最主要的是存储hive的数据信息. 之前遇到的问题:当退出后,切换到不同的目录来进

安装Hive && mysql (1)安装Hive Hive安装所需要的依赖(安装Hive前必须先安装jdk.hadoop) 1)jdk1.6以上 2)Hadoop要启动 未安装jdk.hadoop可参考文章:https://www.cnblogs.com/wendyw/p/11317021.html Hive下载.解压 下载路径:http://apache.cs.utah.edu/hive/hive-0.11.0/ 将hive-0.11.0.tar.gz解压到/usr/local中 ta

在本地计算机无法启动MYSQL服务错误1067进程意外终止 这种情况一般是my.ini文件配置出错了 首先找到这个文件: 默认安装路径 C:/Program Files/MySQL/MySQL Server 5.1/my.ini 打开此文件找到:default-storage-engine=INNODB   大概在84行. 将default-storage-engine的值改为:MYISAM,这个时候,MYSQL服务可以启动. 但是还有问题:因为以前你创建的那些数据库还是存在的(如果没有删除),

启动mysql时显示:/tmp/mysql.sock 不存在的解决方法 启动mysql时报错的解决(mysql 5.0.45 redhat as 43)  ===========================================================  启动mysql时报错的解决(mysql 5.0.45 redhat as 43) 作者: lawzjf(http://lawzjf.itpub.net) 发表于: 2008.01.13 01:29 分类: 小企鹅  出处:

启动mysql 报1067 错误         一般报1067错误,先看一下data/my.ini配置文件 中的路径 datadir ,log-bin ,log-error 报1067错误原因 多种多样,这只是其中一个,解决不了在找其他原因  

1.下载,解压到自己喜欢的目录 2.配置环境变量.MYSQL_HOME,值为mysql的根目录:在path中添加%MYSQL_HOME%/bin目录. 3.向windows注册mysql服务.必须用管理员权限打开命令行,然后切换到mysql的bin目录下,输入命令:mysqld.exe --install MySql --defaults-file="d:/lovejava/mysql-5.6/my-default.ini",[d:/lovejava/mysql-5.6/my-defa

启动Mysql服务常会提示下面错误: ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' 这是由于修改mysql服务的了socket文件mysql.sock位置,而导致无法通过mysql socket文件连接到mysql服务引起的,具体解决办法如下: 1.查看mysql服务的socket文件位置:mysql socket文件的位置是在/etc/my.c

ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysql.sock’ (2) 1.先查看 /etc/rc.d/init.d/mysqld status 看看m y s q l 是否已经启动.另外看看是不是权限问题. 2.确定你的mysql.sock是不是在那个位置,mysql -u 你的mysql用户名 -p -S /var/lib/mysql/mysql.sock 3

出现提示: WIN 7 cmd命令行下,net start mysql,出现 服务名无效提示: 问题原因: mysql服务没有安装. 解决办法: 在 mysql bin目录下 以管理员的权限 执行 mysqld -install命令,如下图: 然后就可以 net start mysql 开启Mysql服务了 运行这个程序需要使用参数,否则就会以命令行窗口形式启动MYSQL数据库,命令参数如下: 安装服务(MySQL)的命令: mysqld.exe --install 可以指定服务的名字,例如:

Win7系统中提示:本地无法启动MySQL服务,报的错误:1067,进程意外终止的解决方法. 在本地计算机无法启动MYSQL服务错误1067进程意外终止.这种情况一般是my.ini文件配置出错了1.首先找到这个文件: Win7下的默认安装路径C:\ProgramData\MySQL\MySQL Server 5.6\my.ini打开此文件找到:default-storage-engine=INNODB将default-storage-engine的值改为:MYISAM.2.但是还有问题:因为以前

最近在看MySQL,安装好之后,每次在开始菜单去启动MySQL命令行工具的时候,都是直接用root用户连接我本地的数据库 输入密码开始工作,但是要连接服务器上的MySQL的话,就要去CMD下运行 : MySQL --h172.18.1.22 -uroot -p123456 每次的输入自然让人厌烦,批处理出马解决这个问题,先上代码: --------------- @echo offset /p var="链接本地MySQL请按1,链接172.18.1.22服务器请按2,退出请按0: "

在本地计算机无法启动MYSQL服务错误1067进程意外终止 这种情况一般是my.ini文件配置出错了, 你可以删除系统目录下的my.ini文件, 把下面的内容重新写入my.ini文件试试, 要适当地改写一下文件路径 我的my.ini 2007年12月31日[WinMySQLAdmin]Server=C:/MYSQL/mysql/bin/mysqld-opt.exeuser=root [mysqld]basedir=C:/MYSQL/mysqldatadir=C:/MYSQL/mysql/data

  今天启动mysql时出现了如下错误: [root@host1 /]# service mysql start Starting MySQL.. ERROR! The server quit without updating PID file (/var/lib/mysql/host1.pid). 查看错误日志: [root@host1 /]# cat /var/log/mysqld.err | less -- :: [ERROR] MYSQL_BIN_LOG::open_purge_inde