hive的使用01
1.安装mysql数据库
1.1 查看本机是否安装了mysql数据库(rpm -qa | grep mysql)
1.2 删除系统自带的mysql数据库(rpm -e --nodeps mysql-libs-5.1.66-2.el6_3.x86_64)
1.3 解压mysql.zip文件,并添加执行权限(使用unzip命令进行解压.zip文件,)
1.4 安装mysql服务端(使用rpm -ivh 安装.rpm文件)
当安装完之后会有以下提示,有个随机的密码放入了/root/.mysql_secret文件中
启动mysql服务端
1.4 安装mysql客户端并修改root用户的密码
连接到mysql服务器
修改root用户的密码为root,并退出后重新使用root的新密码登录
1.5 修改mysql运行登录的主机
刷新mysql的权限策略
2.安装hive,并将元素数放在mysql数据库中
2.1 将mysql驱动jar放到hive安装目录下的lib目录中
2.2 修改/opt/modules/hive-0.13.1-bin/conf/hive-env.sh文件,设置hadoop安装目录和hive配置目录
2.3 配置hive元数据所在的数据库,修改/opt/modules/hive-0.13.1-bin/conf/hive-site.xml(如果不存在,则进行创建)
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!---mysql连接-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://life-hadoop.life.com:3306/metastore?createDatabaseIfNotExist=true</value>
</property>
<!--mysql驱动-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!--连接mysql的用户名-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!--连接mysql的密码-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<!--命令行客户端打印时是否显示列头信息-->
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<!--命令行客户端打印时是否显示数据库名信息-->
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
</configuration>
2.4 修改hive的日志文件所在的目录,修改/opt/modules/hive-0.13.1-bin/hive-log4j.properties文件
2.5 创建hive表数据所在的文件夹
在hdfs上创建 /tmp 和 /user/hive/warehouse目录,并赋予g+w的权限
2.6 查看是否配置成功
启动hive客户端
查看mysql数据库
3.hive操作
3.1 基本操作
3.1.1 创建数据库 create databases hive
3.1.2 创建表 create table hive.student (id int,name string,age int,sex string,address string) row format delimited fields terminated by '\t';
3.1.3 加载数据到表中 load data local inpath '/opt/data/student.txt' overwrite into table hive.student;
3.1.4 查看表的描述信息 desc formatted hive.student;
3.1.5 查看表的详细信息 desc formatted hive.student;
3.1.6 查看hive中自带的函数 show functions;
hive的使用01的更多相关文章
- HIVE之 Sqoop 1.4.6 安装、hive与oracle表互导
1. sqoop数据迁移 1.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具. 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS.HI ...
- Hive 这些基础知识,你忘记了吗?
Hive 其实是一个客户端,类似于navcat.plsql 这种,不同的是Hive 是读取 HDFS 上的数据,作为离线查询使用,离线就意味着速度很慢,有可能跑一个任务需要几个小时甚至更长时间都有可能 ...
- Sqoop 导入及导出表数据子集命令详解
Sqoop命令详解 1.import命令 案例1:将mysql表test中的数据导入hive的hivetest表,hive的hivetest表不存在. sqoop import --connect j ...
- Hive 01 概述、安装配置
概述 数据仓库:是一个面向主题的.集成的.不可更新的.随时间不变化的数据集合,它用于支持企业或组织的决策分析处理. 数据仓库的结构和建立过程: 数据源 数据存储及管理 ETL Extract 提取 T ...
- Hive编程指南_学习笔记01
第四章: HQl的数据定义 1:创建数据库 create database financials; create database if not exists financials; 2: ...
- hive学习01词频统计
词频统计 #创建表,只有一列,列名line create table word_count ( line string) row format delimited fields terminated ...
- hive
Hive Documentation https://cwiki.apache.org/confluence/display/Hive/Home 2016-12-22 14:52:41 ANTLR ...
- Hive 笔记
DESCRIBE EXTENDED mydb.employees DESCRIBE EXTENDED mydb.employees DESCRIBE EXTENDED mydb.employees ...
- Hive函数大全
一.关系运算: 1. 等值比较: = 语法:A=B 操作类型:所有基本类型 描述: 如果表达式A与表达式B相等,则为TRUE:否则为FALSE 举例: hive> select 1 from l ...
随机推荐
- 关于移动app开发的一些不错的站点
1. http://www.androiddevtools.cn Android Dev Tools官网地址:www.androiddevtools.cn 收集整理Android开发所需的A ...
- mac终端显示和隐藏隐藏文件的命令
defaults write com.apple.finder AppleShowAllFiles -bool true; killall Finder //显示隐藏文件 defaults write ...
- SVN更新时,校验和不匹配
svn检出时出现校验和不匹配. 解决方法: 1. 在另外地方检出,然后找到对应文件所在的.svn/entries文件,用新检出的entries文件覆盖原来发生错误的entries文件. 2. 如果是团 ...
- 1.初识Linux
1.严格来讲,Linux不是一个操作系统,只是Linux系统的内核,它是计算机的软件与硬件连通的枢纽. 2.关机和重启指令 关机:(1)init 0 关闭前清理和更新有关信息 (2 ...
- RDIFramework.NET平台代码生成器V3.1版本全新发布-更新于2016-10-29(提供下载)
本次主要更新内容: 1.增加对Oracle表创建语句的查看. 2.新增对MySql的代码生成支持. 3.全面重构对多线程的支持,改变以前会无故退出的现象. RDIFramework.NET代码生成器V ...
- [Android Tips] 24. Gradle listing project dependencies
./gradlew app:dependencies or install this Android Studio Plugin https://github.com/rholder/gradle-v ...
- 向指定URL发送GET方法获取资源,编码问题。 Rest风格
http编码.今天遇到获取网页上的数据,用HTTP的GET请求访问url获取资源,网上有相应的方法.以前一直不知道什么事rest风格,现在我想就是开一个Controller,然后使人可以调用你的后台代 ...
- [转] vim自定义配置 和 在ubnetu中安装vim
Ubuntu 12.04安装vim和配置 问题: ubuntu默认没有安装vim,出现: jyg@ubuntu:~$ vim test.cThe program 'vim' can be foun ...
- Android 屏幕适配
前言 手机的屏幕适配一直是非常麻烦的,现在我就以做笔记的方式来简单梳理下 单位理解 首先让我们先来看看关于手机所用到的单位 真实物理尺寸单位: mm:表示毫米,是屏幕的物理尺寸. in:表示英寸,是屏 ...
- jquery parent() parents() closest()区别
分类: 前端开发 parent是找当前元素的第一个父节点,不管匹不匹配都不继续往下找 parents是找当前元素的所有父节点 closest() 是找当前元素的所有父节点 ,直到找到第一个匹配的父节 ...