hive的使用01

【hive的使用01】的更多相关文章

1.安装mysql数据库 1.1 查看本机是否安装了mysql数据库(rpm -qa | grep mysql)…

HIVE之 Sqoop 1.4.6 安装、hive与oracle表互导

1. sqoop数据迁移 1.1 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具. 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS.HIVE.HBASE等数据存储系统: 导出数据:从Hadoop的文件系统中导出数据到关系数据库 1.2 工作机制将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行定制 1.3 sqoop实战及原理 1.3.1…

Hive 这些基础知识，你忘记了吗？

Hive 其实是一个客户端,类似于navcat.plsql 这种,不同的是Hive 是读取 HDFS 上的数据,作为离线查询使用,离线就意味着速度很慢,有可能跑一个任务需要几个小时甚至更长时间都有可能. 在日常开发中 Hive 用的还是挺广泛的,常做一些统计工作,就我自己工作来看其实 80% 的工作由 Hive 的基础部分就能完成了,只有很少的情况需要用到一些复杂查询或者调优工作. 本文着重挑选出一些易于被忽略基础知识,篇幅较多,建议收藏,分次阅读,后台文档中有详细的知识点说明,需要深入了解 H…

Sqoop 导入及导出表数据子集命令详解

Sqoop命令详解 1.import命令案例1:将mysql表test中的数据导入hive的hivetest表,hive的hivetest表不存在. sqoop import --connect jdbc:mysql://hadoop-001:3306/test --username root --password 123456 --table my_user --hive-table hivetest --hive-import -m 1 案例2:在案例1的基础上,分别进行overwrite…

Hive 01 概述、安装配置

概述数据仓库:是一个面向主题的.集成的.不可更新的.随时间不变化的数据集合,它用于支持企业或组织的决策分析处理. 数据仓库的结构和建立过程: 数据源数据存储及管理 ETL Extract 提取 Transform 转换 Load 装载数据仓库引擎前端展示数据查询数据报表数据分析 1)产生背景 MapReduce编程的不便性 HDFS上的文件缺少schema 2)是什么 The Apache Hive ™ data warehouse software facilitates rea…

Hive编程指南_学习笔记01

第四章: HQl的数据定义 1:创建数据库 create database financials; create database if not exists financials; 2: 查看数据库 show databases; 模糊查询数据库 show databases like 'h.*' ; 3:创建数据库改动数据库的默认位置 create database financials localtion '/my/preferred/directory' 4…

hive学习01词频统计

词频统计 #创建表,只有一列,列名line create table word_count ( line string) row format delimited fields terminated by '\t' lines terminated by '\n'; #导入一篇文章到表里 load data local inpath '/home/dip/test/word_count.txt' #词频统计 select word ,count(*) as cnt from (select ex…