Hive总结(七)Hive四种数据导入方式 (强烈建议去看)

Hive几种数据导出方式 https://www.iteblog.com/archives/955 (强烈建议去看)

把MySQL里的数据导入到HDFS

  1、使用MySQL工具手工导入

  把MySQL的导出数据导入到HDFS的最简单方法就是,使用命令行工具和MySQL语句。

为了导出整个数据表或整个数据库的内容,MySQL提供了mysqldump工具。

  比如

  SELECT  col1,col2 FORM TABLE

INTO OUTFILE '/tmp/out.csv'

  FIELDS TERMINATED BY ',' , LINES  TERMINATED  BY '\n';

  这个学格式就好,具体表看自己的。

  一旦我们把数据导出到文件中,就可以用hadoop fs -put把该文件,从本地linux移到HDFS上。

  2、使用Sqoop把MySQL里的数据导入到HDFS

  $ sqoop  import  --connect  jdbc:mysql://192.168.80.128/hive  --username   hive   \ >  --password  hive   --table  employees

  注意,这里根据自己的来,元数据库名,用户名和密码

把MySQL里的数据导入到Hive

  $ sqoop  import  --connect jdbc:mysql://192.168.80.128/hive   --username  hive   -password  hive  --table employees   --hive-import    --hive-table  employees

  更为详细,见

用Sqoop将mysql中的表和数据导入到Hive中

把HDFS里的数据导出到MySQL

  $ sqoop  export --connect  jdbc:mysql://192.168.80.128/hive  --username  hive   -password  hive  --table employees   --export-dir  edata  --input-fields-terminated-by  '\t‘

  更为详细,见

Sqoop1.4.5+hadoop2.2.0进行Mysql到HDFS的数据转换

把HDFS里的数据导出到Hive

$  sqoop  export  --connect jdbc://mysql://192.168.80.128/hive  -username  hive   -password  hive  --table employees  --export-dir  /user/hive/warehouse/employees   --input-fields-terminated-by  '\001'     --input-lines-terminated-by  '\n'

Hadoop Hive概念学习系列之HDFS、Hive、MySQL、Sqoop之间的数据导入导出(强烈建议去看)的更多相关文章

  1. Hadoop Hive概念学习系列之为什么Hive里,要用mysql?(四)

    想说的是,hive只是个工具,包括它的数据分析,依赖于mapreduce,它的数据管理,依赖于外部系统. metastore_db,是在哪目录下运行,在哪里产生数据. 由此可见,你在哪路径下,执行hi ...

  2. 三十一.MySQL存储引擎 、 数据导入导出 管理表记录 匹配条件

    1.MySQL存储引擎的配置 查看服务支持的存储引擎 查看默认存储类型 更改表的存储引擎 设置数据库服务默认使用的存储引擎 1.1 查看存储引擎信息 mysql> SHOW ENGINES\G ...

  3. 测试必备技能系列1 :通过mysql命令进行脚本数据导入

    老徐,分享测试项目中实际能解决问题的干货!   今日分享: 如何通过mysql命令行,导入mysql脚本文件数据?   ----- 解决实际的问题: 工作过程中,经常需要导入mysql脚本文件 很多同 ...

  4. Sqoop -- 用于Hadoop与关系数据库间数据导入导出工作的工具

    Sqoop是一款开源的工具,主要用于在Hadoop相关存储(HDFS.Hive.HBase)与传统关系数据库(MySql.Oracle等)间进行数据传递工作.Sqoop最早是作为Hadoop的一个第三 ...

  5. 从零自学Hadoop(16):Hive数据导入导出,集群数据迁移上

    阅读目录 序 导入文件到Hive 将其他表的查询结果导入表 动态分区插入 将SQL语句的值插入到表中 模拟数据文件下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并 ...

  6. 如何利用sqoop将hive数据导入导出数据到mysql

    运行环境  centos 5.6   hadoop  hive sqoop是让hadoop技术支持的clouder公司开发的一个在关系数据库和hdfs,hive之间数据导入导出的一个工具. 上海尚学堂 ...

  7. 利用sqoop将hive数据导入导出数据到mysql

    一.导入导出数据库常用命令语句 1)列出mysql数据库中的所有数据库命令  #  sqoop list-databases --connect jdbc:mysql://localhost:3306 ...

  8. hive之数据导入导出

    hive数据导入导出 一.导入数据4种方式 建表语句 create table test( name string, friends array, children map<string, in ...

  9. Hive 实战(1)--hive数据导入/导出基础

    前沿: Hive也采用类SQL的语法, 但其作为数据仓库, 与面向OLTP的传统关系型数据库(Mysql/Oracle)有着天然的差别. 它用于离线的数据计算分析, 而不追求高并发/低延时的应用场景. ...

随机推荐

  1. hdu 5358 First One 2015多校联合训练赛#6 枚举

    First One Time Limit: 4000/2000 MS (Java/Others)    Memory Limit: 131072/131072 K (Java/Others) Tota ...

  2. java 文件读写的有用工具

    java 文件读写的有用工具 package org.rui.io.util; import java.io.BufferedReader; import java.io.File; import j ...

  3. 【iOS开源码】(1):CCLHTTPServer

    我从没有见过比 CCLHTTPServer 更简单的 iOS HTTP server了.你甚至不用创建不论什么子类就可以使用它.对于大部分任务,这个小巧但强悍的server能够满足你的须要. 它简单到 ...

  4. 前端遇上Go: 静态资源增量更新的新实践

    前端遇上Go: 静态资源增量更新的新实践https://mp.weixin.qq.com/s/hCqQW1F8FngPPGZAisAWUg 前端遇上Go: 静态资源增量更新的新实践 原创: 洋河 美团 ...

  5. Multitier architecture

    Multitier architecture - Wikipedia https://en.wikipedia.org/wiki/Multitier_architecture Common layer ...

  6. Kills all phantomjs instances, disregard of their origin python关闭进程

    Python/Linux quit() does not terminate PhantomJS process · Issue #767 · SeleniumHQ/selenium https:// ...

  7. 自己写的canvas 手写画板

    <!DOCTYPE html> <html> <head> <title>canvas</title> <meta charset=& ...

  8. Fibonacci数列(找规律)

    题目描述 Fibonacci数列是这样定义的:F[0] = 0F[1] = 1for each i ≥ 2: F[i] = F[i-1] + F[i-2]因此,Fibonacci数列就形如:0, 1, ...

  9. rails用generate为两个模型创建has_and_belongs_to_many中间表

    假设 teachers和students具备many-to-many的关系,那么需要一个Join 表,has_and_belongs_to_many默认该表名字为teachers_students,这 ...

  10. sdut oj 1510 Contest02-4 Spiral

    Contest02-4 Spiral Time Limit: 1000ms   Memory limit: 65536K  有疑问?点这里^_^ 题目描述 Given an odd number n, ...