sqoop数据导入命令 (sql---hdfs)
mysql------->hdfs
sqoop导入数据工作流程:
sqoop提交任务到hadoop------>hadoop启动mapreduce------->mapreduce通过指定参数到表中获取导入的数据------->MapReduce将需导入的数据导入到HDFS中
1.全表导入:
mysql----->hdfs
sqoop import --connect jdbc:mysql://192.168.122.15:3306/company --username hivee --password 123456 --table card -m 1
#-m 1 表示指定一个任务去执行
2.限制数据范围导入:
mysql----->hdfs
sqoop import --connect jdbc:mysql://192.168.122.15:3306/company --username hivee --password 123456 --table card --columns 'id,name' --where 'id>20' -m 1
# --columns <列名> 指定列 --where '条件' 指定条件
3、自由sql语句导入: (使用sql查询语句导入)
mysql----->hdfs
sqoop import --connect jdbc:mysql://192.168.122.15:3306/company --username hivee --password 123456 --table card --target-dir '/input' --query 'select id,name from input where id>20 and \$CONDITIONS' -m 1
4.增量导入:持续将新增源数据导入到目标存储位置
mysql----->hdfs
#核心参数: -check-column #指定检索列、 --last-value #(指定导入检索数字) 、 -incremental #(指定导入模式)
1>append模式: 只对数据进行附加,不支持更改
sqoop import --connect jdbc:mysql://192.168.122.15:3306/company --username hivee --password 123456 --table card --target-dir '/input' --check-column id --last-value 264 --incremental append -m 1
2>lastmodified : 适用于对源数据进行更改,对于变动数据收集,必须记录变动时间
sqoop import --connect jdbc:mysql://192.168.122.15:3306/company --username hivee --password 123456 --table card --target-dir '/input' --check-column last_mod --last-value '2018-02-02 21:35:01' --incremental lastmodified -m 1 --append
#时间为最大的时间
mysql------>hive
Sqoop常用命令:
全表导入:
1.创建job:
#解释:这个job是将mysql的表导入到hive中,过程为: mysql--àHDFS--àhive
--password-file hdfs://user/mnt/.password.file 这是指定hdfs目录下文件位置
--password-file file:///home/.test 这是指定linux服务器目录下文件位置
[root@hdoop2 hadoop]# sqoop job --create erp4 -- import --connect jdbc:mysql://192.168.18.72:3306/erp_product --username hive --password-file file:///home/.test --table erp_project_obversion_detail --target-dir /test3 --hive-import --hive-table erp_project_obversion_detail --hive-overwrite -m 1
2.查看job列表:
[root@hdoop2 hadoop]# sqoop job --list
3.查看某个job的详细信息:
[root@hdoop2 hadoop]# sqoop job --show erp4
#erp4为job的名称
4.删除job:
[root@hdoop2 hadoop]# sqoop job --delete erp4
5.执行job:
[root@hdoop2 hadoop]# sqoop job --exec erp4
增量导入:持续将新增源数据导入到目标存储位置
Mysql--àhive
1.创建job:
[root@hdoop2 hadoop]# sqoop job --create insert1 -- import --connect jdbc:mysql://192.168.18.72:3306/erp_product --username hive --password-file file:///home/.test --table erp_project_obversion_detail --target-dir /test4 --hive-import --hive-table erp_project_obversion_detail --check-column id --last-value 264 --incremental append -m 1
自由查询语句导入:
1.创建job:
[root@hdoop2 hadoop]# sqoop job --create erp1 -- import --connect jdbc:mysql://192.168.18.72:3306/erp_product --username hive --password-file file:///home/.test --target-dir /test10 --hive-import --hive-table erp_project_obversion_detail --hive-overwrite --query 'select * from erp_project_obversion_detail where id < 265 and $CONDITIONS ' -m 1
sqoop数据导入命令 (sql---hdfs)的更多相关文章
- MySQL--将MySQL数据导入到SQL Server
随着时代的进步,社会的发展,各种技术层出不穷五花八门乱七八糟数不胜数(写作文呢!!!) 不扯废话,简单而言,很多公司都会同时使用多种数据库,因此数据在不同数据库之间导入导出就成为一个让人蛋疼的问题,对 ...
- 图解如何 将Excel里的数据导入到sql server数据库中
项目中,经常会碰到如何将Excel里的数据导入到sql server中的问题. 下面,图解如何实现导入Excel中的数据到sql server 2008 R2: Excel截图如下: 查询pub数据库 ...
- VBS将本地的Excel数据导入到SQL Server中
VBS将本地的Excel数据导入到SQL Server中 高文龙关注0人评论1170人阅读2017-05-14 12:54:44 VBS将本地的Excel数据导入到SQL Server中 最近有个测试 ...
- sqoop数据导入到Hdfs 或者hive
用java代码调用shell脚本执行sqoop将hive表中数据导出到mysql http://www.cnblogs.com/xuyou551/p/7999773.html 用sqoop将mysql ...
- Sqoop 数据导入导出实践
Sqoop是一个用来将hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:mysql,oracle,等)中的数据导入到hadoop的HDFS中,也可以将HDFS的数据导入到 ...
- Excel数据导入到Sql server
问题:数据库内直接操作导致 错误 0xc020901c: 数据流任务 1: 源 - yndata1$.输出[Excel 源输出] 上的 源 - yndata1$.输出[Excel 源输出].列[ind ...
- Visual Basic 2012 借助DataGridView控件将Excel 2010数据导入到SQL server 2012
(注:注释的颜色原本为绿色,在这里变为黑色,有点不便,但不会造成阅读影响.放入Visual Basic2012代码编辑器后会还原成绿色.) 摘 要:DataGridView控件作为数据传输的中介,只 ...
- 如何把EXCEL数据导入到SQL SERVER数据库中 (转)
转:http://blog.csdn.net/jjp837661103/article/details/13509889 在我们完成一个项目开发之后,通常我们需要把客户的很多数据导入到数据库中,面对大 ...
- c#.net Excel中的数据导入到SQL数据库中
/// <summary> /// 从Excel 导入学生 /// </summary> /// <param name=&qu ...
随机推荐
- 不要在对抽象类接口abstract virtual什么的混淆不清了
(最近带一个新手入门 讲这边老费力了.) 接口和抽象类不过都是类的抽象罢了,这是他们的本质,只不过人们的思维角度不同而已,一个偏向为行为契约上的抽象(接口) 一个更像大自然中的繁衍关系(抽象类). 直 ...
- python中作用域
Python 中,一个变量的作用域总是由在代码中被赋值的地方所决定的. 函数定义了本地作用域,而模块定义的是全局作用域.如果想要在函数内定义全局作用域,需要加上global修饰符. 变量名解析:LEG ...
- Task15 节点层次笔记
childElementCount : 返回子元素的个数 (不包括文本节点和注释节点) children:返回指定元素的子元素集合,它只返回HTML节点,甚至不返回文本节点,虽然不是标准的DOM属性, ...
- mysqli 查询
$mysqli = new mysqli('localhost', 'user', 'pwd', 'dbname'); $query = "select goods_id,goods_nam ...
- 转:PHP导出excel文件的几种方式
PHP导出excel文件的几种方式 文章来源:http://www.cnblogs.com/fredshare/archive/2012/10/29/2744243.html 先说说动态生成的内容当作 ...
- Spring框架学习之概述
一.什么是软件框架 打个比方就像建筑的混凝土框架,搭好了架子,工人只需要把墙填上. .特点: -半成品 -封装了特定的处理流程和控制逻辑 -成熟的,不断升级改造的软件 .框架和类库的区别 -框架一般是 ...
- flutter控件之RadioButton
import 'package:flutter/material.dart'; class LearnRadioButton extends StatefulWidget{ @override Sta ...
- Vue 框架-08-基础实战 demo
Vue 框架-08-基础实战 demo 前面介绍了有 7 篇了,都是小实例,没有相对完整的应用,虽然有些功能挺实用,但还是有的不常用的,今天记录一篇关于前几篇基础内容的实战 demo,也是对 Vue ...
- RadioGroup实现类似ios的分段选择(UISegmentedControl)控件
在ios7中有一种扁平风格的控件叫做分段选择控件UISegmentedControl,控件分为一排,横放着几个被简单线条隔开的按钮,每次点击只能选择其中一个按钮,他类似于tabbar但是又稍微有点区别 ...
- 2Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
public class TestException { public static void main(String[] args) { String str = "1"; fo ...