1)list-databases     List available databases on a server
sqoop list-databases --connect jdbc:db2://<server>:<port>/<database> --username username --password password

2) list-tables        List available tables in a database
sqoop list-tables --connect jdbc:db2://<server>:<port>/<database> --username username --password password
 
3) create-hive-table  Import a table definition into Hive
sqoop create-hive-table --connect jdbc:db2://<server>:<port>/<database> --username username --password password –table tablename  –hive-table hivetablename
其中 –table tablename为db2中的数据库database中的表 –hive-table hivetablename 为hive中新建的表名称
 
4) eval               Evaluate a SQL statement and display the results
sqoop eval --connect jdbc:db2://<server>:<port>/<database> --username username --password password -query 'SELECT * FROM <tablename>'
 
5) import             Import a table from a database to HDFS

sqoop import --connect jdbc:db2://<server>:<port>/<database> --username username --password password --compress --compression-codec 'com.hadoop.compression.lzo.LzopCodec' -table tablename --hcatalog-database hiveschema --hcatalog-table hivetable -m 1

其中 –table tablename为db2中的数据库database中的表 --hcatalog-database hiveschema 为hive中Schema --hcatalog-table hivetable为hive中表名称

sqoop import --connect jdbc:db2://<server>:<port>/<database> --username username --password password --compress --compression-codec 'com.hadoop.compression.lzo.LzopCodec' -table tablename --columns <column> --hcatalog-database hiveschema --hcatalog-table hivetable --hive-partition-key <partition-name> --hive-partition-value <partition-value> -m 1

6) import-all-tables  Import tables from a database to HDFS

7) export             Export an HDFS directory to a database table

sqoop export --connect jdbc:db2://<server>:<port>/<database> --username username --password password  -table tablename --hcatalog-database hiveschema --hcatalog-table hivetable -m 1

8) merge              Merge results of incremental imports

9) job                Work with saved jobs

10) metastore          Run a standalone Sqoop metastore

sqoop version

11) help               List available commands

sqoop help

sqoop COMMAND help

12) codegen            Generate code to interact with database records

13) version            Display version information

sqoop version

Sqoop 命令的更多相关文章

  1. Sqoop详细介绍包括:sqoop命令,原理,流程

    一简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS ...

  2. [sqoop1.99.7] sqoop命令

    官网文档:http://sqoop.apache.org/docs/1.99.7/user/CommandLineClient.html#delete-link-function 一.了解sqoop数 ...

  3. sqoop命令,mysql导入到hdfs、hbase、hive

    1.测试MySQL连接 bin/sqoop list-databases --connect jdbc:mysql://192.168.1.187:3306/trade_dev --username ...

  4. hive向mysql导入数据sqoop命令出错

    报错信息: java.lang.Exception: java.io.IOException: java.lang.ClassNotFoundException: info at org.apache ...

  5. Java通过Shell执行Sqoop命令没日志的问题

    修改执行部分的代码,改成用InputStream.read(byte[])的方法从流中读取数据 package com.example.demo.utils; import java.io.*; pu ...

  6. Sqoop 导入及导出表数据子集命令详解

    Sqoop命令详解 1.import命令 案例1:将mysql表test中的数据导入hive的hivetest表,hive的hivetest表不存在. sqoop import --connect j ...

  7. hadoop sqoop的常用名命令

    1 列出所有的ambari数据库中所有的表 Sqoop list-tables -connect  jdbc:mysql://localhost:3306/ambari -username ambar ...

  8. Hadoop学习笔记—18.Sqoop框架学习

    一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据移植过去并不容易.Apache Sqoop正在加 ...

  9. Oozie分布式任务的工作流——Sqoop篇

    Sqoop的使用应该是Oozie里面最常用的了,因为很多BI数据分析都是基于业务数据库来做的,因此需要把mysql或者oracle的数据导入到hdfs中再利用mapreduce或者spark进行ETL ...

随机推荐

  1. iosUITextField属性

    @property UITextField *caption; caption = [[UITextField alloc] initWithFrame:CGRectMake(, self.frame ...

  2. UVa 1025 (动态规划) A Spy in the Metro

    题意: 有线性的n个车站,从左到右编号分别为1~n.有M1辆车从第一站开始向右开,有M2辆车从第二站开始向左开.在0时刻主人公从第1站出发,要在T时刻回见车站n 的一个间谍(忽略主人公的换乘时间).输 ...

  3. TYVJ 1066 合并果子【优先队列】

    题意:给出n堆果子,需要将n堆果子合并成一堆,问将所有堆的果子合成一堆所需要花费的最少的力气 因为要使耗费力气最小,即需要每次搬动的那堆重量小,所以可以选取两堆最轻的合并,合并之后再插入还没有合并的堆 ...

  4. Thread.sleep() & SystemClock.sleep()

    Thread.sleep()是java提供的函数.在调用该函数的过程中可能会发生InterruptedException异常. SystemClock.sleep()是android提供的函数.在调用 ...

  5. Jquery 模板插件 jquery.tmpl.js 的使用方法(2):嵌套each循环,temp调用(使用预编译的模板缓存)

    直接上代码吧 一:主窗口 /*#region SendChooseTargetTemplate 发送候选人主窗口模板*/ var SendChooseTargetTemplate = ''; Send ...

  6. Azure SQL 数据库与新的数据库吞吐量单位

    在这一期中,Scott 与 Azure SQL 数据库性能首席项目经理主管 Tobias Ternstrom 一起详细阐释了新的数据库吞吐量单位 (Database Throughput Unit, ...

  7. Java [Leetcode 136]Single Number

    题目描述: Given an array of integers, every element appears twice except for one. Find that single one. ...

  8. Discuz!NT静态文件缓存(SQUID)

    在目前最新版本的产品中,我们提供了缓存静态文件的解决方案,就是使用SQUID做静态前端,将论坛中的大部分静态文件布署或外链到一个新的HTTP链接上,其中可以外链的静态文件包括:      1.Disc ...

  9. 在英文 sql2005中 比较nvarchar 与 varchar的速度

    declare @str1 varchar(max); declare @count int; ; print 'begin' begin set @str1 = @str1 + '*'; ; end ...

  10. ZOJ3865:Superbot(BFS) The 15th Zhejiang University Programming Contest

    一个有几个小坑的bfs 题目很长,但并不复杂,大概总结起来有这么点. 有t组输入 每组输入n, m, p.表示一个n*m的地图,每p秒按键会右移一次(这个等会儿再讲). 然后是地图的输入.其中'@'为 ...