1)list-databases     List available databases on a server
sqoop list-databases --connect jdbc:db2://<server>:<port>/<database> --username username --password password

2) list-tables        List available tables in a database
sqoop list-tables --connect jdbc:db2://<server>:<port>/<database> --username username --password password
 
3) create-hive-table  Import a table definition into Hive
sqoop create-hive-table --connect jdbc:db2://<server>:<port>/<database> --username username --password password –table tablename  –hive-table hivetablename
其中 –table tablename为db2中的数据库database中的表 –hive-table hivetablename 为hive中新建的表名称
 
4) eval               Evaluate a SQL statement and display the results
sqoop eval --connect jdbc:db2://<server>:<port>/<database> --username username --password password -query 'SELECT * FROM <tablename>'
 
5) import             Import a table from a database to HDFS

sqoop import --connect jdbc:db2://<server>:<port>/<database> --username username --password password --compress --compression-codec 'com.hadoop.compression.lzo.LzopCodec' -table tablename --hcatalog-database hiveschema --hcatalog-table hivetable -m 1

其中 –table tablename为db2中的数据库database中的表 --hcatalog-database hiveschema 为hive中Schema --hcatalog-table hivetable为hive中表名称

sqoop import --connect jdbc:db2://<server>:<port>/<database> --username username --password password --compress --compression-codec 'com.hadoop.compression.lzo.LzopCodec' -table tablename --columns <column> --hcatalog-database hiveschema --hcatalog-table hivetable --hive-partition-key <partition-name> --hive-partition-value <partition-value> -m 1

6) import-all-tables  Import tables from a database to HDFS

7) export             Export an HDFS directory to a database table

sqoop export --connect jdbc:db2://<server>:<port>/<database> --username username --password password  -table tablename --hcatalog-database hiveschema --hcatalog-table hivetable -m 1

8) merge              Merge results of incremental imports

9) job                Work with saved jobs

10) metastore          Run a standalone Sqoop metastore

sqoop version

11) help               List available commands

sqoop help

sqoop COMMAND help

12) codegen            Generate code to interact with database records

13) version            Display version information

sqoop version

Sqoop 命令的更多相关文章

  1. Sqoop详细介绍包括:sqoop命令,原理,流程

    一简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS ...

  2. [sqoop1.99.7] sqoop命令

    官网文档:http://sqoop.apache.org/docs/1.99.7/user/CommandLineClient.html#delete-link-function 一.了解sqoop数 ...

  3. sqoop命令,mysql导入到hdfs、hbase、hive

    1.测试MySQL连接 bin/sqoop list-databases --connect jdbc:mysql://192.168.1.187:3306/trade_dev --username ...

  4. hive向mysql导入数据sqoop命令出错

    报错信息: java.lang.Exception: java.io.IOException: java.lang.ClassNotFoundException: info at org.apache ...

  5. Java通过Shell执行Sqoop命令没日志的问题

    修改执行部分的代码,改成用InputStream.read(byte[])的方法从流中读取数据 package com.example.demo.utils; import java.io.*; pu ...

  6. Sqoop 导入及导出表数据子集命令详解

    Sqoop命令详解 1.import命令 案例1:将mysql表test中的数据导入hive的hivetest表,hive的hivetest表不存在. sqoop import --connect j ...

  7. hadoop sqoop的常用名命令

    1 列出所有的ambari数据库中所有的表 Sqoop list-tables -connect  jdbc:mysql://localhost:3306/ambari -username ambar ...

  8. Hadoop学习笔记—18.Sqoop框架学习

    一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据移植过去并不容易.Apache Sqoop正在加 ...

  9. Oozie分布式任务的工作流——Sqoop篇

    Sqoop的使用应该是Oozie里面最常用的了,因为很多BI数据分析都是基于业务数据库来做的,因此需要把mysql或者oracle的数据导入到hdfs中再利用mapreduce或者spark进行ETL ...

随机推荐

  1. CardView官方教程

    Create Cards CardView extends the FrameLayout class and lets you show information inside cards that ...

  2. windows和mac下分别配置虚拟主机

    windows下配置 1.找到apache的配置文件,httpd.conf 2.找到 LoadModule rewrite_module modules/mod_rewrite.so 去掉前边的# 3 ...

  3. AWS Python SDK boto3中的基本概念与使用方法

    最近在用boto3编写AWS的lamda函数,学习到了boto3中的一些基本概念与使用方法.在此进行总结. 1. boto3提供了两个级别的接口来访问AWS服务:High Level的Resource ...

  4. 转 Android中进入系统设置界面

    Android软件时,常常需要打开系统设置或信息界面,来设置相关系统项或查看系统的相关信息,这时我们就可以使用以下语句来实现:(如打开“无线和网络设置”界面) Intent intent = new ...

  5. git branch

    使用git管理工具,branch 应该是我们接触最多的.不论我们是修复bug,还是做项目,都会新开branch,工作完成后再合并. 然而对一些初学者,对git的一些命令知之甚少,这里,给大家写一些常用 ...

  6. linux/unix网络编程之 select

    转自http://www.cnblogs.com/zhuwbox/p/4221934.html linux 下的 select 知识点 unp 的第六章已经描述的很清楚,我们这里简单的说下 selec ...

  7. hdu 1394 Minimum Inversion Number (裸树状数组 求逆序数 && 归并排序求逆序数)

    题目链接 题意: 给一个n个数的序列a1, a2, ..., an ,这些数的范围是0-n-1, 可以把前面m个数移动到后面去,形成新序列:a1, a2, ..., an-1, an (where m ...

  8. UVa 1149 Bin Packing 【贪心】

    题意:给定n个物品的重量l[i],背包的容量为w,同时要求每个背包最多装两个物品,求至少要多少个背包才能装下所有的物品 和之前做的独木舟上的旅行一样,注意一下格式就好了 #include<ios ...

  9. Android、iPhone和Java三个平台一致的加密工具

    先前一直在做安卓,最近要开发iPhone客户端,这其中遇到的最让人纠结的要属Java.Android和iPhone三个平台加解密不一致的问题. 因为手机端后台通常是用JAVA开发的Web Servic ...

  10. 转:MVC2表单验证失败后,直接返回View,已填写的内容就会清空,可以这样做;MVC2输出文本;MVC2输出PDF文件

    ViewData.ModelState.AddModelError("FormValidator", message); foreach (string field in Requ ...