通用参数

import

export

通用通用参数
选项     含义说明
–connect     指定JDBC连接字符串
–connection-manager     指定要使用的连接管理器类
–driver     指定要使用的JDBC驱动类
–hadoop-mapred-home
    指定$HADOOP_MAPRED_HOME路径
–help     打印用法帮助信息
–password-file     设置用于存放认证的密码信息文件的路径
-P     从控制台读取输入的密码
–password     设置认证密码
–username     设置认证用户名
–verbose     打印详细的运行信息
–connection-param-file     可选,指定存储数据库连接参数的属性文件

import
选项     含义说明
–append     将数据追加到HDFS上一个已存在的数据集上
–as-avrodatafile     将数据导入到Avro数据文件
–as-sequencefile     将数据导入到SequenceFile
–as-textfile     将数据导入到普通文本文件(默认)
–boundary-query     边界查询,用于创建分片(InputSplit)
–columns <col,col,col…>     从表中导出指定的一组列的数据
–delete-target-dir     如果指定目录存在,则先删除掉
–direct     使用直接导入模式(优化导入速度)
–direct-split-size     分割输入stream的字节大小(在直接导入模式下)
–fetch-size     从数据库中批量读取记录数
–inline-lob-limit     设置内联的LOB对象的大小
-m,–num-mappers     使用n个map任务并行导入数据
-e,–query     导入的查询语句
–split-by     指定按照哪个列去分割数据
–table     导入的源表表名
–target-dir
    导入HDFS的目标路径
–warehouse-dir
    HDFS存放表的根路径
–where     指定导出时所使用的查询条件
-z,–compress     启用压缩
–compression-codec     指定Hadoop的codec方式(默认gzip)
–null-string     果指定列为字符串类型,使用指定字符串替换值为null的该类列的值
–null-non-string <null-string     如果指定列为非字符串类型,使用指定字符串替换值为null的该类列的值

export
选项     含义说明
–validate     启用数据副本验证功能,仅支持单表拷贝,可以指定验证使用的实现类
–validation-threshold     指定验证门限所使用的类
–direct     使用直接导出模式(优化速度)
–export-dir
    导出过程中HDFS源路径
-m,–num-mappers     使用n个map任务并行导出
–table     导出的目的表名称
–call     导出数据调用的指定存储过程名
–update-key     更新参考的列名称,多个列名使用逗号分隔
–update-mode     指定更新策略,包括:updateonly(默认)、allowinsert
–input-null-string     使用指定字符串,替换字符串类型值为null的列
–input-null-non-string     使用指定字符串,替换非字符串类型值为null的列
–staging-table     在数据导出到数据库之前,数据临时存放的表名称
–clear-staging-table     清除工作区中临时存放的数据
–batch     使用批量模式导出
————————————————
版权声明:本文为CSDN博主「夏至1208」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_34382453/article/details/83573141

Sqoop import export参数的更多相关文章

  1. sqoop import/export使用经验

    一.先创建一个小表(test_01)进行测试(主节点IP:169.254.109.130/oracle服务器IP:169.254.109.100) 1.测试连接oracle; sqoop list-t ...

  2. (MySQL里的数据)通过Sqoop Import Hive 里 和 通过Sqoop Export Hive 里的数据到(MySQL)

    Sqoop 可以与Hive系统结合,实现数据的导入和导出,用户需要在 sqoop-env.sh 中添加HIVE_HOME的环境变量. 具体,见我的如下博客: hadoop2.6.0(单节点)下Sqoo ...

  3. how to use Sqoop to import/ export data

    Sqoop is a tool designed for efficiently transferring data between RDBMS and HDFS, we can import dat ...

  4. (MySQL里的数据)通过Sqoop Import HDFS 里 和 通过Sqoop Export HDFS 里的数据到(MySQL)(五)

    下面我们结合 HDFS,介绍 Sqoop 从关系型数据库的导入和导出 一.MySQL里的数据通过Sqoop import HDFS 它的功能是将数据从关系型数据库导入 HDFS 中,其流程图如下所示. ...

  5. (MySQL里的数据)通过Sqoop Import HBase 里 和 通过Sqoop Export HBase 里的数据到(MySQL)

    Sqoop 可以与HBase系统结合,实现数据的导入和导出,用户需要在 sqoop-env.sh 中添加HBASE_HOME的环境变量. 具体,见我的如下博客: hadoop2.6.0(单节点)下Sq ...

  6. 【ABAP系列】SAP ABAP 给初学者-解读function函数的export和import等参数

    公众号:SAP Technical 本文作者:matinal 原文出处:http://www.cnblogs.com/SAPmatinal/ 原文链接:[ABAP系列]SAP ABAP 给初学者-解读 ...

  7. sqoop import 和export的问题

    sqoop import DB 2 hive(hdfs)是采用JDBC的过程,与传统hive区别在与多走了thrift server接口(稳定性待学习现在还比较模糊没做过大数据量测试),而export ...

  8. MSBI BigData demo—sqoop import

    --sp_readerrorlog 读取错误的信息记录 exec sys.sp_readerrorlog 0, 1, 'listening'查看端口号 首先hadoop环境要配置完毕,并检验可以正常启 ...

  9. sqoop 测试 --hive-delims-replacement 参数

    在hive的官方文档中给的例子中字段分隔符是\001,但是在他的API文档中--hive-delims-replacement ,--hive-drop-import-delims   参数中会处理的 ...

随机推荐

  1. 风炫安全web安全学习第三十六节课-15种上传漏洞讲解(一)

    风炫安全web安全学习第三十六节课 15种上传漏洞讲解(一) 文件上传漏洞 0x01 漏洞描述和原理 文件上传漏洞可以说是日常渗透测试用得最多的一个漏洞,因为用它获得服务器权限最快最直接.但是想真正把 ...

  2. Java8接口的默认方法

    项目实战 实现上图接口的实现类有很多,其中有些实现类已经在生成环境了,现在需要新增几个实现类,都需要有回调方法,所以在接口中添加了一个回调的默认方法,如果使用接口的普通方法就得改所有实现了接口的实现类 ...

  3. Hive表的基本操作

    目录 1. 创建表 2. 拷贝表 3. 查看表结构 4. 删除表 5. 修改表 5.1 表重命名 5.2 增.修.删分区 5.3 修改列信息 5.4 增加列 5.5 删除列 5.6 修改表的属性 1. ...

  4. 学习记录——使用PHP实现数据增删查改等基本功能(前后端分离)

    萌新初次学习服务器端语言,分享学习经验 实现功能:1.显示数据表    2.对数据进行分页    3.对数据进行增删查改 由于本萌新采用前后端完全分离方案,所以数据传输用的ajax,为了提高代码的复用 ...

  5. Redis实战篇(一)搭建Redis实例

    今天是Redis实战系列的第一讲,先从如何搭建一个Redis实例开始. 下面介绍如何在Docker.Windows.Linux下安装. Docker下安装 1.查看可用的 Redis 版本 访问 Re ...

  6. SpringBoot整合Shiro完成认证

    三.SpringBoot整合Shiro思路 首先从客户端发来的所有请求都经过Shiro过滤器,如果用户没有认证的都打回去进行认证,认证成功的,再判断是否具有访问某类资源(公有资源,私有资源)的权限,如 ...

  7. Docker 镜像基础(三)

    基于Dockerfile制作yum版本nginx镜像 [root@node-2 ~]# mkdir /opt/nginx [root@node-2 ~]# cd /opt/nginx/ ## 创建Do ...

  8. Azure Key Valut 简介

    Azure Key Vault(密钥库)是用于安全地存储和访问Secret的云服务,Secret是需要严格控制访问权限的内容,例如API密钥,密码,证书或加密密钥.Key Vault Service支 ...

  9. Assuming that agent dropped connection because of access permission

    Assuming that agent dropped connection because of access permission

  10. paramiko模块简单用法

    最简单最基本的用法 1 #__*__coding:utf-8__*__ 2 import paramiko 3 hostname = '192.168.1.1' 4 username = 'root' ...