看mr的运行显示：sqoop job可以获得的select max(xxx)结果，但是当mr开始时却显示大片错误，就是连接超时，和连接重置等问题，

最后去每个节点ping mysql的ip地址，发现

root@hslave1:/opt/cm-5.5.1/etc# ping 10.121.1.22

PING 10.121.1.22 (10.121.1.22) 56(84) bytes of data.

From 10.18.8.1 icmp_seq=1 Destination Port Unreachable

From 10.18.8.1: icmp_seq=2 Redirect Host(New nexthop: 10.8.8.1)

From 10.18.8.1 icmp_seq=2 Destination Port Unreachable

64 bytes from 10.18.8.1: icmp_seq=3 ttl=53 time=20.7 ms

64 bytes from 10.18.8.1: icmp_seq=4 ttl=53 time=19.0 ms

64 bytes from 10.18.8.1: icmp_seq=5 ttl=53 time=22.8 ms

64 bytes from 10.18.8.1: icmp_seq=6 ttl=53 time=20.9 ms

64 bytes from 10.18.8.1: icmp_seq=7 ttl=53 time=19.1 ms

64 bytes from 10.18.8.1: icmp_seq=8 ttl=53 time=22.4 ms

可能原因：

sqoop需要执行mr的所有机器都能连接mysql

可能mysql jar包有问题

最终解决：每个节点ping了一遍发现就没有错误了

sqoop导出mysql数据进入hive错误的更多相关文章

  1. 使用sqoop把mysql数据导入hive

    使用sqoop把mysql数据导入hive export HADOOP_COMMON_HOME=/hadoop export HADOOP_MAPRED_HOME=/hadoop   cp /hive ...

  2. Sqoop导出MySQL数据

    导入所有表: sqoop import-all-tables –connect jdbc:mysql://ip:port/dbName --username userName --password p ...

  3. python脚本 用sqoop把mysql数据导入hive

    转:https://blog.csdn.net/wulantian/article/details/53064123 用python把mysql数据库的数据导入到hive中,该过程主要是通过pytho ...

  4. 使用sqoop将mysql数据导入到hive中

    首先准备工具环境:hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表: 接下来就可以操作了... 一.将MySQL数据导入到hdfs 首先我测试将zhaopin表 ...

  5. 使用 sqoop 将mysql数据导入到hive表（import）

    Sqoop将mysql数据导入到hive表中 先在mysql创建表 CREATE TABLE `sqoop_test` ( `id` ) DEFAULT NULL, `name` varchar() ...

  6. Sqoop将mysql数据导入hbase的血与泪

    Sqoop将mysql数据导入hbase的血与泪(整整搞了大半天)  版权声明:本文为yunshuxueyuan原创文章.如需转载请标明出处: https://my.oschina.net/yunsh ...

  7. 使用 sqoop 将mysql数据导入到hdfs（import）

    Sqoop 将mysql 数据导入到hdfs(import) 1.创建mysql表 CREATE TABLE `sqoop_test` ( `id` ) DEFAULT NULL, `name` va ...

  8. Sqoop导入mysql数据到Hbase

    sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" ...

  9. linux下导入、导出mysql数据库命令 下载文件到本地

    一.下载到本地 yum install lrzsz sz filename  下载 rz filename  上传   linux下导入.导出mysql数据库命令 一.导出数据库用mysqldump命 ...

随机推荐

  1. immutable-styles 新的css style 开发模式

    immutable-styles 是一个开源的library,可以方便我们开发强壮以及可预测的web 界面,不用担心其他css 的影响 特性 编译时错误提示 防止css 覆盖 分离破坏点 严格继承 重 ...

  2. 解决GitHub下载速度比较慢

    第一步,打开本机上的Hosts文件 首先,什么是Hosts文件? 在互联网协议中,host表示能够同其他机器互相访问的本地计算机.一台本地机有唯一标志代码,同网络掩码一起组成IP地址,如果通过点到点协 ...

  3. phpstorm 2017激活码(方法)

    JetBrains激活 JetBrains 授权服务器(License Server URL):http://idea.imsxm.com 使用方法:激活时选择License server 填入htt ...

  4. .Net培训班课程体系

    .Net培训 第一部分:.Net基础 .Net基础:数据类型.变量.运算符.分支结构.循环结构.方法.反编译器.递归.递归算法的非递归优化: 面向对象:异常.封装继承多态.单例模式.装饰者设计模式.t ...

  5. 我的虚拟机静态IP配置

  6. php保留两位小数的3种方法

    <?php $num = 8.16789; //第一种:利用round()对浮点数进行四舍五入 echo round($num,2).PHP_EOL; //8.17 //第二种:利用sprint ...

  7. Executor与ExecutorService

    ExecutorService 接口继承了 Executor 接口,是 Executor 的子接口. Executor 接口定义了 execute()方法用来接收一个Runnable接口的对象,而 E ...

  8. 应用间通信方式HTTP和RPC

    一.HTTP和RPC 1.Dobbo  RPC框架 2.Sping Cloud 微服务架构下的一站式解决方案. 微服务直接使用的是 Http restful方式 二.SpringCloud中服务间两种 ...

  9. Centos7上HBase的安装和配置

    注意事项 HBase配置必须使用主机名,不支持直接配置IP地址.我尝试过,如果不使用主机名直接用IP,会导致HBase连接zk超时. > 设置主机名 hostnamectl set-hostna ...

  10. ML平台_Angel参考

    Angel 是腾讯开源基于参数服务器(Parameter Server)理念的机器学习框架(为支持超大维度机器学习模型运算而生).核心设计理念围绕模型,它将高维度的大模型切分到多个参数服务器节点,并通 ...