sqoop2相关实例：hdfs和mysql互相导入（转）

原文地址:http://blog.csdn.net/dream_an/article/details/74936066 超详细讲解Sqoop2应用与实践 2017年07月10日 20:06:57 阅读数:3981 摘要:超详细讲解Sqoop2应用与实践,从hdfs上的数据导入到postgreSQL中,再从postgreSQL数据库导入到hdfs上.详细讲解创建link和创建job的操作,以及如何查看sqoop2的工作状态. 1.准备,上一篇超详细讲解Sqoop2部署过程,Sqoop2自动部署源码…

使用MapReduce将mysql数据导入HDFS

package com.zhen.mysqlToHDFS; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import org.apache.hadoop.conf.Configuration; im…

使用 sqoop 将mysql数据导入到hdfs（import）

Sqoop 将mysql 数据导入到hdfs(import) 1.创建mysql表 CREATE TABLE `sqoop_test` ( `id` ) DEFAULT NULL, `name` varchar() DEFAULT NULL, `age` ) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=latin1 插入数据 2.hive 建表 hive> create external table sqoop_test(id int,name st…

Sqoop将mysql数据导入hbase的血与泪

Sqoop将mysql数据导入hbase的血与泪(整整搞了大半天) 版权声明:本文为yunshuxueyuan原创文章.如需转载请标明出处: https://my.oschina.net/yunshuxueyuan/blogQQ技术交流群:299142667 一. 问题如何产生庞老师只讲解了mysql和hdfs,mysq与hive的数据互导,因此决定研究一下将mysql数据直接导入hbase,这时出现了一系列问题. 心酸史: 二. 开始具体解决问题需求:(将以下这张表数据导入mysql)…

MySQL数据导入导出方法与工具mysqlimport

MySQL数据导入导出方法与工具mysqlimport<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" /> 1.mysqlimport的语法介绍: mysqlimport位于mysql/bin目录中,是mysql的一个载入(或者说导入)数据的一个非常有效的工具.这是一个命令行工具.有两个参数以及大量的选项可供选择.这个工具把一个文本文件(text file)导入到你指定的数据…

MySQL导出导入命令的用例

1.导出整个数据库 mysqldump -u 用户名 -p 数据库名 > 导出的文件名 mysqldump -u wcnc -p smgp_apps_wcnc > wcnc.sql 2.导出一个表 mysqldump -u 用户名 -p 数据库名表名> 导出的文件名 mysqldump -u wcnc -p smgp_apps_wcnc users> wcnc_users.sql 3.导出一个数据库结构 mysqldump -u wcnc -p -d --add-drop-tab…

MYSQL 数据库导入导出命令

MySQL命令行导出数据库 1,进入MySQL目录下的bin文件夹:cd MySQL中到bin文件夹的目录如我输入的命令行:cd C:\Program Files\MySQL\MySQL Server 4.1\bin (或者直接将windows的环境变量path中添加该目录) 2,导出数据库:mysqldump -u 用户名 -p 数据库名 > 导出的文件名如我输入的命令行:mysqldump -u root -p news > news.sql (输入后会让你输入进入MySQL的密码…

MYSQL数据库导入导出(可以跨平台)

MYSQL数据库导入导出.sql文件转载地址:http://www.cnblogs.com/cnkenny/archive/2009/04/22/1441297.html 本人总结:直接复制数据库,会出现复制的数据不能使用,最好使用导入导出命令或者软件工具一.MYSQL的命令行模式的设置: 桌面->我的电脑->属性->环境变量->新建-> PATH=“:path\mysql\bin;”其中path为MYSQL的安装路径. 二.简单的介绍一下命令行进入MYSQL的方法: 1…

mysql数据导入

1.windows解压 2.修改文件名,例如a.txt 3.rz 导入到 linux \data\pcode sudo su -cd /data/pcode/rm -rf *.txt 4.合并到一个文件:cat *.txt > data.txtdos2unix data.txt对比文件行数wc -l *.txt 5.mysql导入mysql -u root -p密码mysql> use 库名; mysql> load data local infile '/data/pcode/data…

SQL[连载2]语法及相关实例

SQL[连载2]语法及相关实例 SQL语法数据库表一个数据库通常包含一个或多个表.每个表由一个名字标识(例如:"Websites"),表包含带有数据的记录(行). 在本教程中,我们在 MySQL 的 RUNOOB 数据库中中创建了 Websites 表,由于存储网站记录. 我们可以通过以下命令查看 "Websites" 表的数据: mysql> use RUNOOB; Database changed mysql> set names utf8; Q…

mysql文件导入到数据库load data infile into table 的使用例子

load data infile "C:/Users/Administrator/Desktop/1.txt"into table 要一个已经存的表名字段默认用制表符隔开文件我爱你 20 相貌平常李奎 21 相貌1平常王二米 210 相貌3平常老三 24 很强老四 34 XXXXX 常用如下: Load Data InFile 'C:/Data.txt' Into Table `TableTest` Lines Terminated By '\r\n';这个语句,字段默认用制表符…

mysql基础（mysql数据库导入到处) 很基础很实用

一.MYSQL的命令行模式的设置:桌面->我的电脑->属性->环境变量->新建->PATH=“:path\mysql\bin;”其中path为MYSQL的安装路径.二.简单的介绍一下命令行进入MYSQL的方法:1.C:\>mysql -h hostname -u username -p按ENTER键,等待然后输入密码.这里hostname为服务器的名称,如localhost,username为MYSQL的用户名,如root.进入命令行后可以直接操作MYSQL了.2.简单…

MYSQL 数据库导入导出命令

在不同操作系统或MySQL版本情况下,直接拷贝文件的方法可能会有不兼容的情况发生.所以一般推荐用SQL脚本形式导入.下面分别介绍两种方法. MySQL命令行导出数据库 1,进入MySQL目录下的bin文件夹:cd MySQL中到bin文件夹的目录如我输入的命令行:cd C:\Program Files\MySQL\MySQL Server 4.1\bin (或者直接将windows的环境变量path中添加该目录) 2,导出数据库:mysqldump -u 用户名 -p 数据库名 > 导出的文件…

mysql数据库导入导出查询修改表记录

mysql数据导入导出: 导入: 把系统的文件的内容,保存到数据库的表里导入数据的基本格式:mysql> load data infile "文件名" into table 表名 fields terminated by '分隔符' lines terminated by '\n'; 实例:把系统用户信息保存到hydra01库下的userinfo表里 mysql> create table userinfo(name char(20),password char(1),u…

使用sqoop把mysql数据导入hive

使用sqoop把mysql数据导入hive export HADOOP_COMMON_HOME=/hadoop export HADOOP_MAPRED_HOME=/hadoop cp /hive/lib/mysql-connector-java-5.1.25-bin.jar /sqoop/lib/ share表第一列为自增主键 share_id,share_id<1000的数据共有999条: mysql> SELECT COUNT(*) FROM share WHERE share_id…

使用 sqoop 将mysql数据导入到hive表（import）

Sqoop将mysql数据导入到hive表中先在mysql创建表 CREATE TABLE `sqoop_test` ( `id` ) DEFAULT NULL, `name` varchar() DEFAULT NULL, `age` ) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=latin1 插入数据 fz dx test test_add test_add- test_add_2 在hive中创建表,表结构和mysql中一样 hive> c…

mysql高效导入导出load data [infile][outfile]用法

一.MySQL高效导入数据的方法load data infile load data infile语句从一个文本文件中以很高的速度读入一个表中.使用这个命令之前,mysqld进程(服务)必须已经在运行.由于安全原因,当读取位于服务器上的文件时,文件必须处于数据库目录或可被所有人读取.另外,为了对服务器上文件使用load data infile,在服务器主机上必须有file的权限. 基本语法 load data [low_priority] [local] infile 'file_name tx…

使用sqoop将mysql数据导入到hive中

首先准备工具环境:hadoop2.7+mysql5.7+sqoop1.4+hive3.1 准备一张数据库表: 接下来就可以操作了... 一.将MySQL数据导入到hdfs 首先我测试将zhaopin表中的前100条数据导出来,只要id.jobname.salarylevel三个字段. 再Hdfs上创建目录 hadoop fs -mkdir -p /data/base #用于存放数据我们cd到sqoop目录下执行命令 # \ 用于换行bin/sqoop import \ --connect jd…

Logstash学习之路（四）使用Logstash将mysql数据导入elasticsearch（单表同步、多表同步、全量同步、增量同步）

一.使用Logstash将mysql数据导入elasticsearch 1.在mysql中准备数据: mysql> show tables; +----------------+ | Tables_in_yang | +----------------+ | im | +----------------+ 1 row in set (0.00 sec) mysql> select * from im; +----+------+ | id | name | +----+------+ | 2…

Java实现MySQL数据库导入

距离上班还有一段时间.现在总结一下如何使用Java语言实现MySQL数据库导入: 首先新建名为test的数据库: 其次执行下面Java代码: import java.io.File; import java.io.IOException; /** * MySQL数据库导入 * * @author GaoHuanjie */ public class MySQLDatabaseImport { /** * Java实现MySQL数据库导入 * * @author GaoHuanjie * @par…

mysql数据库导入和导出

Mysql数据中,使用时,总是会碰见导入和导出情况,所以如何正确的导入导出,非常重要!下面根据工作中用到的方法,会不管补充: 导入: 直接在Mysql中导入: mysql>use databaseName; mysql> load data infile 'filePath' into table 'tableName' 如果直接使用sql脚本文件,可使用source: 进入mysql数据库控制台,如mysql -u root -p mysql>use 数据库然后使用source…

Java实现Mysql数据导入导出

package com.backup; import java.io.BufferedReader;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.InputStream;import java.io.InputStreamReader;import java.io.OutputStream;import java.io.OutputStreamWriter; public class T…

使用phpExcel向mysql数据库导入excel

使用phpExcel向mysql数据库导入excel from:http://blog.163.com/dustye_l/blog/static/172439513201242491016834/ 使用当前最新版本phpExcel,版本号为 1.7.7 1.提交excel文件的页面: .......... <form enctype="multipart/form-data" method="post" id="form" action=&…

Mysql数据库导入命令Source详解

Mysql数据库导入命令Source详解几个常用用例: 1.导出整个数据库 mysqldump -u 用户名 -p 数据库名 > 导出的文件名 mysqldump -u root -p dataname >dataname.sql 这个时候会提示要你输入root用户名的密码,输入密码后dataname数据库就成功备份在mysql/bin/目录中. 2.导出一个表 mysqldump -u 用户名 -p 数据库名表名> 导出的文件名 mysqldump -u root -p datan…

[转]mysql导出导入中文表解决方法

在开发过程中会经常用到mysql导出导入中文表,本文将详细介绍其如何使用,需要的朋友可以参考下. 在开发过程中会经常用到mysql导出导入中文表,本文将详细介绍其如何使用,需要的朋友可以参考下一.先针对utf8导出: (1)导出源数据库的所有表: 代码如下: mysqldump -u root -p密码 --socket=mysql.sock --default-character-set=utf8 --set-charset=utf8 --hex-blob --databases 数据库名 >…