shell编写mysql抽取数据脚本】的更多相关文章

#!/bin/bash DT=`date +%Y%m%d` #当前日期YESTERDAY=`date -d "yesterday" +%Y-%m-%d` #昨天,用于处理数据的日期 if [ ! -n "$1" ] ;then echo "ETL Date:$YESTERDAY";else YESTERDAY=${1} echo "ETL Date:$YESTERDAY";fi #AGENT_IDS="'NDM1MW…
mysql批量数据脚本 1 建表 create table dept( id int unsigned primary key auto_increment, deptno mediumint unsigned not null default 0, dname varchar(20) not null default "", loc varchar(13) not null default "" )engine=innodb default charset=gbk…
如需转载,请经本人同意. 这是之前写的一个备份脚本,调用的备份工具是xtrabackup 编写思路是:每周一全备份,备份后提取lSN号,对备份文件进行压缩,其余时候在LSN的基础上进行增量备份,并对30天外的备份数据进行清楚操作.该脚本对shell的基本语法都有覆盖,对快速入门shell会有帮助. 脚本语言:shell #!/usr/bin/bash # @author Jane.Hoo # @written at:// # @GRANT SELECT, RELOAD, SUPER, LOCK…
1、先写一个python脚本 vim /opt/mysql_dump.py #!/usr/bin/env python# -*- coding:utf-8 -*-import osimport time databases = '--all-database'Mysql_username = 'root'Mysql_password = '123456'Mysql_dir = '/opt/mysql'databases_name = 'database' def Mysql_dump_file(…
一.参考文档: 1.https://www.rittmanmead.com/blog/2014/03/using-sqoop-for-loading-oracle-data-into-hadoop-on-the-bigdatalite-vm/ 2.http://www.cnblogs.com/bjtu-leefon/archive/2013/06/28/3160549.html 二.使用脚本 ----sqoop import zdsd 使用注意: 1.执行节点 Sqoop_home/lib 里添…
使用源码包安装的Nginx没办法使用"service nginx start"或"/etc/init.d/nginx start"进行操作和控制,所以写了以下的服务控制脚本. 可以使用的选项有: start  启动 stop  停止 reload 重载 restart  重启 status   状态 test 检查配置文件 1.创建脚本文件并添加执行权限 # touch /etc/init.d/nginx # chmod +x /etc/init.d/nginx 2…
MySQL实例部署情况 01:MySQL程序安装目录:/data/apps/mysql 02:MySQL实例3306的配置文件为:/data/mysql/3306/my.cnf 03:MySQL实例3306的PID文件为:/data/mysql/3306/mysql.pid 04:MySQL实例3306的socket文件为:/data/mysql/3306/mysql.sock 脚本内容如下 #!/bin/bash # # Load OS variables source /etc/bashrc…
#!/bin/shSYSTEM=`uname -s` echo "echo"$SYSTEM if [[ $SYSTEM = "Linux" ]]; then        echo "SYSTEM Linux" elif [[ $SYSTEM = "FreeBSD" ]]; then        echo "SYSTEM FreeBSD"elif [[ $SYSTEM = "Solaris&qu…
DELIMITER $$CREATE DEFINER=`root`@`192.168.2.254` PROCEDURE `pjzzspdz_fpmx_initdata12101245`()BEGIN #其中走完一次循环可产生15条数据,单天数据量40w 因此日期增量值为40w/15=26667 ,总的数据量为 5000w,故外循环为5000w/15=3333333    DECLARE my_count INT DEFAULT 1;    DECLARE my_jqbh INT DEFAULT…
一.建表 # 新建库 create database bigData; use bigData; #1 建表dept CREATE TABLE dept( id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0, dname VARCHAR(20) NOT NULL DEFAULT "", loc VARCHAR(13) NOT NULL DEFAULT "…