shell脚本调用spark-sql

【shell脚本调用spark-sql】的更多相关文章

Shell脚本调用SQL文格式

Shell脚本调用SQL文格式 1. 定义需要执行的SQL文,以及需要输出文件 OUTFILE=\${DATADIR}/\${FILENAME} SQLFILE=\${DATADIR}/check_tradedetail.sql 2. 设置需要执行的SQL文 echo -n " select tr.id || ',' || m.merchant_code || ',' || m.merchant_name || ',' || to_char(tr.trade_start_time, 'yyyy-…

shell脚本调用spark-sql

为了更方便的查询并产生报表, 需要使用shell脚本调用spark-sql spark/bin/spark-sql --master spark://host:7077 -f ${SQL_FILE} > ${OUT_FILE}…

Shell脚本中执行sql语句操作mysql的5种方法【转】

对于自动化运维,诸如备份恢复之类的,DBA经常需要将SQL语句封装到shell脚本.本文描述了在Linux环境下mysql数据库中,shell脚本下调用sql语句的几种方法,供大家参考.对于脚本输出的结果美化,需要进一步完善和调整.以下为具体的示例及其方法. 1.将SQL语句直接嵌入到shell脚本文件中复制代码代码如下: --演示环境 [root@SZDB ~]# more /etc/issue CentOS release 5.9 (Final) Kernel \r on an \m…

shell脚本调用C语言之字符串切分之strtok函数

今天上午在写一个需求,要求的比较急,要求当天完成,我大致分析了一下,可以采用从shell脚本中插入一连串的日期,通过调用proc生成的可执行文件,将日期传入后台数据库,在数据库中进行计算.需要切分日期的字符串,转化成整数,插入int 数组中,手工实现太慢,就直接借用系统的strstr函数来用了. 场景模拟: 1. shell脚本: #diao.sh #!/bin/bash date1="20170622,20170623,20170626,20170627,20170628,20170629,2…

shell脚本调用C语言之字符串切分函数——strtok

今天上午在写一个需求,要求的比较急,要求当天完成,我大致分析了一下,可以采用从shell脚本中插入一连串的日期,通过调用proc生成的可执行文件,将日期传入后台数据库,在数据库中进行计算.需要切分日期的字符串,转化成整数,插入int 数组中,手工实现太慢,就直接借用系统的strtok函数来用了. 场景模拟: 1. shell脚本: #diao.sh #!/bin/bash date1="20170622,20170623,20170626,20170627,20170628,20170629,2…

Shell脚本调用ftp上传文件

Shell脚本调用ftp上传文件 1.脚本如下 ftp -n<<! open x.x.x.x ###x.x.x.x为ftp地址 user username password ###username为ftp用户名 password为用户名密码 binary ###binary为二进制传输 cd /report ###切换到ftp目录 lcd /home/oracle/report/export ###切换到本地linux目录 prompt put report_data_`date +%Y%m%…

Miniconda 安装 & Pip module 安装 & Shell 脚本调用 Miniconda 虚拟环境手册（实战项目应用）

(实战项目应用) 1. 下载Miniconda 两个安装方式: 方式1:wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py37_4.8.2-Linux-x86_64.sh 方式2:选择下载安装包 "Miniconda3-py37_4.8.2-Linux-x86_64.sh" 2. 安装Miniconda 安装过程默认:具体过程为:yes->enter(回车)->yes 3. 检…

Shell脚本中执行sql语句操作mysql

对于自动化运维,诸如备份恢复之类的,DBA经常需要将SQL语句封装到shell脚本.本文描述了在Linux环境下mysql数据库中,shell脚本下调用sql语句的几种方法,供大家参考.对于脚本输出的结果美化,需要进一步完善和调整.以下为具体的示例及其方法. 1.将SQL语句直接嵌入到shell脚本文件中复制代码代码如下: --演示环境 [root@SZDB ~]# more /etc/issue CentOS release 5.9 (Final) Kernel \r on an \…

linux下crontab定时执行shell脚本调用oracle 存储过程

问题:脚本内调用存储过程,脚本直接执行没问题,使用crontab 执行脚本存储过程未执行原因:缺少oracle环境变量解决:在shell脚本里添加oracle的环境变量 #!/bin/sh PATH=$PATH:$HOME/bin //环境变量 export ORACLE_BASE=/home/oracle export ORACLE_HOME=/home/oracle/product/11.2.0/clientexport PATH=$PATH:$ORACLE_HOME/bin szCfg…

SHELL脚本中执行SQL语句操作MYSQL的5种方法

对于自动化运维,诸如备份恢复之类的,DBA经常需要将SQL语句封装到shell脚本.本文描述了在Linux环境下mysql数据库中,shell脚本下调用sql语句的几种方法,供大家参考.对于脚本输出的结果美化,需要进一步完善和调整.以下为具体的示例及其方法. 1.将SQL语句直接嵌入到shell脚本文件中复制代码代码如下: --演示环境 [root@SZDB ~]# more /etc/issue CentOS release 5.9 (Final) Kernel \r on an \m…

shell脚本调用python脚本的路径问题

脚本的相互调用中,只有在同一级目录下才可以使用__file__参数去获取路径名,(在shell里使用pwd也同样),否则,使用的就是主文件(最开始运行的脚本程序)的所在位置,是错误路径:一定要注意当期那运行主文件是谁而 shell脚本相互调用时路径也要注意部分命令会使用当前文件路径:参见 shell脚本里面相互调用时路径不要用pwd获取 http://blog.csdn.net/longshenlmj/article/details/16887505 [deve_test_user@A3-Tr…

shell脚本中执行sql的例子

这个例子演示了如何在shell脚本中执行多个sql来操作数据库表. #! /bin/sh USER_HOME=/home/`whoami` . /etc/profile if [ -f ${USER_HOME}/.bash_profile ]; then . ${USER_HOME}/.bash_profile fi mysql -h -ujifei30 -pNapnUszJD -Dtpssprod <<EOF select table_name from information_schema…

Shell脚本直接执行sql语句和不显示列名

在shell脚本编程的时候,可以通过在mysql连接命令添加-N和-e参数实现查询结果不显示列名和直接执行sql语句操作 demo $(mysql -h ${HOST} -u ${USER} -p${PASSWORD} -N -e "${queryTable}")…

shell脚本中执行sql脚本并传递参数(mysql为例)

1.mysql脚本文件 t.sql insert into test.t values(@name,@age); exit 2.shell脚本文件 a.sh (为方便演示,与t.sql文件放在同一目录下) #!/bin/sh # fetch user parameters input by user read -p "please input name value : " name read -p "please input name age : " age ec…

shell脚本中执行sql脚本(mysql为例)

1.sql脚本(t.sql) insert into test.t value ("LH",88); 2.shell脚本(a.sh 为方便说明,a.sh与t.sql在同一目录下) 说明:3种执行方式,后两行也可以(已注释,感兴趣可以尝试下) #!/bin/sh mysql -u root < t.sql# mysql -u root -e "source t.sql"# mysql -u root -e "\. t.sql" 3.…

shell脚本调用python模块

python helloworld.py代码为 # coding:utf-8 from __future__ import print_function import sys print(sys.path) shell脚本run.sh为 #! /bin/bash # 注意上面一行不是注释 PATH=/home/anaconda3/bin:/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin export PATH p…

shell脚本中执行sql命令

1.mysql 数据库表信息 2.shell脚本(a.sh)信息 #!/bin/sh mysql -u root << myInsert insert into test.t values(); myInsert 3.执行 ./a.sh 4. 执行结果…

Shell脚本调用Oralce数据库SQL文生产日志

#!/bin/shexport LANG="zh.CN.GBK" echo -n "********************************************" if [ "\$#" -ne "1" ] then echo "Error ,you should give the fileName" else sqlpath=/home/oracle/update/updatesql/\${1…

linux shell脚本调用java main方法代码

#!/bin/sh # #该脚本为Linux下启动java程序的通用脚本.即可以作为开机自启动service脚本被调用, #也可以作为启动java程序的独立脚本来使用. # #Author: tudaxia.com, Date: 2011/6/7 # #警告!!!:该脚本stop部分使用系统kill命令来强制终止指定的java程序进程. #在杀死进程前,未作任何条件检查.在某些情况下,如程序正在进行文件或数据库写操作, #可能会造成数据丢失或数据不完整.如果必须要考虑到这类情况,则需要改写此脚本…

shell脚本调用传参【转载】

转自:https://www.cnblogs.com/cisum/p/8010658.html 1.直接使用$0,$1,$2,$3 $0是脚本的名字,就是按顺序来 #!/bin/bash # author:菜鸟教程 # url:www.runoob.com echo "Shell 传递参数实例!"; echo "执行的文件名:$0"; echo "第一个参数为:$1"; echo "第二个参数为:$2"; echo "…

shell 脚本中执行SQL语句 -e "..."

/usr/local/mysql/bin/mysql -uroot -p123456 -e " use faygo source faygo.sql select * from devquit "…

shell 脚本中执行sql

#!/bin/bashsql='show databases' result=`mysql -uroot -pengine2user -h127.0.0.1 -e "${sql}"` #一定要加双引号 “”“” echo $result 参考: https://blog.csdn.net/long12310225/article/details/77521957…

shell 脚本运行 hive sql

#!/b START=$(date +%s); datebegin=`date -d "$1" "+%Y%m%d"` dateend=`date -d "$2" "+%Y%m%d"` sdate=`date -d "$datebegin -1 days" "+%Y%m%d"` while [ "$datebegin" -le "$dateend"…

linux shell脚本调用java main方法代码传值

#!/bin/bash #description: ljdjService export PRG_HOME=/ainmc/work/toptea/dataTransfer PRG_KEYWORD=projectName PRG=$PRG_HOME/server.sh JAVA_HOME=/aa/bb/jdk1.8.0_111 #jdk安装位置 LOGCFG="-Dlogback.configurationFile=$PRG_HOME/conf/logback.xml" FILE_ENC…

Linux/Unix shell 脚本中调用SQL,RMAN脚本

Linux/Unix shell脚本中调用或执行SQL,RMAN 等为自动化作业以及多次反复执行提供了极大的便利,因此通过Linux/Unix shell来完成Oracle的相关工作,也是DBA必不可少的技能之一.本文针对Linux/Unix shell脚本调用sql, rman 脚本给出了相关示例. 一.由shell脚本调用sql,rman脚本 1.shell脚本调用sql脚本 #首先编辑sql文件 oracle@SZDB:~> more dept.sql connect scott/tige…