#!/bin/bash

#/usr/hdp/current/flume-server/bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv1.conf -n a1 -Dflume.root.logger=WARN,console >& &

#sleep

#/usr/hdp/current/flume-server/bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv3.conf -n a1 -Dflume.root.logger=WARN,console >& &

#sleep 

#/usr/hdp/current/spark2-client/bin/spark-submit --class cold_test.realTimeEtl.application.RealtimeEtl --master yarn --deploy-mode client --queue streaming --driver-memory 4g --num-executors  --executor-memory 2g --executor-cores  --driver-java-options="-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --jars /usr/hdp/current/spark2-client/jars/ojdbc6.jar,/usr/hdp/current/spark2-client/jars/config-1.3..jar /home/a133_a_daaas005/guo_test/Cold_Test_RealTimeETLCsv1-1.0-SNAPSHOT.jar &

#/usr/hdp/current/spark2-client/bin/spark-submit --class app.Cold_test_Csv3 --master local[*] --driver-memory 8g --num-executors  --executor-memory 2g --executor-cores  --driver-java-options="-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --jars /usr/hdp/current/spark2-client/jars/ojdbc6.jar,/usr/hdp/current/spark2-client/jars/config-1.3..jar /home/a133_a_daaas005/guo_test/WORKTEST-1.0-OFFICIA.jar

#FlumeStartShell     /usr/hdp/current/flume-server

bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv1.conf -n a1 -Dflume.root.logger=WARN,console >>./ColdTestFlume/run.log >& &

#SparkStreamingStartShell    /home/a133_a_daaas005/guo_test

/usr/hdp/current/spark2-client/bin/spark-submit --class cold_test.realTimeEtl.application.RealtimeEtl --master yarn --deploy-mode client --queue ETL --driver-memory 10g --num-executors  --executor-memory 2g --executor-cores  --driver-java-options="-Djava.security.auth.login.config=jaas.conf" --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=jaas.conf" --files "./jaas.conf#jaas.conf,./kafka.service.keytab#kafka.service.keytab" --jars /usr/hdp/current/spark2-client/jars/ojdbc6.jar,/usr/hdp/current/spark2-client/jars/config-1.3..jar /home/a133_a_daaas005/guo_test/Cold_Test_RealTimeETLCsv1-1.0-SNAPSHOT.jar

#MointorStartShell    source activate rmfile       /data/landing_zone/BBAC/Cold_Test/script/

java -classpath Cold_Test.MonitorFileAndPutOracle-1.0-SNAPSHOT.jar cold_test.application.MonitorFile >>monitorrun.log >& &

spark执行命令 监控执行命令的更多相关文章

  1. pv命令监控Linux命令的执行进度

    pv命令监控Linux命令的执行进度 http://www.techweb.com.cn/network/system/2015-12-14/2241124.shtml yum install -y ...

  2. 使用 pv 命令监控 linux 命令的执行进度

    如果你是一个 linux 系统管理员,那么毫无疑问你必须花费大量的工作时间在命令行上:安装和卸载软件,监视系统状态,复制.移动.删除文件,查错,等等.很多时候都是你输入一个命令,然后等待很长时间直到执 ...

  3. linux 命令后台执行

    我想把updatedb命令(用于重新建立整盘索引的命令)放在后台运行.因为我不想眼睁睁的看着机器建立索引,我还想编会儿程序呢: # updatedb & [1] 23336 注释:在所要执行的 ...

  4. 用crontab执行shell把top命令按日期追加到文件

    用crontab执行shell把top命令按日期追加到文件 详细图文解说请到本人原创百度经验http://jingyan.baidu.com/article/3052f5a1daf11197f21f8 ...

  5. 解决命令行执行shell脚本成功，但crontab执行失败

    实际生产案例 生产机房自建PPTP客户端通过拨号连接到生产机房,但是一旦客户端网络是意外断线再重新拨号 会产生IP冲突,于是写了一个脚本监控PPTP的IP是否有多个(一般冲突以后会生成2个IP) #! ...

  6. 十一、jdk命令之Jstatd命令(Java Statistics Monitoring Daemon)远程的监控工具连接到本地的JVM执行命令

    目录 一.jdk工具之jps(JVM Process Status Tools)命令使用 二.jdk命令之javah命令(C Header and Stub File Generator) 三.jdk ...

  7. 【每日一linux命令2】命令执行顺序：

    二.命令顺序:     若在 shell 内置的命令/bin 以及/usr/bin 之下都出现了命令 pwd,那当我们执行该命令时,会执行哪 一个?答案是第一优先执行 shell 内置的命令,再执行路 ...

  8. Android 命令行执行工具类

    最近在做android项目的时候,需要执行命令行命令,之前在网上找的不仅杂乱而且错误多,于是自己写了一份. 话不多说,直接上代码 import android.util.Log; import jav ...

  9. 使用命令行执行webpagetest进行测试

    背景 使用webpagetest进行性能分析,需要一个一个url的去执行,需要人为去等,比较繁琐.而api很好的解决了这个问题,可以通过命令行等执行测试,也可以写成一个常规脚本,针对每个版本的常规ur ...

随机推荐

  1. [DP]洛谷P1115最大子段和

    题目来源 https://www.luogu.org/problemnew/show/P1115 题目描述 给出一段序列,选出其中连续且非空的一段使得这段和最大. 输入输出格式 输入格式: 第一行是一 ...

  2. Python2.7 - IMOOC - 1

    第一章 课程介绍 python 特点:优雅.明确.简单 python适合的领域:1.Web网站和各种网络服务:2.系统工具和脚本:3.作为"胶水"语言把其他语言开发的模块包装起来方 ...

  3. 16.1 eclipse设置

    内容:删除注释自动生成:添加自己使用的模板syso:设置字体:设置黑色主题 // 删除注释自动生成,强迫症表示很受不了那个什么自动生成方法注释,所以我把它关了 我之前的截图,删除那个todo的注释行 ...

  4. python异常处理及内置模块

    异常处理 有时候我们在写程序的时候会出现错误或者异常,导致程序终止,如下这个例子: #!/usr/bin/env python a = 2/0 print(a) 结果提示如下错误: Traceback ...

  5. Mac上安装MongoDB

    1.访问MongoDB官方下载地址 http://www.mongodb.org/downloads 2.点击“DOWNLOAD(tgz)”按钮: 3.将下载的文件压缩包解压后剪切到你的Mac中某个位 ...

  6. 数据结构——平衡二叉树（AVLTree）

    3.平衡二叉树 平衡二叉树,又称AVL树,它是一种特殊的二叉排序树. 3.1 平衡二叉树的四种自旋 这个左旋.右旋,在方向上和我观念里的是相反的. 查了之后才知道: 1.外侧插入:LL.RR,都是在最 ...

  7. programming-languages学习笔记--第3部分

    programming-languages学习笔记–第3部分 */--> pre.src {background-color: #292b2e; color: #b2b2b2;} pre.src ...

  8. [19/04/16-星期二] 注解机制(Annotation，区别于comment(传统意义上的注释))

    一.概念 作用: ——不是程序本身,可以对程序作出解释.(这一点和注释没什么区别) ——可以被其它程序(比如编译器)读取,这是区别于注释的最重要的一点. 格式: ——"@注释名" ...

  9. js中时间的操作

    var myDate = new Date();myDate.getYear();        //获取当前年份(2位)myDate.getFullYear();    //获取完整的年份(4位,1 ...

  10. VS2012与VS2015同时安装用VS2012创建MFC程序时弹出编译错误”fatal error C1083: 无法打开包括文件:“mprapidef.h”: No such file or directory”的解决办法

    在WIndows 7操作系统上同时安装VS2012与VS2015并用VS2012创建MFC程序时弹出编译错误”fatal error C1083: 无法打开包括文件:“mprapidef.h”: No ...