#!/bin/bash

#/usr/hdp/current/flume-server/bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv1.conf -n a1 -Dflume.root.logger=WARN,console >& &

#sleep

#/usr/hdp/current/flume-server/bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv3.conf -n a1 -Dflume.root.logger=WARN,console >& &

#sleep 

#/usr/hdp/current/spark2-client/bin/spark-submit --class cold_test.realTimeEtl.application.RealtimeEtl --master yarn --deploy-mode client --queue streaming --driver-memory 4g --num-executors  --executor-memory 2g --executor-cores  --driver-java-options="-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --jars /usr/hdp/current/spark2-client/jars/ojdbc6.jar,/usr/hdp/current/spark2-client/jars/config-1.3..jar /home/a133_a_daaas005/guo_test/Cold_Test_RealTimeETLCsv1-1.0-SNAPSHOT.jar &

#/usr/hdp/current/spark2-client/bin/spark-submit --class app.Cold_test_Csv3 --master local[*] --driver-memory 8g --num-executors  --executor-memory 2g --executor-cores  --driver-java-options="-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=/home/a133_a_daaas005/guo_test/jaas.conf" --jars /usr/hdp/current/spark2-client/jars/ojdbc6.jar,/usr/hdp/current/spark2-client/jars/config-1.3..jar /home/a133_a_daaas005/guo_test/WORKTEST-1.0-OFFICIA.jar

#FlumeStartShell     /usr/hdp/current/flume-server

bin/flume-ng agent -c conf/ -f /usr/hdp/current/flume-server/Cold_TestConf/spooldircsv1.conf -n a1 -Dflume.root.logger=WARN,console >>./ColdTestFlume/run.log >& &

#SparkStreamingStartShell    /home/a133_a_daaas005/guo_test

/usr/hdp/current/spark2-client/bin/spark-submit --class cold_test.realTimeEtl.application.RealtimeEtl --master yarn --deploy-mode client --queue ETL --driver-memory 10g --num-executors  --executor-memory 2g --executor-cores  --driver-java-options="-Djava.security.auth.login.config=jaas.conf" --conf "spark.executor.extraJavaOptions=-Djava.security.auth.login.config=jaas.conf" --files "./jaas.conf#jaas.conf,./kafka.service.keytab#kafka.service.keytab" --jars /usr/hdp/current/spark2-client/jars/ojdbc6.jar,/usr/hdp/current/spark2-client/jars/config-1.3..jar /home/a133_a_daaas005/guo_test/Cold_Test_RealTimeETLCsv1-1.0-SNAPSHOT.jar

#MointorStartShell    source activate rmfile       /data/landing_zone/BBAC/Cold_Test/script/

java -classpath Cold_Test.MonitorFileAndPutOracle-1.0-SNAPSHOT.jar cold_test.application.MonitorFile >>monitorrun.log >& &

spark执行命令 监控执行命令的更多相关文章

  1. pv命令监控Linux命令的执行进度

    pv命令监控Linux命令的执行进度 http://www.techweb.com.cn/network/system/2015-12-14/2241124.shtml yum install -y ...

  2. 使用 pv 命令监控 linux 命令的执行进度

    如果你是一个 linux 系统管理员,那么毫无疑问你必须花费大量的工作时间在命令行上:安装和卸载软件,监视系统状态,复制.移动.删除文件,查错,等等.很多时候都是你输入一个命令,然后等待很长时间直到执 ...

  3. linux 命令后台执行

    我想把updatedb命令(用于重新建立整盘索引的命令)放在后台运行.因为我不想眼睁睁的看着机器建立索引,我还想编会儿程序呢: # updatedb & [1] 23336 注释:在所要执行的 ...

  4. 用crontab执行shell把top命令按日期追加到文件

    用crontab执行shell把top命令按日期追加到文件 详细图文解说请到本人原创百度经验http://jingyan.baidu.com/article/3052f5a1daf11197f21f8 ...

  5. 解决命令行执行shell脚本成功，但crontab执行失败

    实际生产案例 生产机房自建PPTP客户端通过拨号连接到生产机房,但是一旦客户端网络是意外断线再重新拨号 会产生IP冲突,于是写了一个脚本监控PPTP的IP是否有多个(一般冲突以后会生成2个IP) #! ...

  6. 十一、jdk命令之Jstatd命令(Java Statistics Monitoring Daemon)远程的监控工具连接到本地的JVM执行命令

    目录 一.jdk工具之jps(JVM Process Status Tools)命令使用 二.jdk命令之javah命令(C Header and Stub File Generator) 三.jdk ...

  7. 【每日一linux命令2】命令执行顺序：

    二.命令顺序:     若在 shell 内置的命令/bin 以及/usr/bin 之下都出现了命令 pwd,那当我们执行该命令时,会执行哪 一个?答案是第一优先执行 shell 内置的命令,再执行路 ...

  8. Android 命令行执行工具类

    最近在做android项目的时候,需要执行命令行命令,之前在网上找的不仅杂乱而且错误多,于是自己写了一份. 话不多说,直接上代码 import android.util.Log; import jav ...

  9. 使用命令行执行webpagetest进行测试

    背景 使用webpagetest进行性能分析,需要一个一个url的去执行,需要人为去等,比较繁琐.而api很好的解决了这个问题,可以通过命令行等执行测试,也可以写成一个常规脚本,针对每个版本的常规ur ...

随机推荐

  1. Python学习---Django的基础学习

    django实现流程 Django学习框架:     #安装: pip3 install django          添加环境变量    #1  创建project       django-ad ...

  2. python 使用set对列表去重后，保持原来列表的顺序排列

    testlist = ['cc', 'bbbb', 'afa', 'sss', 'bbbb', 'cc', 'shafa'] set2list = list(set(testlist)) print ...

  3. Webpack知识汇总

    介绍 webpack把任何一个文件都看成是一个模块,模块间可以相互依赖(require or import),webpack的功能就是把相互依赖的文件打包在一起.webpack本身只能处理原生的Jav ...

  4. UVA-1152-4 Values whose Sum is 0---中途相遇法

    题目链接: https://cn.vjudge.net/problem/UVA-1152 题目大意: 给出4个数组,每个数组有n个数,问有多少种方案在每个数组中选一个数,使得四个数相加为0. n &l ...

  5. java 静态相关内容

    一般情况下,如果有些代码必须在项目启动的时候就执行的时候,需要使用静态代码块,这种代码是主动执行的;需要在项目启动的时候就初始化,在不创建对象的情况下,其他程序来调用的时候,需要使用静态方法,这种代码 ...

  6. Apollo2.5摄像头安装

    前言:在Apollo美研团队和长沙CiDi团队的支持下,最近完成了Apollo推荐的摄像头AR023ZWDR(Rev663F12)调试,在这里对Apollo的笔记做一个补充,希望以后的开发者不用在踩我 ...

  7. 《STL源码剖析》要点摘抄

    1. STL的空间配置器 SGI STL设计了双层级配置器,第一级配置器直接使用malloc().free(),第二级配置器则视情况采用不同的策略:当配置区块超过128bytes时,视为“足够大”,便 ...

  8. 精读 SBAR SDN flow-Based monitoring and Application Recognition

    目录 架构 测量模块 分类模块 具体实现 实验:最后接入巴塞罗那的校园网流量测试: SBAR: SDN flow-Based monitoring and Application Recognitio ...

  9. SharePoint2010QuickFlow安装及使用

    一:QuickFlow的安装 1,从http://quickflow.codeplex.com/下载解决方案包以及设计器. 2,将QuickFlow.dll以及QuickFlow.UI.dll添加到程 ...

  10. OpenID Connect Core 1.0（六）使用隐式验证流

    3.2 使用隐式验证流(Authentication using the Implicit Flow) 本节描述如何使用隐式流程执行验证.使用隐式流程时,所有令牌从授权终结点返回:不使用令牌终结点返回 ...