PBS(Protable Batch System)是功能最为齐全,历史最悠久,支持最广泛的本地集群调度器之一。 PBS的目前包括openPBS,PBS Pro和Torque三个主要分支。其中OpenPBS是最早的PBS系统,目前已经没有太多后续开发,PBS pro是PBS的商业版本,功能最为丰富。Torque是Clustering公司接过了OpenPBS,并给与后续支持的一个开源版本。

几个常用命令:

  1.qsub(提交作业)

  例:

  qsub -l mem=20g,vmem=20g -l nodes=fat03 -l nodes=1:ppn=1 -l walltime=144:00:0 -V -joe -q fat -d /data/nfs/fat/home/ test.sh

  也可写成:(把所有-l的参数可以合并一起,以逗号分隔)

  qsub -l mem=20g,vmem=20g,nodes=fat03,nodes=1:ppn=1,walltime=144:00:0 -V -joe -q fat -d /data/nfs/fat/home test.sh

  

  qsub常用参数

  -l 指定作业所需要的资源,设定对可消耗资源的限制。如果不设置,则无限制。

  -l mem=220g,vmem=220g(根据文件大小、文件处理方式、计算复杂情况自行估计)

  mem 任务的所有进程能够分配到的最大物理内存数;

  vmem任务的所有进程能够使用的最大虚拟内存数;

  -l nodes=fat03

  指定节点名字

  -l nodes=1:ppn=10(有时软件内部会有设置线程的参数,实际运行时,两者取最小)

  指定使用节点数及线程数

  -l walltime=144:00:0

  指定运行最长时间,walltime指钟表时间(作业的实际运行时间=walltime/线程数)

  -V -joe -q fat -d

  -V 表明qsub命令的所有环境变量都export到此作业

  作用: 以脚本文件的形式向批处理服务器提交作业

  -joe错误日志和运行日志输出到同一个文件下

  -q指定作业的目的地(结点池),此处指定为fat节点

  -d 路径,作业输出文件产生路径(每一个作业都会产生一个 文件名.o作业号,该文件出现在-d指定的路径中)

  2.qstat(查看作业状态,作业结束一段时间后查看不到)

  查看作业状态:R运行、Q排队、C终止(可能是结束、也可能是出错中断)

  提交作业会在指定目录下产生.oXXXX文件(例如test.sh.o106972),文件内包含程序运行的输出信息,及错误信息,可根据文件内容判断作业是否是正常结束

  

  3.qdel(kill作业)

  kill已提交作业

  qdel 作业号

  qdel 106970

  4.tracejob(查看作业情况,作业结束之后仍能查看)

  tracejob –n 查找天数 job_id

  tracejob –n 10 106972(查找10天内的记录,寻找106972的作业信息)

  tracejob 106972不加时间参数,查找当天作业

  在返回结果中会显示提交任务的设置信息,及程序运行时的内存和时间实际使用信息

  

  5.qnodes(查看节点状态)

  qnodes | less查看节点状态

  根据节点可用情况指定作业提交节点

  

  qnodes | grep job_id

  提交作业未指定节点时,可以使用qnodes结合grep job_id方式查看作业分配的节点

  

torque提交作业的更多相关文章

  1. Spark源码系列(一)spark-submit提交作业过程

    前言 折腾了很久,终于开始学习Spark的源码了,第一篇我打算讲一下Spark作业的提交过程. 这个是Spark的App运行图,它通过一个Driver来和集群通信,集群负责作业的分配.今天我要讲的是如 ...

  2. eclipse 提交作业到JobTracker Hadoop的数据类型要求必须实现Writable接口

    问:在eclipse中的写的代码如何提交作业到JobTracker中的哪?答:(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法 connect() ...

  3. Coursera无法正常提交作业

    如下图,upload服务貌似被墙了,想要提交作业的话需要临时科学上网.

  4. Spark集群之yarn提交作业优化案例

    Spark集群之yarn提交作业优化案例 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.启动Hadoop集群 1>.自定义批量管理脚本 [yinzhengjie@s101 ...

  5. 《实时控制软件设计》之Github提交作业步骤

    在掌握GIT/GITHUB基本操作后,接下来把第一次的编程作业提交到 https://github.com/RTCSD15/HOMEWORK1 ,把第二次的编程作业提交到https://github. ...

  6. 如何使用git 提交作业 收作业

    如何使用git 提交作业 收作业 方法论: 今天就来用一个通俗易懂的自然模型来解释Git的commit,pull和push.不过,我们首先要理解两个名词,remote,local. remote,翻译 ...

  7. oozie 重新提交作业

    在oozie的运行过程当中可能会出现错误,比如数据库连接不上,或者作业执行报错导致流程进入suspend或者killed状态,这个时候我们就要分析了,如果确实是数据或者是网络有问题,我们比如把问题解决 ...

  8. oozie java api提交作业

    今晚试验用java的api来提交代码,由于代码是在我机器上写的,然后提交到我的虚拟机集群当中去,所以中间产生了一个错误..要想在任意一台机器上向oozie提交作业的话,需要对hadoop的core-s ...

  9. 2017-2018-1 20155305 《信息安全系统设计基础》第四周学习总结(课堂提交作业未来得及提交码云链接myod补充博客)

    2017-2018-1 20155305 <信息安全系统设计基础>第四周学习总结(课堂提交作业未来得及提交码云链接myod补充博客) 课堂提交题目要求 编写MyOD.java 用java ...

  10. git 提交作业流程

    git 提交作业流程,主要分为4个步骤 # 拉取远程git最新版本到本地,每次都可以先执行这条命令,因为会有其他同学更新仓库 git pull # add需要上传的文件,那个文件修改或者新增的,就ad ...

随机推荐

  1. JS 识别安卓还是ios苹果、识别是否微信内置浏览器、手机类型

    1.识别手机平台是IOS还是安卓 /** * [isMobile 判断平台] * @param test: 0:iPhone 1:Android */ function ismobile(test) ...

  2. 历史性突破:独立开发 .net core 在线客服系统累计处理聊天消息 48 万余条!

    业余时间用 .net core 写了一个在线客服系统.我把这款业余时间写的小系统丢在网上,陆续有人找我要私有化版本,我都给了,毕竟软件业的初衷就是免费和分享. 后来我索性就发了一个100%私有化版直接 ...

  3. @Transactional事务,太坑了吧!

    前言 对于从事java开发工作的同学来说,spring的事务肯定再熟悉不过了. 在某些业务场景下,如果一个请求中,需要同时写入多张表的数据.为了保证操作的原子性(要么同时成功,要么同时失败),避免数据 ...

  4. 一文彻底搞定Spring Security 认证,实现登陆登出功能

    Spring Security 是一个强大且灵活的安全框架,提供了身份验证(认证)和授权(授权)功能.下面我们将详细介绍 Spring Security 的认证功能流程,并提供自定义实现登录接口的示例 ...

  5. OpenCompass使用LawBench数据测评本地Qwen大模型

    一.思维导图展示 二.OpenCompass简介 OpenCompass是一个大模型测评体系,开源.高效.同时集成CompassKit测评工具.CompassHub测评集社区,CompassRank测 ...

  6. .NET Core 线程(Thread)底层原理浅谈

    简介 线程,进程,协程基本概念不再赘述. 原生线程和用户线程 原生线程 在内核态中创建的线程,只服务于内核态 用户线程 由User Application创建的线程,该线程会在内核态与用户态中间来回穿 ...

  7. 面试:10亿数据如何最快速插入MySQL?

    转载:https://mp.weixin.qq.com/s/kL1srP3FZjaTSXLULsUS5g 最快的速度把10亿条数据导入到数据库,首先需要和面试官明确一下,10亿条数据什么形式存在哪里, ...

  8. BI系统汇总

    datart datart (数艺)是面向业务人员.数据工程师.数据分析师.数据科学家,致力于提供一站式数据可视化解决方案.既可以作为公 有云 / 私有云部署使用,也可作为可视化插件集成到三方系统.用 ...

  9. 从Hbase shell理解列式存储

    列存储和行存储在理解上的差别挺大,特别是在非常数据行存储之后. 在行存储中,每张表的结构是固定的,某一列可以没有值但是这一列是必须在的.那么可以理解行存储的数据是结构化的. 但是列存储确有每行的数据却 ...

  10. Vue.js与jQuery混用

    标签: js 坑位 最近开发一个需求,项目有用到jQuery和Vue,发现我jQuery绑定的事件全部都失效了. Why Vue会重新渲染dom,加上是异步实例Vue.所以正常写程序的话jq的$()获 ...