【转载】 谷歌集群数据分析 clusterdata-2011-2
原文地址:
https://www.twblogs.net/a/5c2dc304bd9eee35b21c418b/zh-cn
------------------------------------------------------------------------------------------------
本篇主要是解析数据集clusterdata-2011-2
by ——https://github.com/google/cluster-data
dataset的说明文档:https://drive.google.com/file/d/0B5g07T_gRDg9Z0lsSTEtTWtpOW8/view
数据集描述:The clusterdata-2011-2
trace represents 29 day's worth of cell information from May 2011, on a cluster of about 12.5k machines.
将csv文件导入到MySQL中的各表信息如下:(表结构在末尾)
job event表:
row1672923 286.86 MB (300,795,688)
index:jobid,btree 35.56 MB (37,285,888)
machine events表:
row:37780 2.99 MB (3,138,540)
machine attribute:
row:10748566 1.09 GB (1,175,642,124)
task constrains:
row:28485619 2.95 GB (3,163,127,240)
task usage:
row:1232799308 182.55 GB (196,015,089,972)
index:69.61 GB (74,743,799,808)
machineid(btree) jobid(btree)
task event:(导入数据有点问题,正在处理)
row:144648292 12.76 GB (13,700,652,148)
index: 6.90 GB (7,414,187,008)
machineid,jobid,username
explain part1:字段
explain part2:表格
part1.字段
一个job包含多个task,每一个task表示一个Linux项目,可能有多个进程。
timestamp:以微秒为单位,在日志开始前600s开始计时(如20s开始的时间为620s)
0时刻的记录代表在日志记录之前发生的事件,因为作业可能在日志记录之前被提交。
2的63次方-1的时间为日志记录结束之后的事件。
job和machine的ID不会被复用,可以当作唯一表识。(machineID重复可能是由于一个机器被移除集群后又重新加了进来,jobID重复可能是一个job被停止然后配置重新启动)
user和job的name被hash了,为了保密以及测试时相同。
machine event type:0.add 1.remove 2.update
job和task的event type:0.submit 1.schedule 2.evict 3.fail 4.kill 5.finish 6.lost 7.update_pending 8.update_running
priority:0为最低的
infrastructure (11)—this is the highest (most entitled to get resources) priority in the trace and accounts for most of the recorded disk I/O, so we speculate it includes some storage services;
monitoring (10)
normal production (9)—this is the lowest (and most occupied) of the priorities labeled ‘production’. The trace providers indicate that jobs at this priority and higher which are latency-sensitive should not be “evicted due to over-allocation of machine resources” .
other (2-8) — we speculate that these priorities are dominated by batch jobs;
gratis (free) (0-1) — the trace providers indicate that resources used by tasks at these priorities are generally not charged.
missing info:正常数据为NULL,丢失数据为0-2.
0.SNAPSHOT_BUT_NO_TRANSITION:we did not find a record representing the given event, but a later snapshot of the job or task state indicated that the transition must have occurred. The timestamp of the synthesized event is the timestamp of the snapshot.
1.NO_SNAPSHOT_OR_TRANSITION : we did not find a record representing the given termination event, but the job or task disappeared from later snapshots of cluster states, so it must have been terminated. The timestamp of the synthesized
event is a pessimistic upper bound on its actual termination time assuming it could have legitimately been missing from one snapshot.
2.EXISTS_BUT_NO_CREATION : we did not find a record representing the creation of the given task or job. In this case, we may be missing metadata (job name, resource requests, etc.) about the job or task and we may have placed SCHEDULE or SUBMIT events latter than they actually are.
scheduleclass,该类粗略地表示作业的延迟敏感程度。调度类型由一个数字表示,3表示一个对延迟比较敏感的作业,0表示一个非生产任务(例如:非关键业务分析等)
comparison operator:??
怎么比的不明白。。。
小于(2),大于(3):将机器属性表示为整数(或0,如果属性不存在),然后将其与提供的属性值进行比较。这些比较严格小于和严格大于;等于(0),不等于(1):机器属性表示为字符串(或空字符串如果它不存在的话),然后比较所提供的属性值。(翻译文档)
part2:
table:
1.Machine events
Each machine is described by one or more records in the machine event table. The majority of records describe machines that existed at the start of the trace.
1. timestamp
2. machine ID
3. event type
4. platform ID
5. capacity: CPU
6. capacity: memory
2.job event&task event
The two event tables describe jobs/tasks and their lifecycles. The constraints table describes task placement constraints that restrict the machines onto which tasks can schedule.
The simplest case is shown by the top path in the diagram above: a job is SUBMITted and gets put into a pending queue; soon afterwards, it is SCHEDULEd onto a machine and starts running; some time later it FINISHes successfully.
先提交(0),然后进队(1),之后完成(4)
3.task usage
这篇博客详细解释了https://blog.csdn.net/yangss123/article/details/78298749
生成的中间表有
分别是各平台内包含的机器id,以及所有中等优先级的task(priority为2-8),以及所有成功进入队列的task(event type为1)的表,并建立相应的索引。(使用中间表后,检索时间由数小时级别下降到1min以内)
----------------------------------------------------------------------------------
【转载】 谷歌集群数据分析 clusterdata-2011-2的更多相关文章
- 【转载】 clusterdata-2011-2 谷歌集群数据分析(三)
原文地址: https://blog.csdn.net/yangss123/article/details/78306270 由于原文声明其原创文章不得允许不可转载,故这里没有转载其正文内容. --- ...
- 【转载】 clusterdata-2011-2 谷歌集群数据分析(二)--task_usage
原文地址: https://blog.csdn.net/yangss123/article/details/78298749 由于原文声明其原创文章不得允许不可转载,故这里没有转载其正文内容. --- ...
- 【转载】 clusterdata-2011-2 谷歌集群数据分析(一)
原文地址: https://blog.csdn.net/yangss123/article/details/78298679 由于原文声明其原创文章不得允许不可转载,故这里没有转载其正文内容. --- ...
- 谷歌集群数据 clusterdata-2011-2 Cluster workload traces
谷歌集群数据 clusterdata-2011-2 https://github.com/google/cluster-data/blob/master/ClusterData2011_2.md 链接 ...
- [转载] Redis集群搭建最佳实践
转载自http://blog.csdn.net/sweetvvck/article/details/38315149?utm_source=tuicool 要搭建Redis集群,首先得考虑下面的几个问 ...
- 转载 Tomcat集群配置学习篇-----分布式应用
Tomcat集群配置学习篇-----分布式应用 现目前基于javaWeb开发的应用系统已经比比皆是,尤其是电子商务网站,要想网站发展壮大,那么必然就得能够承受住庞大的网站访问量:大家知道如果服务器访问 ...
- window xp Apache与Tomcat集群配置--转载
转载地址:http://www.cnblogs.com/obullxl/archive/2011/06/09/apache-tomcat-cluster-config.html 一. 环境说明 Win ...
- [转载] 一共81个,开源大数据处理工具汇总(下),包括日志收集系统/集群管理/RPC等
原文: http://www.36dsj.com/archives/25042 接上一部分:一共81个,开源大数据处理工具汇总(上),第二部分主要收集整理的内容主要有日志收集系统.消息系统.分布式服务 ...
- 转载:【Oracle 集群】RAC知识图文详细教程(九)--RAC基本测试与使用
文章导航 集群概念介绍(一) ORACLE集群概念和原理(二) RAC 工作原理和相关组件(三) 缓存融合技术(四) RAC 特殊问题和实战经验(五) ORACLE 11 G版本2 RAC在LINUX ...
随机推荐
- Codeforces Round #588 (Div. 2)-E. Kamil and Making a Stream-求树上同一直径上两两节点之间gcd的和
Codeforces Round #588 (Div. 2)-E. Kamil and Making a Stream-求树上同一直径上两两节点之间gcd的和 [Problem Description ...
- 使用AutoIt实现文件上传
在网页上上传文件的时候,Selenium无法直接操作如Flash.JavaScript 或Ajax 等技术所实现的上传功能,这时候我们需要借用一个叫做AutoIt的软件来帮助我们事先自动化的上传操作. ...
- 剑指offer:从尾到头打印链表
题目 输入一个链表,按链表值从尾到头的顺序返回一个ArrayList. 解题思路 在不改变链表结构的前提下,因为单向链表本身的结构是从头到尾的,现在用从尾到头遍历打印,可以联想到“先进后出”, 因此我 ...
- SQL Server视频总结
经过这几天艰苦卓绝的奋斗,我终于把视频看完了,可是不知道自己看了什么,下面就来总结一下,看看都学到了那些. 数据库和VB中有很多地方相似,我们可以直接搬过来,而不必再当做新知识给自己增加难度,要调动自 ...
- 神经网络(13)--具体实现:random initialization
Θ应初始化为什么值 当我们是用logistic regression算法时,将θ初始化为0是可以的:但是如果在神经网络里面,将θ初始化为0是不可行的 若将Θ初始化为0的后果-the problem o ...
- .net框架 - Enum枚举
概要 在C#或C++,java等一些计算机编程语言中,枚举类型是一种基本数据类型而不是构造数据类型. 在C语言等计算机编程语言中,它是一种构造数据类型. 它用于声明一组命名的常数,当一个变量有几种可能 ...
- vue创建组件的方式
一.直接通过Vue.extend的方式创建组件 // 通过vue.extend 来创建全局组件 var com1 = Vue.extend({ template:'<h3>这是h3组件&l ...
- [TypeScript ] Using the Null Coalescing operator with TypeScript 3.7
The postshows you how to use the null coalescing operator (??) instead of logical or (||) to set def ...
- python 之 列表常用 操作
- [java][JEECG] Maven settings.xml JEECG项目初始化 RouYi settings.xml配置
好吧一下是经验之谈,原本这些坑不应该躺的,从头看手册完全可以避免这些. 懒得整理了,看懂了就看,看不懂自己琢磨JEECG的帮助文档去,不过嘛我喜欢用Intelij IDEA,他里面都是别的IDE,不喜 ...