线上处理问题的时候经常遇到业务说写入了但是数据不对,这种情况八成是业务改了之后又改过来了.但是我们需要证据,下面我们就说说简单的binlog分析 工具:mysqlbinlog #-vvv显示明文sql内容方便查阅 #start-datetime分析开始时间 #stop-datatime分析结束时间 #-d数据库名称 #mysql-bin.000001 二进制文件 $mysqlbinlog -vvv --start-datetime='2018-11-15 18:47:00' --stop-dat…

转 快速理解linux文本分析利器awk 原文链接 杜亦舒 性能与架构 awk是什么 如果工作中需要操作linux比较多,那么awk是非常值得学习的 awk是一个极其强大的文本分析工具,把文件逐行的读入,以指定分隔符将每行切片,切开的部分再进行各种分析处理 可以使用awk创建程序,来读取输入文件.为数据排序.处理数据.对输入执行计算以及生成报表,还有很多其他的功能 awk使用示例 通过一些简单的示例来认识一下awk (1) ll | awk '{print $9}' 这个命令的结果是只显示文件名…

扩展博客 以下,是我在手动的CDH版本,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz)(博主推荐) 以下,是我在Ambari集群平台下,安装Hue. 给Ambari集群里安装可视化分析利器工具Hue步骤(图文详解) 本博文呢,是在Clouderamanager集群集群里 这个很简单,不多说,直接在Add services里,添加就是了 藏经阁技术资料分享群二维码…

扩展博客 以下,是我在手动的CDH版本平台下,安装Hue. CDH版本大数据集群下搭建Hue(hadoop-2.6.0-cdh5.5.4.gz + hue-3.9.0-cdh5.5.4.tar.gz)(博主推荐) 以下,是我在Clouderamanager平台下,安装Hue. 给Clouderamanager集群里安装可视化分析利器工具Hue步骤(图文详解) 本博文呢,是在ambari集群里 首先, https://github.com/EsharEditor/ambari-hue-servic…

Spy++ —— 窗口.消息查看分析利器 Spy++ —— 窗口.消息查看分析利器 2016年07月15日 00:25:22 阅读数:23170 1,简介   Microsoft Spy++是一个非常好的查看Windows操作系统的窗口.消息.进程.线程信息的工具,简单易用,功能强大.   2,下载地址   百度网盘:http://pan.baidu.com/s/1skMJUkH   3,使用场景   (1)我经常用来查询一个不知道从哪里弹出来的广告窗口是哪个进程搞的鬼……然后干掉 (2)枚举所…

django是一个快速开发web应用的框架, 笔者也在django框架上开发不少web应用,闲来无事,就想探究一下django底层到底是如何实现的,本文记录了笔者对django源码的分析过程 I believe to become a better developer you MUST get a better understanding of the underlying software systems you use on a daily basis and that includes p…

1 数据清洗 option里面最重要的方法就是parse,在这里,parse函数的一开始就调用了后面的子函数_parse_datetime,_parse_timedelta,_parse_bool,_parse_string.经过我分割,查找具体函数执行情况,这四个函数其实是清理格式的,为了防止格式混乱,导致后期处理困难.就用它们做了格式清洗. def parse(self, value): _parse = { datetime.datetime: self._parse_datetime,…

总结体会: options这个文件是用来管理程序运行过程中配置的,它采用了单例模式,整个程序运行时只有一个实例存在. 参数可以从命令行读取,也可以从配置文件中读取,就看你怎么用了. 同时,options这个类也被tornado自己所用,存放了一些运行时的所需的参数(我只看了log.py文件,日志的一些参数的确用了options). 实现原理: options单例化的对象时OptionParser,OptionParser的组成: 1 一个名叫_options名称的字典对象,其中每个对象的内容都是…

目录 pstack gdb strace perf pstack 获取堆栈信息 问题线程的定位 负载较低 mysql_pid=4522 pstack $mysql_pid>pstack.info pt-pmp对堆栈信息排序 pt-pmp pstack.info | less 也可以直接执行pt-pmp pt-pmp --pid 4522 如 10 __io_getevents_0_4(libaio.so.1),LinuxAIOHandler::collect(os0file.cc:2502),L…

博主对splunk的了解不多,博主的使用目的是为了同步,分析日志.当初的搭建也是为了公司申请牌照需要日志服务器分析日志,顺便自己也对这方面感兴趣就买了本书看了看搭建玩的,后来检查来了博主也给他们演示了下,splunk到底有多强大,博主现在也玩了个大概,具体的命令使用也只算初级水平,只能说很强大,至于splunk的原理还有更多功能感兴趣就去splunk官网或是百度查查看看.     Splunk 分为免费 Free 版和企业 Enterprise 版. SplunkFree 专供个人使用. Spl…