马哈鱼血缘分析工具部署介绍--win 10

马哈鱼血缘分析工具部署介绍--win 10 随着大数据技术的发展与普及,数据治理和数据质量变得越来越重要,数据血缘分析在业界悄然兴起并得到了广泛流行,马哈鱼是国内少有的一款专业且易用的血缘分析工具.本文介绍如何在您的windows 10环境中快速安装部署马哈鱼. 一.安装资料前准备马哈鱼SQLFlow 内部版本机器内存配置至少 8GB 安装 JDK1.8 或更高版本安装 Nginx Nginx Windows 版本下载地址: http://nginx.org/en/docs/windows…

日志分析工具-ApexSQL介绍

原文:日志分析工具-ApexSQL介绍使用场景:业务数据异常变化,通过代码分析不出来的时候,迫不得已需要通过日志来分析下载地址:http://www.apexsql.com/Download.aspx?download=log 使用要点: 日志的原理导致他不能显示原始SQL,只能记录前后变化,这个是日志本身的机制可以通过事务Id判断是否同一事务,但是要了解其修改过程还是需要业务上的经验. 记录事务发生的时间,不记录发起者的程序名称和客户端信息样例代码: CREATE TABLE [dbo…

Windows系统内存分析工具的介绍

Windows系统内存分析工具的介绍(进程管理器,资源管理器,性能监视器, VMMap, RamMap,PoolMon) 微软官方提供多种工具来分析Windows 的内存使用情况,除了系统自带的任务管理器(Task Manager), 资源监视器(Resource Manager), 性能监视器(Performance Monitor), 还有SysInternals工具, RamMap, PoolMon用以分析内存问题.本文简单介绍上述工具的快速使用方法,如果需要了解深入了解,请参考微软…

性能分析工具gprof介绍（转载）

性能分析工具gprof介绍Ver:1.0 目录1. GPROF介绍 42. 使用步骤 43. 使用举例 43.1 测试环境 43.2 测试代码 43.3 数据分析 53.3.1 flat profile模式 63.3.2 call graph模式 74. 链接库中的函数 75. 使用局限 86. 分析示例 12 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%1. gprof介绍gprof是GNU profile工具,可以运行于linux.AIX.Sun等操作系统…

MySQL分析工具explain介绍

EXPLAIN是MySQl必不可少的一个分析工具,主要用来测试sql语句的性能及对sql语句的优化,或者说模拟优化器执行SQL语句. 简单的说是execute plan, 获取MySQL数据库的执行计划.本文重点介绍explain的使用和各参数的意义. 首先看一个例子,现有一张表格filesinfo,主键FileId,建立索引 create index DevInfoIndex on FilesInfo (CamID, SliceStartTime, SliceStopTime); 表格除De…

马哈鱼数据血缘分析器分析case-when语句

马哈鱼数据血缘分析器是一个分析数据血缘关系的平台,可以在线直接递交 SQL 语句进行分析,也可以选择连接指定数据库获取 metadata.从本地上传文件目录.或从指定 git 仓库获取脚本进行分析. 本文介绍如果利用马哈鱼来分析SQL的case-when语句中字段依赖关系. 一个简单的Case 考虑如下SQL: select case when a.kamut=1 and b.teur IS null then 'no locks' when a.kamut=1 then b.teur else…

数据治理中Oracle SQL和存储过程的数据血缘分析

数据治理中Oracle SQL和存储过程的数据血缘分析数据治理中的一个重要基础工作是分析组织中数据的血缘关系.有了完整的数据血缘关系,我们可以用它进行数据溯源.表和字段变更的影响分析.数据合规性的证明.数据质量的检查等. 分析数据血缘的方法主要分为四类自动解析系统跟踪机器学习人工收集自动解析主要是利用工具解析 SQL 语句.存储过程和 ETL等文件. 本文以 Oracle 为例,来说明如何分析 SQL 和存储过程中的数据血缘. 产生数据血缘的 SQL 语句 SELECT INSE…

C++静态代码分析工具推荐——PVS-Studio

长假归来,最近一直没更新,节前本来就想写这篇了,一直到今天才有时间. 关于静态代码分析在维基百科上可以查到很详细的介绍:https://en.wikipedia.org/wiki/List_of_tools_for_static_code_analysis 这个词条中不仅有C++,还有其他主流语言的静态代码分析工具的介绍,很好很强大 O(∩_∩)O~ 比较知名的有Cppcheck.Coverity等,当然其实VS本身也是支持开启静态代码分析的,也能发现不少问题,建议开启. 今天要介绍的是另一款-…

利用job提升马哈鱼数据血缘分析效率

利用job提升马哈鱼数据血缘分析效率一.Job基本知识前面文章中已介绍马哈鱼的基本功能,其中一个是job,job其实是一个任务集合处理的概念,就是让用户通过job,可以一次递交所有需要处理的 SQL,SQLFlow处理这些 SQL,把所有的数据血缘都分析出来.从用户角度,job包含job list和The Latest Job.其中,job list是当前用户所有的job.而The Latest Job是所有用户job中最新的job列表.本文向您重点介绍job的作用及用法. job是马哈鱼收…

Android性能分析工具介绍

1. Android系统性能调优工具介绍 http://blog.csdn.net/innost/article/details/9008691 TraceviewSystraceOprofile 2. [腾讯开源]Android性能测试工具APT使用指南 http://www.csdn.net/article/2014-04-23/2819366-tencent-APT-open-source-tool-guide APT源码地址:https://code.csdn.net/Tencent/a…

Linux系统IO分析工具之iotstat常用参数介绍

Linux系统IO分析工具之iotstat常用参数介绍作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.安装iostat [root@flume115 ~]# yum -y install sysstat 2>.查看iostat的帮助信息 [root@flume115 ~]# man iostat 3>.查看部分cpu状态信息 [root@flume115 ~]# iostat -c 4>.某些使用block为单位的列强制使用Kilobytes为单位 [ro…

Linux系统IO分析工具之iotop常用参数介绍

Linux系统IO分析工具之iotop常用参数介绍作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 在一般运维工作中经常会遇到这么一个场景,服务器的IO负载很高(iostat中的util),但是无法快速的定位到IO负载的来源进程和来源文件导致无法进行相应的策略来解决问题. Windows操作系统可以通过鲁大师等硬盘检测工具来查看硬盘读写速度,那么linux下测试硬盘IO读写情况怎么看?iotop是linux系统下测试硬盘IO读写的工具,简单的说,iotop是一个用来监视磁盘…

DB2 性能分析工具介绍：Event Monitor 篇（转）

https://www.ibm.com/developerworks/cn/data/library/techarticle/dm-1112qiaob/ 引言 DB2 提供了两个比较常用的数据库性能分析工具,分别是 Event Monitor 和 Snapshot.两者都可以用来实时采集并分析数据库的使用情况,例如数据库 buffer pool 的使用状况:即时的数据库 locking 状态:SQL 语句的信息等等.本文将就 Event Monitor 的使用方法作简单的介绍. Event Mo…

Linux 内存分析工具的命令大全介绍

在Linux系统经常被用作服务器系统.当服务器内存吃紧的时候,free命令是我们最常使用的内存分析工具. free使用介绍# free命令可以显示Linux系统中空闲的.已用的物理内存及swap内存,及被内核使用的buffer.在Linux系统监控的工具中,free命令是最经常使用的命令之一. free命令使用起来非常简单. Copy # 命令格式 free [参数] # 可选参数 -b 以Byte为单位显示内存使用情况. -k 以KB为单位显示内存使用情况. -m 以MB为单位显示内存使用情况…

系统级性能分析工具perf的介绍与使用

测试环境:Ubuntu16.04(在VMWare虚拟机使用perf top存在无法显示问题) Kernel:3.13.0-32 系统级性能优化通常包括两个阶段:性能剖析(performance profiling)和代码优化.性能剖析的目标是寻找性能瓶颈,查找引发性能问题的原因及热点代码.代码优化的目标是针对具体性能问题而优化代码或编译选项,以改善软件性能. 在性能剖析阶段,需要借助于现有的profiling工具,如perf等.在代码优化阶段往往需要借助开发者的经验,编写简洁高效的代码,甚至在汇…

系统级性能分析工具perf的介绍与使用[转]

马哈鱼间接数据流中的where-group-by子句

马哈鱼间接数据流中的where-group-by子句本文介绍间接数据流中的where-group-by子句. 1.列在where子句中 WHERE子句中源表中的某些列不影响目标列,但对所选行集至关重要,因此应保存这些列以进行影响分析,并向目标表间接提供数据流. 以下述SQL为例: SELECT a.empName "eName" FROM scott.emp a Where sal > 1000 select列表的总行数受where子句中sal列的值影响,我们为这种关系建立了一…

Java 性能分析工具 , 第 1 部分: 操作系统工具

引言性能分析的前提是将应用程序内部的运行状况以及应用运行环境的状况以一种可视化的方式更加直接的展现出来,如何来达到这种可视化的展示呢?我们需要配合使用操作系统中集成的程序监控工具和 Java 中内置的监控分析工具来进行 Java 程序的性能分析.本文为系列文章,共三篇分别介绍这几类工具.在本文中将介绍操作系统中的性能监控工具. 操作系统中的程序性能监控工具并非只针对于 Java 程序,适用于所有运行其中的程序.在基于 UNIX 的操作系统中,有许多命令行工具可以用来监控程序的运行状况,例如 s…

星型数据仓库olap工具kylin介绍

星型数据仓库olap工具kylin介绍数据仓库是目前企业级BI分析的重要平台,尤其在互联网公司,每天都会产生数以百G的日志,如何从这些日志中发现数据的规律很重要. 数据仓库是数据分析的重要工具, 每个大公司都花费数百万每年的资金进行数据仓库的运维. 本文介绍一个基于hadoop的数据仓库, 它基于hadoop(HIVE, HBASE)水平扩展的特性, 客服传统olap受限于关系型数据库数据容量的问题. Kylin是ebay推出的olap星型数据仓库的开源实现. 首先请安装Kylin, 和它的运…

Reveal UI 分析工具分析手机 App

上篇文章介绍了: Reveal UI 分析工具简单使用这里介绍如何使用 Reveal UI 分析工具来进行手机 App UI 界面的分析. 前提准备: (1)已安装 Reveal 的 Mac (2)已越狱的 iPhone (3)良好的网络环境原理: 回想起我们使用 Reveal 来分析 iPhone 模拟器的 App 时,我们是在 Xcode 的指定工程里引用并加载 Reveal.framework 文件,从而当 App 运行时,打开 Reveal 选中连接当前 App 就可以进行他的 UI…

日志分析工具ELK配置详解

日志分析工具ELK配置详解一.ELK介绍 1.1 elasticsearch 1.1.1 elasticsearch介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便. 1.1.2 elasticsearch几个重要术语…

10 个强大的开源 Web 流量分析工具（转帖）

Web 流量分析工具多不胜数,从 WebTrends 这样专业而昂贵的,到 Google Analytics 这样强大而免费的,从需要在服务器端单独部署的,到可以从前端集成的,不一而足.本文收集并介绍了10个功能强大的开源 Web 流量分析工具,因为是开源的,因此可以免费部署到你的网站. TraceWatch TraceWatch 是一个开源 Web 流量分析程序,支持实时分析,可以提供深度分析报告. SlimStat 基于 PHP-MySQL,同时,可以像 Google Analytics 那…