1.数组的集中趋势-如何定义数组的中心 1.1 常用几下几个指标来描述一个数组的集中趋势 均值-算术平均数 . 中位数-将数组升序或降序排列后,位于中间的数. 众数-数组中出现最多的数. 1.2 指标特点   优点 缺点 均值 充分利用所有数据,包含最多信息量,适用性强,应用最为广泛 极易受到异常值的影响,产生数据倾斜 中位数 避免异常值的影响 不敏感 众数 能够很好反应数组的集中趋势 当数组没有明显的集中趋势时,基本没有信息量 1.3 均值使用场景 场景:双11过后,淘宝店需要选择一个指标代表…

pandas入门 统计分析是数据分析的重要组成部分,它几乎贯穿整个数据分析的流程.运用统计方法,将定量与定性结合,进行的研究活动叫做统计分析.而pandas是统计分析的重要库. 1.pandas数据结构 在pandas中,有两个常用的数据结构:Series和Dataframe  为大多数应用提供了一个有效.易用的基础. 1.Series:Series是一种一维的数组型对象,它包含一个值序列,并含有数据标签. import pandas as pd ser1 = pd.Series([1,2,3,…

描述性统计分析是针对数据本身而言,用统计学指标描述其特征的分析方法,这种描述看似简单,实际上却是很多高级分析的基础工作,很多高级分析方法对于数据都有一定的假设和适用条件,这些都可以通过描述性统计分析加以判断,我们也会发现,很多分析方法的结果中,或多或少都会穿插一些描述性分析的结果. 描述性统计主要关注数据的三大内容: 1.集中趋势 2.离散趋势 3.数据分布情况 描述集中趋势的指标有均值.众数.中位数,其中均值包括截尾均值.几何均值.调和均值等. 描述离散趋势的指标有频数.相对数.方差.标准差.…

1. 常用函数库   scipy包中的stats模块和statsmodels包是python常用的数据分析工具,scipy.stats以前有一个models子模块,后来被移除了.这个模块被重写并成为了现在独立的statsmodels包.  scipy的stats包含一些比较基本的工具,比如:t检验,正态性检验,卡方检验之类,statsmodels提供了更为系统的统计模型,包括线性模型,时序分析,还包含数据集,做图工具等等. 2. 小样本数据的正态性检验 (1) 用途  夏皮罗维尔克检验法 (Sh…

数据降维 为了说明什么是数据的主成分,先从数据降维说起.数据降维是怎么回事儿?假设三维空间中有一系列点,这些点分布在一个过原点的斜面上,如果你用自然坐标系x,y,z这三个轴来表示这组数据的话,需要使用三个维度,而事实上,这些点的分布仅仅是在一个二维的平面上,那么,问题出在哪里?如果你再仔细想想,能不能把x,y,z坐标系旋转一下,使数据所在平面与x,y平面重合?这就对了!如果把旋转后的坐标系记为x’,y’,z’,那么这组数据的表示只用x’和y’两个维度表示即可!当然了,如果想恢复原来的表示方式,那…

一.PCA简介 1. 相关背景 在许多领域的研究与应用中,往往需要对反映事物的多个变量进行大量的观测,收集大量数据以便进行分析寻找规律.多变量大样本无疑会为研究和应用提供了丰富的信息,但也在一定程度上增加了数据采集的工作量,更重要的是在多数情况下,许多变量之间可能存在相关性,从而增加了问题分析的复杂性,同时对分析带来不便.如果分别对每个指标进行分析,分析往往是孤立的,而不是综合的.盲目减少指标会损失很多信息,容易产生错误的结论. 因此需要找到一个合理的方法,在减少需要分析的指标同时,尽量减少原指…

在查询性能优化时,Logical Read非常重要,它的计数一般与查询出来的结果集数量成正比,与数据读取的速度也成正比. 1,SET STATISTICS IO 显式Disk IO的信息 Syntax SET STATISTICS IO { ON | OFF } Output item                           Meaning             Table Name of the table. Scan count Number of scans performe…

在认识客观世界的过程中,统计学的思想和方法经常起着不可替代的作用.在许多工程及自然科学的专业领域中,包括可靠性分析.质量控制.生物信息.脑科学.心理分析.经济分析.金融风险管理.社会科学推断.行为科学等,统计分析方法已经成为基本的数据分析与信息分析工具. 在科学研究和实际问题的处理过程中,往往需要面对数据的分析和处理.这些数据虽然包含了大量的信息,但对所关心的问题而言,还需要对数据进行一定的处理才能从中提炼出有用的信息.那么如何从这些收集到的数据中获取所关心的信息呢?统计学提供相应的思想和方法,…

--------------聚合函数 SUM :该函数计算组中表达式的累积和 MIN :在一个组中的数据窗口中查找表达式的最小值 MAX :在一个组中的数据窗口中查找表达式的最大值 AVG :用于计算一个组和数据窗口内表达式的平均值. COUNT :对一组内发生的事情进行累积计数 ----------------开窗函数 RANK :根据ORDER BY子句中表达式的值,从查询返回的每一行,计算它们与其它行的相对位置 DENSE_RANK :根据ORDER BY子句中表达式的值,从查询返回的每一…

Oracle分析函数——函数列表 SUM        :该函数计算组中表达式的累积和 MIN        :在一个组中的数据窗口中查找表达式的最小值 MAX        :在一个组中的数据窗口中查找表达式的最大值 AVG         :用于计算一个组和数据窗口内表达式的平均值. COUNT      :对一组内发生的事情进行累积计数 -----------------------------------------------------------------------------…