柯尔莫哥洛夫-斯米尔诺夫检验(Колмогоров-Смирнов检验)基于累计分布函数,用以检验两个经验分布是否不同或一个经验分布与另一个理想分布是否不同. 在进行cumulative probability统计(如下图)的时候,你怎么知道组之间是否有显著性差异?有人首先想到单因素方差分析或双尾检验(2 tailed TEST).其实这些是不准确的,最好采用Kolmogorov-Smirnov test(柯尔莫诺夫-斯米尔诺夫检验)来分析变量是否符合某种分布或比较两组之间有无显著性差异. Ko

欢迎关注博主主页,学习python视频资源,还有大量免费python经典文章 sklearn实战-乳腺癌细胞数据挖掘(博主亲自录制视频教程) https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 医药统计项目可联系  QQ:231469242    目录: 1.Sh

能够用来做统计分析的软件和程序很多,目前应用比较广泛的包括:SPSS, SAS.R语言,Matlab,S-PLUS,S-Miner等.下面我们来看一下各应用的特点: SPSS: 最简单的,都是菜单操作,不过不利于二次程序开发. SAS: 需要购买,该软件录入语言要非常精确,不能出错,难操作. R语言:免费软件,可以菜单操作,不过一般要编程的,二次程序开发. Matlab:基本是程序操作,和R语言差不多,不过功能比较强大. S-PLUS: 需要购买,基本也是菜单操作,和SPSS差不多. R与SPS

SparkR (R on Spark) 概述 SparkDataFrame 启动: SparkSession 从 RStudio 来启动 创建 SparkDataFrames 从本地的 data frames 来创建 SparkDataFrames 从 Data Sources(数据源)创建 SparkDataFrame 从 Hive tables 来创建 SparkDataFrame SparkDataFrame 操作 Selecting rows(行), columns(列) Groupin

做评分卡模型时(假设有多个自变量,因变量即是否违约.)通常需要筛选变量. k-s值的作用类似于AUC,它期初是用来评价模型(变量)对是否违约事件的区分程度的. # -*- coding: utf-8 -*- """ Created on Mon Apr 8 17:04:37 2019 @author: Administrator ks计算 """ import pandas as pd import numpy as np data_test_2

当我们的调查问卷在把调查数据拿回来后,我们该做的工作就是用相关的统计软件进行处理,在此,我们以spss为处理软件,来简要说明一下问卷的处理过程,它的过程大致可分为四个过程:定义变量.数据录入.统计分析和结果保存.下面将从这四个方面来对问卷的处理做详细的介绍.Spss处理:第一步:定义变量大多数情况下我们需要从头定义变量,在打开SPSS后,我们可以看到和excel相似的界面,在界面的左下方可以看到Data View, Variable View两个标签,只需单击左下方的Variable View标

LDA算法最初的论文使用的是变分EM方法训练(Variational Inference).该方法较为复杂,而且最后训练出的topic主题非全局最优分布,而是局部最优分布.后期发明了Collapsed Gibbs Sample方法,推导和使用较为简洁. Latent Dirichlet Allocation是Blei等人于2003年提出的基于概率模型的主题模型算法,LDA是一中非监督机器学习技术,可以用于识别大规模文档集或语料库中的潜在隐藏主题信息.该方法假设每个词由背后的一个潜在隐藏的主题中抽

The Lady Tasting Tea - How Statistics Revolutionized Science in the Twentieth Century 本书只讨论了20世纪这100年间的统计大变革. 一般的书读读就行,唯独这本书需要慢慢品读,让统计的思想深入骨髓. 这本书不适合空读,而要结合自己对统计学的理解来读,遇到不懂的时候不要跳过,停下来仔细查阅相关资料,而后一旦理解了书中的总结,就很难忘记了. 需要做的事: 深刻揣摩每段历史中核心的统计学问题: 整理书中的天才们,出现

给定一个数据集,数据分析师一般会先观察一下数据集的基本情况,称之为汇总统计或者概要性统计.一般的概要性统计用于概括一系列观测值,包括位置或集中趋势(比如算术平均值.中位数.众数和四分位均值),展型(比如四分位间距.绝对偏差和绝对距离偏差.各阶矩等),统计离差,分布的形状,依赖性等.除此之外,spark.mllib库也提供了一些其他的基本的统计分析工具,包括相关性.分层抽样.假设检验,随机数生成等.在本章,我们将从以下几个方面进行介绍: 概括统计数据 Summary Statistics 相关性

聚合函数就是基于多行数据返回一行结果,下面就是Oracle提供的一些列聚合函数: AVG COLLECT CORR CORR_* COUNT COVAR_POP COVAR_SAMP CUME_DIST DENSE_RANK FIRST GROUP_ID GROUPING GROUPING_ID LAST LISTAGG MAX MEDIAN MIN PERCENT_RANK PERCENTILE_CONT PERCENTILE_DISC RANK REGR_(Linear Regression

Note of Markov Chain Monte Carlo and Gibbs Sampling :  http://pan.baidu.com/s/1jHpWY1o 序:A major limitation towards more widespread implementation of Bayesian approaches is that obtaining thee posterior distribution often requires the integration of

1. 常用函数库   scipy包中的stats模块和statsmodels包是python常用的数据分析工具,scipy.stats以前有一个models子模块,后来被移除了.这个模块被重写并成为了现在独立的statsmodels包.  scipy的stats包含一些比较基本的工具,比如:t检验,正态性检验,卡方检验之类,statsmodels提供了更为系统的统计模型,包括线性模型,时序分析,还包含数据集,做图工具等等. 2. 小样本数据的正态性检验 (1) 用途  夏皮罗维尔克检验法 (Sh

根据研究设计和资料的性质有单个样本t检验.配对样本t检验.两个独立样本t检验以及在方差不齐时的t'检验 单样本t检验 单样本t检验(one-sample t-test)又称单样本均数t检验,适用于样本均数$\overline{X}$与已知总体均数$\mu_{0}$的比较,其比较目的是检验样本均数所代表的总体均数µ是否与已知总体均数$\mu_{0}$有差别 已知总体均数$\mu_{0}$, 一般为标准值.理论值或经大量观察得到的较稳定的指标值 单样本t检验用于总体标准差σ未知的资料,其统计值t 其

单样本 H0:服从正态分布 P=0.0988>0.05不拒绝H0,服从正态分布 H0:等于140t=-2.14,P=0.0397 P<0.05,拒绝H0,差异有统计学意义 均值x=130.83<140因此,可认为均数x低于正常均数140 配对样本 H0:d值服从正态分布 P=0.9993>0.10 不拒绝H0,d值服从正态分布 H0:两种相同 t=7.93,P<0.0001 拒绝H0,差异有统计学意义 均值x1=0.7952>均值x2=0.5228 因此,哥特里-罗紫法

SAS基础知识 SAS里面的PROC一览 The ACECLUS Procedure : 聚类的协方差矩阵近似估计(approximate covariance estimation for clustering) The ANOVA Procedure :方差分析 The BOXPLOT Procedure :箱形图 The CALIS Procedure :结构方程模型 The CANCORR Procedure :典型相关分析 The CANDISC Procedure :主成分分析和典型

ATA/SATA/SCSI/SAS/FC 都是应用于存储领域的总线,在当今的存储系统中,普遍应用的硬盘接口主要有 SATA . SCSI . SAS 和FC , ATA 比较古老,在一些老的低端存储系统中被广泛应用,目前基本上被 SATA 所替代. ♦ ATA 总线 ATA 技术是一个关于 IDE ( Integrated Device Electronics )的技术规范族.最初, IDE 只是一项企图把控制器与盘体集成在一起为主要意图的硬盘接口技术. 随着 IDE/EIDE 得到的日益广泛的

一.            在SAS中进行随机抽样: 1. 在实际数据处理中常常需要进行样本抽样,在实践中主要有两种情况: (1)简单无重复抽样(2)分层抽样   a.等比例分层抽样  b. 不等比例分层抽样: 2.SAS 中可以利用PROC suveryselect 过程实现各种抽样: 其一般形式是: PROC SURVEYSELECT  data=<源数据集名> method = <srslursl sys >  out=<抽取样本存放的数据集> n=<抽取数

<Trip destination prediction based on multi-day GPS data>是一篇在2019年,由吉林交通大学团队发表在elsevier期刊上的一篇论文.在论文中,他们基于GPS数据,使用不同的方法建立了多个预测目的地的模型,进行对比试验,最终提高了正确率,取得了很好的效果. 0. 概括 基于8周.10人的GPS数据,在隐式马尔可夫模型和习惯预测模型的基础上,作者建立了一个可以预测出行目的地的模型,该模型大大提高了预测的精度.最重要的他们发现,人们出行关于

Wilcoxon signed-rank test应用于两个related samples Mann–Whitney U test也叫Wilcoxon rank-sum test,应用于两个independent samples的情samples size小的时候,是有列表的,sample size大到20左右时,就可以使用正态分布来近似,不查表了. 两种都是非参秩和检验,Mann-whitney检验在spss里面有专门的模块而没有wilcoxon,sas分析的话用wilcoxon居多,公式和统