四分位数与pandas中的quantile函数 1.分位数概念 统计学上的有分位数这个概念,一般用p来表示.原则上p是可以取0到1之间的任意值的.但是有一个四分位数是p分位数中较为有名的. 所谓四分位数:即把数值由小到大排列并分成四等份,处于三个分割点位置的数值就是四分位数. 为了更一般化,在计算的过程中,我们考虑p分位.当p=0.25 0.5 0.75 时,就是在计算四分位数. 第1四分位数 (Q1),又称"较小四分位数",等于该样本中所有数值由小到大排列后第25%的数字. 第2四分

一. 先说我对这个题目的理解 直线的x,y方程是这样的:y = kx+b, k就是斜率. 求线性回归斜率, 就是说 有这么一组(x, y)的对应值——样本.如果有四组,就说样本量是4.根据这些样本,做“线性回归”,最终求出一条直线(即y = kx + b的k值和b值),使得样本里的各个点(x, y) “尽可能的”落到直线(或者直线附近)上. 二. python解题需要安装的包 实际解题主要用到的python库是pandas. 解题算法是“最小二乘法”,这用到了pandas的ols函数. 我的系统

''' 基于物品的协同推荐 矩阵数据 说明: 1.修正的余弦相似度是一种基于模型的协同过滤算法.我们前面提过,这种算法的优势之 一是扩展性好,对于大数据量而言,运算速度快.占用内存少. 2.用户的评价标准是不同的,比如喜欢一个歌手时有些人会打4分,有些打5分:不喜欢时 有人会打3分,有些则会只给1分.修正的余弦相似度计算时会将用户对物品的评分减去 用户所有评分的均值,从而解决这个问题. 如何预测用户对给定物品的打分? 一.基于用户协同 方法1:用户之间的距离/相似度(K近邻算法) 二.基于物品协

''' 基于物品的协同推荐 矩阵数据 说明: 1.修正的余弦相似度是一种基于模型的协同过滤算法.我们前面提过,这种算法的优势之 一是扩展性好,对于大数据量而言,运算速度快.占用内存少. 2.用户的评价标准是不同的,比如喜欢一个歌手时有些人会打4分,有些打5分:不喜欢时 有人会打3分,有些则会只给1分.修正的余弦相似度计算时会将用户对物品的评分减去 用户所有评分的均值,从而解决这个问题. ''' import pandas as pd from io import StringIO #数据类型一:

原书作者使用字典dict实现推荐算法,并且惊叹于18行代码实现了向量的余弦夹角公式. 我用pandas实现相同的公式只要3行. 特别说明:本篇笔记是针对矩阵数据,下篇笔记是针对条目数据. ''' 基于用户的协同推荐 矩阵数据 ''' import pandas as pd from io import StringIO import json #数据类型一:csv矩阵(用户-商品)(适用于小数据量) csv_txt = '''"user","Blues Traveler&qu

本文作者:hhh5460 本文地址:https://www.cnblogs.com/hhh5460/p/10159331.html 特别感谢:本文的三幅图皆来自莫凡的教程 https://morvanzhou.github.io/ pandas是基于numpy的,但是两者之间的操作有区别,故在实现上述算法时的细节有出入.故记录之 几点说明: 1). 为了更好的说明问题,采用最简单的例一. 2). 分离了环境与个体,采用类编程的形式. 3). 调整了环境与个体的变量.函数的位置,使得Agent完全

''' 基于用户的协同推荐 条目数据 ''' import pandas as pd from io import StringIO import json #数据类型一:条目(用户.商品.打分)(避免巨型稀疏矩阵) csv_txt = '''"Angelica","Blues Traveler",3.5 "Angelica","Broken Bells",2.0 "Angelica","Nora

本文将用一个例子来讲述怎么用scikit-learn和pandas来学习Ridge回归. 1. Ridge回归的损失函数 在我的另外一遍讲线性回归的文章中,对Ridge回归做了一些介绍,以及什么时候适合用 Ridge回归.如果对什么是Ridge回归还完全不清楚的建议阅读我这篇文章. 线性回归原理小结 Ridge回归的损失函数表达形式是: \(J(\mathbf\theta) = \frac{1}{2}(\mathbf{X\theta} - \mathbf{Y})^T(\mathbf{X\thet

对于想深入了解线性回归的童鞋,这里给出一个完整的例子,详细学完这个例子,对用scikit-learn来运行线性回归,评估模型不会有什么问题了. 1. 获取数据,定义问题 没有数据,当然没法研究机器学习啦.:) 这里我们用UCI大学公开的机器学习数据来跑线性回归. 数据的介绍在这: http://archive.ics.uci.edu/ml/datasets/Combined+Cycle+Power+Plant 数据的下载地址在这: http://archive.ics.uci.edu/ml/ma

0序 随着移动互联和大数据的拓展越发觉得算法以及模型在设计和开发中的重要性.不管是现在接触比较多的安全产品还是大互联网公司经常提到的人工智能产品(甚至人类2045的的智能拐点时代).都基于算法及建模来处理.     常见的词汇:机器学习.数据建模.关联分析.算法优化等等,而这些种种又都是基于规律的深度开发(也难怪道德经的首篇就提出道可道非常道,名可名非常名的说法),不管是线性还是非线性,总之存在关联关系,而我们最好理解的就是线性关系,简单的用个函数就能解决.比如我们生活中应用的比较的归纳总结,其

pandas应用之分组因子暴露和分位数分析 首先感谢原书作者Mes McKinney和batteryhp网友的博文, 俺在此基础上继续探索python的神奇功能. 用A股的实际数据, 以书里的代码为蓝本, 做一些实证探索. 发现不少问题 pandas版本升级之后, 函数调用的方式必须相应地改变. 比如 pd.rolling_mean 升级为Series.rolling().mean()等等 tushare的数据与yahoo财经的数据格式上的差异, 需要规整化, 等等 至少会有两篇后续的博文详细记

matplotlib是强大的python 绘图包.pandas 是强大的python分析工具包.numpy是强大的python统计包. 都超级好用,而且最近开始动手实践机器学习算法了.特此备注一下安装过程: ----------------------------------------- 1. matplotlib 安装起来有点费劲,果然python或者pc或者包的版本和依赖不一样,容易出现各种bug. windows环境下: 1)python 2.7 的64位下载安装 2)安装 64位的 m

上文交代了一些啰嗦事,本文开始,就要来点实际的了. 先来一个比较简单的场景: Given:一个包括N(极其复杂,这里取3个)个列的DataFrame:df,df包括index: And:对df所有列元素进行一些处理,得到df的一个变换后的df_new; And:对df_new的某些列做极其复杂的判断,得到新的列result: When:需要将要根据result对df进行分析: Then:将result追加到df中. 上述的场景是我的一个算法验证的场景,简单地说,就是需要通过对原始数据进行变换,然

官方文档链接http://pandas.pydata.org/pandas-docs/stable/dsintro.html 数据结构介绍 我们将以一个快速的.非全面的pandas的基础数据结构概述来开始.应用在所有对象的数据类型.索引和轴标签/对齐等的基础操作.首先我们需要向你的命名空间引入numpy和pandas. In [1]: import numpy as np In [2]: import pandas as pd 有个宗旨需要牢记:数据对齐是内在的.标签和数据间的链接不会被轻易改变

pandas是基于numpy包扩展而来的,因而numpy的绝大多数方法在pandas中都能适用. pandas中我们要熟悉两个数据结构Series 和DataFrame Series是类似于数组的对象,它有一组数据和与之相关的标签组成. import pandas as pd object=pd.Series([2,5,8,9]) print(object) 结果为: 0 21 52 83 9dtype: int64 结果中包含一列数据和一列标签我们可以用values和index分别进行引用 p

本文主要参考英文教材Python Machine Learning第二章.pdf文档下载链接: https://pan.baidu.com/s/1nuS07Qp 密码: gcb9. 本文主要内容包括利用Python实现一个感知机模型并利用这个感知机模型完成一个分类任务. Warren和McCullock于1943年首次提出MCP neuron神经元模型[1],之后,Frank Rosenblatt在MCP neuron model的基础之上提出了感知机Perceptron模型[2].具体细节请阅

邻近算法 或者说K最近邻(kNN,k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一.所谓K最近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近的k个邻居来代表. 关于K最近邻算法,非常好的一篇文章:KNN算法理解 写在前面的:Python2.7 数据iris: http://pan.baidu.com/s/1bHuQ0A   测试数据集: iris的第1行数据: 训练数据: iris的2到150行数据 #coding:utf-8 import pand

Offical Website :http://pandas.pydata.org/ 一:两种基本的数据类型结构 Series 和 DataFrame 先来看一下Series import pandas as pd import numpy as np import matplotlib.pyplot as plt #Series s = pd.Series([i*2 for i in xrange(1 , 11)]) print s 打印结果为: 0 2 1 4 2 6 3 8 4 10 5

数据处理:12个使得效率倍增的pandas技巧 1. 背景描述 Python正迅速成为数据科学家偏爱的语言,这合情合理.它拥有作为一种编程语言广阔的生态环境以及众多优秀的科学计算库.如果你刚开始学习Python,可以先了解一下Python的学习路线. python学习路线:https://www.analyticsvidhya.com/learning-paths-data-science-business-analytics-business-intelligence-big-data/lea

目前正在使用asp.net core 2.0 (主要是web api)做一个项目, 其中一部分功能需要使用js客户端调用python的pandas, 所以需要建立一个python 的 rest api, 我暂时选用了hug, 官网在这: http://www.hug.rest/. 目前项目使用的是identity server 4, 还有一些web api和js client. 项目的早期后台源码: https://github.com/solenovex/asp.net-core-2.0-we

看了很多博客,关于关联规则的介绍想做一个详细的汇总:  一.概念                                                                               表1 某超市的交易数据库 交易号TID 顾客购买的商品 交易号TID 顾客购买的商品 T1 bread, cream, milk, tea T6 bread, tea T2 bread, cream, milk T7 beer, milk, tea T3 cake, milk