1astype()函数可用于转化dateframe某一列的数据类型 如下将dateframe某列的str类型转为int,注意astype()没有replace=True的用法,想要在原数据上修改,要写成如下形式. 注意只有当该列的字符串全是由纯数字构成时才可以这样写,如果混有字母,会报错:ValueError: invalid literal for int() with base 10: 利用int()函数转字符串也类似 参考:https://www.cnblogs.com/helloworl…

操作 numpy 数组的常用函数 where 使用 where 函数能将索引掩码转换成索引位置: indices = where(mask) indices => (array([11, 12, 13, 14]),) x[indices] # this indexing is equivalent to the fancy indexing x[mask] => array([ 5.5, 6. , 6.5, 7. ]) diag 使用 diag 函数能够提取出数组的对角线: diag(A) =…

删除表中的某一行或者某一列更明智的方法是使用drop,它不改变原有的df中的数据,而是返回另一个dataframe来存放删除后的数据. (1)清理无效数据 df[df.isnull()] #返回的是个true或false的Series对象(掩码对象),进而筛选出我们需要的特定数据. df[df.notnull()] df.dropna() #将所有含有nan项的row删除 df.dropna(axis=1,thresh=3) #将在列的方向上三个为NaN的项删除 df.dropna(how='A…

本文涉及pandas最常用的36个函数,通过这些函数介绍如何完成数据生成和导入.数据清洗.预处理,以及最常见的数据分类,数据筛选,分类汇总,透视等最常见的操作. 生成数据表 常见的生成数据表的方法有两种,第一种是导入外部数据,第二 种是直接写入数据.Excel中的"文件"菜单中提供了获取外部数据的功能,支持数据库和文本文件和页面的多种数据源导入. Python支持从多种类型的数据导入.在开始使用Python进行数据 导入前需要先导入pandas库,为了方便起见,我们也同时导入numpy…

从Excel到Python:最常用的36个Pandas函数关于Excel,你一定用的到的36个Python函数 本文涉及pandas最常用的36个函数,通过这些函数介绍如何完成数据生成和导入.数据清洗.预处理,以及最常见的数据分类,数据筛选,分类汇总,透视等最常见的操作. 生成数据表 常见的生成数据表的方法有两种,第一种是导入外部数据,第二种是直接写入数据. Excel中的“文件”菜单中提供了获取外部数据的功能,支持数据库和文本文件和页面的多种数据源导入. Python支持从多种类型的数据导入.…

python中dtype,type,astype的区别 type() dtype() astype() 函数名称 用法 type 返回参数的数据类型 dtype 返回数组中元素的数据类型 astype 数据类型转换 type() #type用于获取数据类型 import numpy as np a=[1,2,3] print(type(a)) #>>><class 'list'> b=np.array(a) print(type(b)) #>>><cl…

声明:本文大量参考https://www.dataquest.io/mission/6/getting-started-with-numpy(建议阅读原文)   读取文件 有一个名为world_alcohol.csv的文件,文件格式如下 Year,WHO region,Country,Beverage Types,Display Value 1986,Western Pacific,Viet Nam,Wine,0 1986,Americas,Uruguay,Other,0.5 1985,Afri…

前言 Numpy是一个开源的Python科学计算库,它是python科学计算库的基础库,许多其他著名的科学计算库如Pandas,Scikit-learn等都要用到Numpy库的一些功能. 本文主要内容如下: Numpy数组对象 创建ndarray数组 Numpy的数值类型 ndarray数组的属性 ndarray数组的切片和索引 处理数组形状 数组的类型转换 numpy常用统计函数 数组的广播 1 Numpy数组对象 Numpy中的多维数组称为ndarray,这是Numpy中最常见的数组对象.n…

数据的标准化 数据标准化就是将不同取值范围的数据,在保留各自数据相对大小顺序不变的情况下,整体映射到一个固定的区间中.根据具体的实现方法不同,有的时候会映射到 [ 0 ,1 ],有时映射到 0 附近的一个较小区间内. 这样做的目的是消除数据不同取值范围带来的干扰. 数据标准化的方法,我在这里介绍两种 min-max标准化 min-man 标准化会把结果映射到 0 与 1 之间,下面是映射的公式. min 是整个样本的最小值,max是整个样本的最大值 Z-score标准化 Z-score会把结果映…

先学了R,最近刚刚上手python,所以想着将python和R结合起来互相对比来更好理解python.最好就是一句python,对应写一句R. pandas可谓如雷贯耳,数据处理神器. 以下符号: =R= 代表着在R中代码是怎么样的. pandas 是基于 Numpy 构建的含有更高级数据结构和工具的数据分析包 类似于 Numpy 的核心是 ndarray,pandas 也是围绕着 Series 和 DataFrame 两个核心数据结构展开的 .Series 和 DataFrame 分别对应于一…