4.2 通用函数:快速的元素级数组函数 通用函数(即ufunc)是一种对ndarray中的数据执行元素级运算的函数. 1)一元(unary)ufunc,如,sqrt和exp函数 2)二元(unary)ufunc,可接受2个数组,并返回一个结果数组,如add或maximum函数   3)部分ufunc可返回多个数组,如modf,是Python内置函数divmod的矢量化版本,可返回浮点数数组的整数部分和小数部分: 4)Ufuncs可以接受一个out可选参数,这样就能在数组原地进行操作. 列举部分一…

本篇开始,结合前面所学的Python基础,开始进行实战学习.学习书目为<利用Python进行数据分析>韦斯-麦金尼 著. 之前跳过本书的前述基础部分(因为跟之前所学的<Python基础>重复),进入第四章-Numpy基础的学习. 1. 了解IPython - Python实验组必备工具 1.1 如何安装IPython 安装IPython和jupyter两个包.(本人使用的是PyCharm+Anaconda,直接在Settings里面搜索install即可) 1.2 如何使用IPyt…

NumPy(Numerical Python的简称)是Python数值计算最重要的基础包.大多数提供科学计算的包都是用NumPy的数组作为构建基础. NumPy的部分功能如下: ndarray,一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组. 用于对整组数据进行快速运算的标准数学函数(无需编写循环). 用于读写磁盘数据的工具以及用于操作内存映射文件的工具. 线性代数.随机数生成以及傅里叶变换功能. 用于集成由C.C++.Fortran等语言编写的代码的A C API. 由于NumP…

7.3 字符串操作 pandas加强了Python的字符串和文本处理功能,使得能够对整组数据应用字符串表达式和正则表达式,且能够处理烦人的缺失数据. 7.3.1 字符串对象方法 对于许多字符串处理和脚本应用,内置的字符串方法能够满足要求. 1)用split将以逗号分隔的字符串拆分成数段 2)split常与strip一起使用,用于去除空白符(包括换行符) 3)利用加法,可将这些字符串以其他符号(如,双冒号)分隔的形式连接起来 Ps:该方式不实用,可用向字符串"::"的join方法传入一个…

NumPy(Numerical Python的简称)是Python数值计算最重要的基础包.大多数提供科学计算的包都是用NumPy的数组作为构建基础. NumPy的部分功能如下: ndarray,一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组. 用于对整组数据进行快速运算的标准数学函数(无需编写循环). 用于读写磁盘数据的工具以及用于操作内存映射文件的工具. 线性代数.随机数生成以及傅里叶变换功能. 用于集成由C.C++.Fortran等语言编写的代码的A C API. 由于NumP…

在python 中有时候我们用数组操作数据可以极大的提升数据的处理效率, 类似于R的向量化操作,是的数据的操作趋于简单化,在python 中是使用numpy模块可以进行数组和矢量计算. 下面来看下简单的例子 import numpy as np data=np.array([2,5,6,8,3]) #构造一个简单的数组 print(data) 结果: [2 5 6 8 3] data1=np.array([[2,5,6,8,3],np.arange(5)]) #构建一个二维数组 print(da…

6.2 二进制数据格式 实现数据的高效二进制格式存储最简单的办法之一,是使用Python内置的pickle序列化. pandas对象都有一个用于将数据以pickle格式保存到磁盘上的to_pickle方法: 通过pickle直接读取被pickle化的数据,或使用更为方便的pandas.read_pickle: Ps:pickle仅建议用于短期存储格式.因其很难保证该格式是永远稳定的. pandas内置支持两个二进制数据格式:HDF5和MessagePack.pandas或Numpy数据的其他存储…

学习时间:2019/10/25 周五晚上22点半开始. 学习目标:Page188-Page217,共30页,目标6天学完,每天5页,预期1029学完. 实际反馈:集中学习1.5小时,学习6页:集中学习1.7小时(100分钟),学习5页: 实际20191103学完,因本周工作耽误未进行学习,耗时5天,10小时,平均每页20分钟. 数据准备工作:加载.清理.转换以及重塑,通常会占用分析师80%的时间或更多!!!学会高效的数据清洗和准备,将绝对提升生产力!本章将讨论处理缺失数据.重复数据.字符串操作和…

学习时间:2019/11/03 周日晚上23点半开始,计划1110学完 学习目标:Page218-249,共32页:目标6天学完(按每页20min.每天1小时/每天3页,需10天) 实际反馈:实际XXX学完,耗时X天,X小时,平均每页X分钟. 实际应用中,数据可能分散在许多文件或数据库中,存储的形式也不利于分析.本章关注可以聚合.合并.重塑数据的方法. 8.1 层次化索引 层次化索引(hierarchical indexing)是pandas的一项重要功能,它使得能在一个轴上拥有多个(两个以上)…

5.2 基本功能 (1)重新索引 - 方法reindex 方法reindex是pandas对象地一个重要方法,其作用是:创建一个新对象,它地数据符合新地索引. 如,对下面的Series数据按新索引进行重排: 根据新索引重排后的结果如下,当某个索引值不存在,就会在原来的基础上引入缺失值NaN: 利用reindex的method选项,实现插值处理.尤其对于时间序列这样的有序数据,会经常用到该选项. 如,使用 ffill 实现 前向值 填充: 利用DataFrame,reindex修改(行)索引和列.…