第三周的课程pandas 分析数据 http://pandas.pydata.org import pandas as pd 常与numpy matplotlib 一块定义 d=pd.Series(range(20)) d.cumsum() 主要提供两个数据类型 Series DataFrame 基于上述数据类型的各类操作 很好的表示和封装 numpy         更关注数据的结构表达 数据之间构成的维度 pandas        基于numpy 实现的扩展库 建立其应用与索引之间的关系…
数据类型操作 如何改变Series/ DataFrame 对象 增加或重排:重新索引 删除:drop 重新索引 .reindex() reindex() 能够改变或重排Series和DataFrame索引 d.reindex(['c5','c4','v3','v2','c1']) 这样是改变index的顺序 d.reindex(column=['同比',...] 这样是改变column的顺序 .reincdex() 的参数 index,columns 新的行列顺序 fill_value 重新索引…
数据理解 基本统计 分布/累计统计 数据特征 数据挖掘 数据排序 操作索引的排序 .sort_index() 在指定轴上排序,默认升序 参数 axis=0 column ascending=True 升序 .sort_values() 参数同上 +by 对应的(axis)轴上某一个索引或者索引列表 (会相应的改变行) NAN空 统一放到排序末尾 基本统计函数 方法 说明 .sum() 和,默认0轴下同 .count() 计算非NAN的数量 .mean() .median() 计算均值,中位数 .…
一.Pandas库入门 1. Pandas库的介绍 http://pandas.pydata.org Pandas是Python第三方库,提供高性能易用数据类型和分析工具 import pandas as pdPandas基于NumPy实现,常与NumPy和Matplotlib一同使用 两个数据类型:Series, DataFrame 基于上述数据类型的各类操作:基本操作.运算操作.特征类操作.关联类操作 NumPy                        Pandas基础数据类型    …
入门学习马上结束辽. 1.Pandas库 import pandas as pd 两个数据类型:Series,DataFrame Series类型:数据+索引 自定义索引 b = pd.Series([9,8,7,6],index=['a','b','c','d']) b Out[3]: a 9 b 8 c 7 d 6 dtype: int64 从标量值创建 s = pd.Series(25,index=['a','b','c'])#index=不能省略 s Out[7]: a 25 b 25…
单元4:Matplotlib库入门 matplotlib.pyplot是绘制各类可视化图形的命令子库,相当于快捷方式 import matplotlib.pyplot as plt # -*- coding: utf-8 -*- """ Created on Fri Aug 2 10:03:57 2019 @author: ASUS """ import matplotlib.pyplot as plt plt.plot([0,2,4,6,8],…
Python数据分析与挖掘所需的Pandas常用知识 前言Pandas基于两种数据类型:series与dataframe.一个series是一个一维的数据类型,其中每一个元素都有一个标签.series类似于Numpy中元素带标签的数组.其中,标签可以是数字或者字符串.一个dataframe是一个二维的表结构.Pandas的dataframe可以存储许多种不同的数据类型,并且每一个坐标轴都有自己的标签.你可以把它想象成一个series的字典项. Pandas常用知识 一.读取csv文件为dataf…
0 数据分析之前奏 课程主要内容:常用IDE:本课程主要使用:Anaconda Anaconda:一个集合,包括conda.某版本Python.一批第三方库等 -支持近800个第三方库 -适合科学计算领域 -包含多个主流工具 -开源免费 -跨平台 本身不是个ide 是将多个工具集成在一起的 conda -一个工具,用于包管理和环境管理 -包管理与pip类似,管理Python第三方库 -环境管理能够允许用户使用不同版本的Python,并能灵活切换 conda将工具.第三方库.Python版本.co…
大家都知道,Matplotlib 是众多 Python 可视化包的鼻祖,也是Python最常用的标准可视化库,其功能非常强大,同时也非常复杂,想要搞明白并非易事.但自从Python进入3.0时代以后,pandas的使用变得更加普及,它的身影经常见于市场分析.爬虫.金融分析以及科学计算中. 作为数据分析工具的集大成者,pandas作者曾说,pandas中的可视化功能比plt更加简便和功能强大.实际上,如果是对图表细节有极高要求,那么建议大家使用matplotlib通过底层图表模块进行编码.当然,我…
知识回顾 在上一周的学习里,我学习了一些学习Python的基础知识下面先简短的回顾一些: 1Python的版本和和安装 Python的版本主要有2.x和3.x两个版本这两个版本在语法等方面有一定的区别.在安装的的时候需要注意.剩下的就是在官网选择适合自己操作系统版本的Python安装即可 2Python的内容编码 接下来就有关Python的内容编码的问题 .Python2.x默认是acsll编码.因此不支持中文.Python 3 则不存在这个问题 因此在Python2.x环境中需要在代码的开始加…
Pandas导入 Pandas是Python第三方库,提供高性能易用数据类型和分析工具 Pandas基于NumPy实现,常与NumPy和Matplotlib一同使用 两个数据类型:Series, DataFrame import pandas as pd Pandas与numpy的比较 Pandas的Series类型 由一组数据及与之相关的数据索引组成 Pandas的Series类型的创建 Series类型可以由如下类型创建: Python列表,index与列表元素个数一致 标量值,index表…
matplotlib 有各种可视化的类构成 一般调用 matplotlib.pypolt 这个命令字库 相当于快捷方式 plt.plot(a) 只有一个一维列表 x轴充当列表索引 plt.ylabel("grade") plt.savefig("test",dpi=600 ) # png 文件 plt.axis([]) 设置两个坐标轴的范围 参数一个有四个元素的列表 plt.show() plt.plot(x,y,format_string,kwarg**) for…
ipython 中的问号 获得相关的描述信息 %run 系统文件 执行某一个文件 ipython的模式命令 %magic 显示所有的魔术命令 %hist    命令历史输入信息 %pdb    异常发生后自动进入调试器 %reset  删除当前命名空间中的全部变量或名称 %who   显示Ipython 当前命名空间中的已经定义的变量 %time statemnent 给出代码执行时间 %timeit statement 多次实行代码,计算平均执行时间 基本读取数据的方法 维度:数据的组织形式…
一前奏 1..Python语言开发工具选择 IDLE:自带默认常用入门级 PyCharm:简单.集成度高 Anaconda:awesome IDE较为简单,不做详细记录. 二.表示 1.numpy库入门 数据的维度 列表内的数据类型可以不同. 高维数据:键值对组成. 数组对象 Numpy是一个开源的Python科学计算库 *一个强大的N维数组对象ndarray *广播功能函数 *线性代数.傅里叶变换.随机数生成等功能 N维数组对象:ndarray *实际的数据 *元数据,下标从0开始(数据维度,…
一.IDE选择 Anaconda软件:开源免费,https://www.anaconda.com下载,根据系统进行安装.由于下载速度慢,可以去清华大学开源软件镜像站下载. Spyder软件设置:Tools-Preferences-Syntax coloring-Scheme设置成Monokai,保护眼睛. Spyder里面有一个IPython,交互式调试工具. 二.NumPy库 1. 数据的维度:一组数据的组织形式. 从一个数据到一组数据,表达多种数据含义. 一维数据:由对等关系的有序或无序数据…
Numpy库入门 从一个数据到一组数据 维度:一组数据的组织形式 一维数据:由对等关系的有序或无序数据构成,采用线性方式组织. 可用类型:对应列表.数组和集合 不同点: 列表:数据类型可以不同 数组:数据类型相同 二维数据:由多个一维数据构成,是一维数据的组合形式. 表格是典型的二维数据 多维数据:由一维或二维数据在新维度上扩展形成. 高维数据:仅利用最基本的二元关系展示数据间的复杂结构. 键值对将数据组织起来的形式 一维数据:列表和集合类型 二维数据:列表类型 多维数据:列表类型 高维数据:字…
一.实验目的和要求 1.熟练运用常见选择结构: 2.熟练运用for循环和while循环: 3.理解带else语句的循环结构执行过程和break.continue语句在循环中的作用. 二.实验环境 软件版本:Python 3.10 64_bit 三.实验过程 1.实例1:判断输入的是不是黄蓉所说的数 (1)实验if语句判断用户输入的数是不是黄蓉所说的除以三余二,除以五余三,除以七余二的数,代码如下: (2)运行结果如图所示: 2.实例2:验证瑛姑给出的答案是否正确 (1)使用If...else语句…
NumPy数据存取与函数 数据的CSV文件存取 CSV文件 CSV(Comma-Separated Value,逗号分隔值) CSV是一种常见的文件格式,用来存储批量数据. 将数据写入CSV文件 np.savetxt(frame, array, fmt='%.18e', delimiter=None) -frame: 文件.字符串或产生器,可以是.gz或.bz2的压缩文件 -array: 存入文件的数组 -fmt: 写入文件的格式,例如:%d %.2f %.18e -delimiter:分割字符…
集合的操作 集合是一个无序的,不重复的数据组合,它的主要作用如下: 去重,把一个列表变成集合,就自动去重了 关系测试,测试两组数据之间的交集,差集,并集等关系 集合的写法 list_1 = set([1, 3, 4, 6, 7, 12, 5]) 集合的关系 list_1 = set([1, 3, 5, 7, 4, 9, 10]) list_2 = set([1, 8, 10, 15, 12]) 集合的交集 print(list_1.intersection(list_2)) 等价于 print(…
一.Matplotlib库入门 1. Matplotlib库的介绍 http://matplotlib.org/gallery.html可查看Matplotlib库的效果 Matplotlib库由各种可视化类构成,内部结构复杂,受Matlab启发matplotlib.pyplot是绘制各类可视化图形的命令子库,相当于快捷方式 import matplotlib.pyplot as plt plt.plot([3,1,4,5,2]) plt.plot()只有一个输入列表或数组时,参数被当作Y轴,X…
apply和applymap 1. 可直接使用NumPy的函数 示例代码: # Numpy ufunc 函数 df = pd.DataFrame(np.random.randn(5,4) - 1) print(df) print(np.abs(df)) 运行结果: 0 1 2 3 0 -0.062413 0.844813 -1.853721 -1.980717 1 -0.539628 -1.975173 -0.856597 -2.612406 2 -1.277081 -1.088457 -0.1…
一.文件操作步骤 打开文件,得到文件句柄并赋值给一个变量 通过句柄对文件进行操作 关闭文件 歌名:<大火> 演唱:李佳薇 作词:姚若龙 作曲:马奕强 歌词: 有座巨大的停了的时钟 倾倒在赶路的途中 挡我 向前走 有只黑色的老鹰在俯冲 叼走了你送的承诺 回头 冷冷看我 有阵将眼泪扫落的狂风 掀起了隐藏的疼痛 把我 变赤裸 我为蔓延的回忆除草了 心中却长出盛开的 寂寞 原来是梦 有些伤痕像场大火 把心烧焦难以复活 不碰了好像忘了 恐惧却在脑海住着 重复卡在一个 重要的时刻 不自觉就会退缩 连幸福也…
文章目录 很多人学习python,不知道从何学起.很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手.很多已经做案例的人,却不知道如何去学习更加高深的知识.那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!QQ群:101677771 一.Pandas的使用 1.Pandas介绍 2.Pandas基本操作 Series的操作 创建DataFrame 常见列操作 常见行操作 DateFrame的基本操作 时间操作 3.Pandas进行数据…
一.爬取老番茄B站数据 前几天开发了一个python爬虫脚本,成功爬取了B站李子柒的视频数据,共142个视频,17个字段,含: 视频标题,视频地址,视频上传时间,视频时长,是否合作视频,视频分区,弹幕数,播放量,点赞数,投币量,收藏量,评论数,转发量,实时爬取时间 基于这个Python爬虫程序,我更换了up主的UID,把李子柒的uid换成了老番茄的uid,便成功爬取了老番茄的B站数据.共393个视频,17个字段,字段同上. 这里展示下爬取到的前20个视频数据: 基于爬取的老番茄B站数据,用pyt…
​大家好,我是白云. 今天想给大家分享的是三个月零基础入门数据分析学习计划.有小伙伴可能会说,英语好像有点不太好,要怎么办?所以今天我给大家分享的资源呢就是对国内的小伙伴很友好,还附赠大家一份三个月学习的计划表,大家只要按照我的计划表还有我的资料来,前提是大家必须严格遵照我的计划表,不可以偷懒哦.我的计划表就已经给大家安排了休息的时间,你只要跟着我的计划走三个月,保证你会学有所成,关于数据分析的学习笔记和学习资料,可以评论或私信我领取,那我们就开始吧. excel学习 ​ 第一项学习内容呢是ex…
这是我学习北京理工大学嵩天老师的<Python数据分析与展示>课程的笔记.嵩老师的课程重点突出.层次分明,在这里特别感谢嵩老师的精彩讲解. NumPy库入门 数据的维度 维度是一组数据的组织形式.数据维度就是在数据之间形成特定关系表达多种含义的一个概念. 一维数据: 一维数据由对等关系的有序或无序数据构成,采用线性方式组织.对应列表.数组和集合等概念. 列表和数组:一组数据的有序结构. 区别: 列表:数据类型可以不同 数组:数据类型相同 二维数据: 二维数据由多个一维数据构成,是一维数据的组合…
本文主要是总结学习pandas过程中用到的函数和方法, 在此记录, 防止遗忘. Python数据分析--Pandas知识点(一) Python数据分析--Pandas知识点(二) 下面将是在知识点一, 二的基础上继续总结. 前面所介绍的都是以表格的形式中展现数据, 下面将介绍Pandas与Matplotlib配合绘制出折线图, 散点图, 饼图, 柱形图, 直方图等五大基本图形. Matplotlib是python中的一个2D图形库, 它能以各种硬拷贝的格式和跨平台的交互式环境生成高质量的图形,…
项目 内容 课程班级博客链接 https://edu.cnblogs.com/campus/pexy/20sj 作业链接 https://edu.cnblogs.com/campus/pexy/20sj/homework/12540 博客名称 2003031121-浦娟-python数据分析第三周作业-numpy的应用 要求 每道题要有题目,代码(使用插入代码,不会插入代码的自己查资料解决,不要直接截图代码!!),截图(只截运行结果) 阅读心得: 1.扩展阅读:Python3及pip.numpy…
在家为国家做贡献太无聊,不如跟我一起学点 Python 人生苦短,我用 Python 前文传送门: 小白学 Python 数据分析(1):数据分析基础 小白学 Python 数据分析(2):Pandas (一)概述 小白学 Python 数据分析(3):Pandas (二)数据结构 Series 引言 DataFrame 是由多种类型的列构成的二维标签数据结构. 简单理解是类似于 Excel . SQL 表的结构. DataFrame 是最常用的 Pandas 对象,与 Series 一样,Da…
Pandas库介绍: Pandas库引用:Pandas是Python第三方库,提供高性能易用数据类型和分析工具 import pandas as pd Pandas基于NumPy实现,常与NumPy和Matplotlib一同使用 Series类型 Pandas库中的DataFrame类型: Pandas库的数据类型操作: Pandas库的数据类型运算: 单元小结:…