仅仅从网上爬下数据当然是不够用的,主要还得对数据进行分析与展示,大部分人都看重薪资,但是薪资数据有的是*k/月,有的是*万/月,还有*万/年等等,就要对数据进行清理 将所有单位统一化,全部换算成统一单位,然后分类薪资范围,在计算各个范围的数量,最后绘图展示 import pymysql import numpy as np from pyecharts import Bar from pyecharts import Pie class Mysqlhelper(object): config =…

这是我学习北京理工大学嵩天老师的<Python数据分析与展示>课程的笔记.嵩老师的课程重点突出.层次分明,在这里特别感谢嵩老师的精彩讲解. NumPy库入门 数据的维度 维度是一组数据的组织形式.数据维度就是在数据之间形成特定关系表达多种含义的一个概念. 一维数据: 一维数据由对等关系的有序或无序数据构成,采用线性方式组织.对应列表.数组和集合等概念. 列表和数组:一组数据的有序结构. 区别: 列表:数据类型可以不同 数组:数据类型相同 二维数据: 二维数据由多个一维数据构成,是一维数据的组合…

0 数据分析之前奏 课程主要内容:常用IDE:本课程主要使用:Anaconda Anaconda:一个集合,包括conda.某版本Python.一批第三方库等 -支持近800个第三方库 -适合科学计算领域 -包含多个主流工具 -开源免费 -跨平台 本身不是个ide 是将多个工具集成在一起的 conda -一个工具,用于包管理和环境管理 -包管理与pip类似,管理Python第三方库 -环境管理能够允许用户使用不同版本的Python,并能灵活切换 conda将工具.第三方库.Python版本.co…

一.IDE选择 Anaconda软件:开源免费,https://www.anaconda.com下载,根据系统进行安装.由于下载速度慢,可以去清华大学开源软件镜像站下载. Spyder软件设置:Tools-Preferences-Syntax coloring-Scheme设置成Monokai,保护眼睛. Spyder里面有一个IPython,交互式调试工具. 二.NumPy库 1. 数据的维度:一组数据的组织形式. 从一个数据到一组数据,表达多种数据含义. 一维数据:由对等关系的有序或无序数据…

说明:0轴axis=0和1轴axis=1 简介 一:数据的排序 二:数据的基本统计分析 三:数据的累积统计分析 四:数据的相关分析 一:数据的排序 a b c d a b c d 二:数据的基本统计分析 三:数据的累积统计分析 累积统计分析:是能够对数据中的前1-n个数,进行累积运算,在一些大量数据分析中,可以减少for循环的使用,使得数据的运算更加灵活 四:数据的相关分析 总结…

一:基本绘图函数(这里介绍16个,还有许多其他的) 二:pyplot饼图plt.pie的绘制 三:pyplot直方图plt.hist的绘制 (一)修改第二个参数bins:代表直方图的个数,均分为多段,取其中的每段均值 (二)normed为1代表我们要使用归一化数据(所占比例)在y轴,为0表示每个期间所占个数 四:pyplot极坐标图bar的绘制(角度空间内展示效果不错,在生活中不常用) 五:pyplot散点图的绘制(面向对象绘制:各种绘制函数变为当前图表区域对象的方法,这是推荐的方法) 六:引力…

Numpy库入门 从一个数据到一组数据 维度:一组数据的组织形式 一维数据:由对等关系的有序或无序数据构成,采用线性方式组织. 可用类型:对应列表.数组和集合 不同点: 列表:数据类型可以不同 数组:数据类型相同 二维数据:由多个一维数据构成,是一维数据的组合形式. 表格是典型的二维数据 多维数据:由一维或二维数据在新维度上扩展形成. 高维数据:仅利用最基本的二元关系展示数据间的复杂结构. 键值对将数据组织起来的形式 一维数据:列表和集合类型 二维数据:列表类型 多维数据:列表类型 高维数据:字…

目录 NAME 格式 常用选项 表达式 PATTERN(模式) 流程控制语句 数组 print,printf格式化输出 常用示例 NAME gawk - pattern scanning and processing language 模式扫描和处理语言 awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大.简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理. 格式 gawk [option…

Pandas数据特征分析 数据的排序 将一组数据通过摘要(有损地提取数据特征的过程)的方式,可以获得基本统计(含排序).分布/累计统计.数据特征(相关性.周期性等).数据挖掘(形成知识). .sort_index()方法在指定轴上根据索引进行排序,默认升序 .sort_index(axis=0, ascending=True) In [1]: import pandas as pd In [2]: import numpy as np In [3]: b = pd.DataFrame(np.ar…

Matplotlib库入门 Matplotlib基础绘图函数示例 pyplot基础图表函数概述 函数 说明 plt.plot(x,y,fmt, ...) 绘制一个坐标图 plt.boxplot(data,notch,position) 绘制一个箱体图 plt.bar(left,height,width,bottom) 绘制一个条形图 plt.barh(width,bottom,left,height) 绘制一个横向条形图 plt.polar(theta,r) 绘制极坐标图 plt.pie(dat…

Matplotlib库入门 Matplotlib库介绍 Matliotlib库是Python优秀的数据可视化第三方库. Matliotlib库的效果见:http://matplotlib.org/gallery.html Matplotlib库由各种可视化类构成,内部结构复杂,受Matlab启发. matplotlib.pyplot是绘制各类可视化图形的命令字库,相当于快捷方式.导入方式如下: import matplotlib.pyplot as plt 范例:使用Matplotlib库绘图…

NumPy库入门 NumPy数据存取和函数 数据的CSV文件存取 CSV文件 CSV(Comma-Separated Value,逗号分隔值)是一种常见的文件格式,用来存储批量数据. np.savetxt(frame,array,fmt='%.18e',delimiter=None) frame:文件.字符串或产生器,可以是.gz或.bz2的压缩文件. array:存入文件的数组. fmt:写入文件的格式,例如:%d %.2f %.18e. delimiter:分割字符串,默认是任何空格. 范例…

Pyplot基础图表函数 Pyplot饼图的绘制: Pyplot直方图的绘制: Pyplot极坐标图的绘制: Pyplot散点图的绘制: 单元小结: import numpy as np import matplotlib.pyplot as plt from scipy.io import wavfile rate_h, hstrain= wavfile.read(r"H1_Strain.wav","rb") rate_l, lstrain= wavfile.re…

Matplotlib库介绍:优秀的数据可视化第三方库 使用:Matplotlib库由各种可视化类构成,内部结构复杂,受Matlab启发,matplotlib.pyplot是绘制各类可视化图形的命令子库,相当于快捷方式 Pyplot的plot()函数 Pyplot的中文显示:第一种方法 pyplot并不默认支持中文显示,需要rcParams修改字体实现 Pyplot的中文显示:第二种方法 在有中文输出的地方,增加一个属性:fontproperties Pyplot的文本显示 Pyplot的子绘图区…

一.Pandas库入门 1. Pandas库的介绍 http://pandas.pydata.org Pandas是Python第三方库,提供高性能易用数据类型和分析工具 import pandas as pdPandas基于NumPy实现,常与NumPy和Matplotlib一同使用 两个数据类型:Series, DataFrame 基于上述数据类型的各类操作:基本操作.运算操作.特征类操作.关联类操作 NumPy                        Pandas基础数据类型    …

一.Matplotlib库入门 1. Matplotlib库的介绍 http://matplotlib.org/gallery.html可查看Matplotlib库的效果 Matplotlib库由各种可视化类构成,内部结构复杂,受Matlab启发matplotlib.pyplot是绘制各类可视化图形的命令子库,相当于快捷方式 import matplotlib.pyplot as plt plt.plot([3,1,4,5,2]) plt.plot()只有一个输入列表或数组时,参数被当作Y轴,X…

简介 一:Pandas库的介绍 二:Pandas库的Series类型 (一)索引 (1)自动索引 (2)自定义索引 (二)Series类型创建 (1)列表创建 (2)标量值创建 (3)字典类型创建(将字典键作为索引) (4)从ndarray类型创建 (三)基本操作 三:Pandas库的DataFrame类型 (一)DataFrame创建 (1)ndarray创建 (2)字典创建(值为Series类型) (3)字典创建(值为列表类型)字典键都是列索引,行索引是自带或者我们使用index创建的 (二…

简介: 一:Matplotlib库的介绍 (一)简单使用 二:区域划分subplot 三:plot函数 四:pyplot的中文显示 (一)方法一:修改rcParams参数 (二)方法二(推荐),在有中文地方增加属性:fontproperties 五:pyplot的文本显示方法 六:pyplot的子绘图区域 (一)subplot2grid() (二)GridSpec类加上subplot方法 一:Matplotlib库的介绍 (一)简单使用 import matplotlib.pyplot as p…

简介 一:数据的CSV文件存取(一维或二维) (一)写入文件savetxt (二)读取文件loadtxt 二:多维数据的存取 (一)保存文件tofile (二)读取文件fromfile (三)NumPy 的便捷文件存取save/savez或load 三:NumPy的随机数函数(random模块) rand()均匀分布 randn()标准正态分布,有几个参数,代表有几个维度 randint()整数数组 seed()随机数种子 shuffle()根据数组第一轴产生一个新的乱序数组(在原数组基础) p…

概括: 一:数据维度 (一)一维数据 (二)二维数据 (三)多维数据 (四)高维数据 二:Numpy的数组对象:ndarray (一)Numpy介绍 (二)N维数组对象ndarray (三)ndarray的元素类型 (四)当ndarray数组由非同质对象构成时 三:ndarray数组的创建方法 (一)从python中的列,元组等类型创建ndarray数组 (二)使用Numpy中函数创ndarray数组,如:arange,ones,zeros等 (三)使用Numpy中其他函数创建ndarray数组…

一:安装 官方源:https://repo.continuum.io/archive/(太慢) 清华源:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/(速度不错) 二:anaconda了解 三:conda命令 conda --version 查看conda版本号 conda update conda 升级conda 四:编程工具Spyder 五:IPython的使用 (一)IPython中的? (二)IPython的%run命令 (三…

NumPy数据存取与函数 数据的CSV文件存取 CSV文件 CSV(Comma-Separated Value,逗号分隔值) CSV是一种常见的文件格式,用来存储批量数据. 将数据写入CSV文件 np.savetxt(frame, array, fmt='%.18e', delimiter=None) -frame: 文件.字符串或产生器,可以是.gz或.bz2的压缩文件 -array: 存入文件的数组 -fmt: 写入文件的格式,例如:%d %.2f %.18e -delimiter:分割字符…

数据类型操作 如何改变Series/ DataFrame 对象 增加或重排:重新索引 删除:drop 重新索引 .reindex() reindex() 能够改变或重排Series和DataFrame索引 d.reindex(['c5','c4','v3','v2','c1']) 这样是改变index的顺序 d.reindex(column=['同比',...] 这样是改变column的顺序 .reincdex() 的参数 index,columns 新的行列顺序 fill_value 重新索引…

数据理解 基本统计 分布/累计统计 数据特征 数据挖掘 数据排序 操作索引的排序 .sort_index() 在指定轴上排序,默认升序 参数 axis=0 column ascending=True 升序 .sort_values() 参数同上 +by 对应的(axis)轴上某一个索引或者索引列表 (会相应的改变行) NAN空 统一放到排序末尾 基本统计函数 方法 说明 .sum() 和,默认0轴下同 .count() 计算非NAN的数量 .mean() .median() 计算均值,中位数 .…

第三周的课程pandas 分析数据 http://pandas.pydata.org import pandas as pd 常与numpy matplotlib 一块定义 d=pd.Series(range(20)) d.cumsum() 主要提供两个数据类型 Series DataFrame 基于上述数据类型的各类操作 很好的表示和封装 numpy         更关注数据的结构表达 数据之间构成的维度 pandas        基于numpy 实现的扩展库 建立其应用与索引之间的关系…

matplotlib 有各种可视化的类构成 一般调用 matplotlib.pypolt 这个命令字库 相当于快捷方式 plt.plot(a) 只有一个一维列表 x轴充当列表索引 plt.ylabel("grade") plt.savefig("test",dpi=600 ) # png 文件 plt.axis([]) 设置两个坐标轴的范围 参数一个有四个元素的列表 plt.show() plt.plot(x,y,format_string,kwarg**) for…

ipython 中的问号 获得相关的描述信息 %run 系统文件 执行某一个文件 ipython的模式命令 %magic 显示所有的魔术命令 %hist    命令历史输入信息 %pdb    异常发生后自动进入调试器 %reset  删除当前命名空间中的全部变量或名称 %who   显示Ipython 当前命名空间中的已经定义的变量 %time statemnent 给出代码执行时间 %timeit statement 多次实行代码,计算平均执行时间 基本读取数据的方法 维度:数据的组织形式…

入门学习马上结束辽. 1.Pandas库 import pandas as pd 两个数据类型:Series,DataFrame Series类型:数据+索引 自定义索引 b = pd.Series([9,8,7,6],index=['a','b','c','d']) b Out[3]: a 9 b 8 c 7 d 6 dtype: int64 从标量值创建 s = pd.Series(25,index=['a','b','c'])#index=不能省略 s Out[7]: a 25 b 25…

单元4:Matplotlib库入门 matplotlib.pyplot是绘制各类可视化图形的命令子库,相当于快捷方式 import matplotlib.pyplot as plt # -*- coding: utf-8 -*- """ Created on Fri Aug 2 10:03:57 2019 @author: ASUS """ import matplotlib.pyplot as plt plt.plot([0,2,4,6,8],…

一前奏 1..Python语言开发工具选择 IDLE:自带默认常用入门级 PyCharm:简单.集成度高 Anaconda:awesome IDE较为简单,不做详细记录. 二.表示 1.numpy库入门 数据的维度 列表内的数据类型可以不同. 高维数据:键值对组成. 数组对象 Numpy是一个开源的Python科学计算库 *一个强大的N维数组对象ndarray *广播功能函数 *线性代数.傅里叶变换.随机数生成等功能 N维数组对象:ndarray *实际的数据 *元数据,下标从0开始(数据维度,…