实例 import pandas as pd data=pd.DataFrame({'产品':['A','A','A','A'],'数量':[50,50,30,30]}) 去重 data.drop_duplicates() # 去除重复数据 data.drop_duplicates().reset_index(drop=True) # 去除重复数据,并重新设置索引,舍弃原来的索引…

df.duplicated() 参数详解: subset:检测重复的数据范围.默认为数据集的所有列,可指定特定数据列: keep: 标记哪个重复数据,默认为'first'.1.'first':标记重复数据第一次出现为True;'last':标记重复数据最后一次出现为True:False:标记所有重复数据为True. import pandas as pd #构造数据(数据集来自pandas官网 df = pd.DataFrame({ 'brand': ['Yum Yum', 'Yum Yum',…

人的理想志向往往和他的能力成正比. —— 约翰逊 其实整个需求呢,就是题目.2018-08-16 需求的结构图: 涉及的包有:pandas.numpy 1.导入包: import pandas as pd import numpy as np 2.构造DataFrame,里面包含三种数据类型:int.null.str  data = {"number":[1,1,np.nan,np.nan,2,2,1,2,2], "letter":['a','b',np.nan,n…

pandas 遍历有以下三种访法. iterrows():在单独的变量中返回索引和行项目,但显着较慢 itertuples():快于.iterrows(),但将索引与行项目一起返回,ir [0]是索引 zip:最快,但不能访问该行的索引 df= pd.DataFrame({'a': range(0, 10000), 'b': range(10000, 20000)}) 0.for i in df:并不是遍历行的方式 for i in df: print(i) 正式因为for in df不是直接遍…

待补充:https://www.cnblogs.com/zknublx/p/6042295.html 一.使用集合直接去重 ids = [1,4,3,3,4,2,3,4,5,6,1]ids = list(set(ids)) 处理起来比较简单,使用了集合方法set进行处理,不过结果不会保留之前的顺序. 二.列表法 ids = [1,2,3,3,4,2,3,4,5,6,1]news_ids = []for id in ids:    if id not in news_ids:        new…

假设有Excel文件data.xlsx,其中内容为: ID  age  height     sex  weight张三   1   39     181  female      85李四   2   40     180    male      80王五   3   38     178  female      78赵六   4   59     170    male      66 现在需要将这个Excel文件中的数据读入pandas,并且在后续的处理中不关心ID列,还需要把sex列…

https://www.cnblogs.com/linux-wangkun/p/5903380.html-------pandas 学习(1): pandas 数据结构之Series https://www.cnblogs.com/linux-wangkun/p/5903945.html-------pandas 学习(2): pandas 数据结构之DataFrame https://morvanzhou.github.io/tutorials/data-manipulation/np-pd/…

0. 一般处理 读取 excel 格式文件:df = pd.read_excel('xx.xlsx'),下面是一些简单查看文件内容的函数: df.head():展示前五行: df.columns:展示所有的列名,也即属性名: 简单统计处理: 求某列元素的最大最小平均值,最大最小值所在的行号: df['col_name'].max() df['col_name'].min() df['col_name'].mean() df['col_name'].argmax() df['col_name'].…

如果Pandas只是能把一些数据变成 dataframe 这样优美的格式,那么Pandas绝不会成为叱咤风云的数据分析中心组件.因为在数据分析过程中,描述数据是通过一些列的统计指标实现的,分析结果也需要由具体的分组行为,对各组横向纵向对比. GroupBy 就是这样的一个有力武器.事实上,SQL语言在Pandas出现的几十年前就成为了高级数据分析人员的标准工具,很大一部分原因正是因为它有标准的SELECT xx FROM xx WHERE condition GROUP BY xx HAVING…

总结一. iloc可以把i当做第几个,所以是按行序号;其他的就清楚了. import pandas df = pandas.DataFrame({'a': [1, 2, 3, 4],'b': [5, 6, 7, 8], 'c': [9, 10, 11, 12]},index=["A", "B", "C", "D"]) # index:行名 print(df) ## loc:以行列标签取值,行列之间用","…

文章大纲 1. 探索性数据分析 代码样例 效果 解决pandas profile 中文显示的问题 1. 探索性数据分析 数据的筛选.重组.结构化.预处理等都属于探索性数据分析的范畴,探索性数据分析是帮助数据分析师掌握数据结构的重要工具,也是奠定后续工作的成功基石. 在数据的分析项目中,数据的收集和预处理往往占据整个项目工作量的十之八九,正式这些简单的工作决定了整个项目的成败. Generates profile reports from a pandas DataFrame. The panda…

Python之所以能够成为流行的数据分析语言,有一部分原因在于其简洁易用的字符串处理能力. Python的字符串对象封装了很多开箱即用的内置方法,处理单个字符串时十分方便:对于Excel.csv等表格文件中整列的批量字符串操作,pandas库也提供了简洁高效的处理函数,几乎与内置字符串函数一一对应.也就是说: 单个字符串处理,用Python内置的字符串方法: 表格整列的字符串处理,用pandas库中的字符串函数: 本文就以常用的数据处理需求,来对比使用以上两种方式的异同,从而加深对Python和…

在 Pyspark 操纵 spark-SQL 的世界里借助 session 这个客户端来对内容进行操作和计算.里面涉及到非常多常见常用的方法,本篇文章回来梳理一下这些方法和操作. class pyspark.sql.SparkSession 类 下面是一个初始化 spark session 的方法,接下来我会依次来介绍相关函数代表的意义. >>> spark = SparkSession.builder \ ... .master("local") \ ... .ap…

数据预处理 如何对数据进行预处理,提高数据质量,是数据分析中重要的问题. 1.数据合并 堆叠合并数据,堆叠就是简单地把两个表拼在一起,也被称为轴向链接,绑定或连接.依照轴的方向,数据堆叠可分为横向堆叠和纵向堆叠. 1.横向堆叠,即将两个表在x轴向拼接在一起.可以使用concat函数完成.        pandas.concat(obj,axis=0,join="outer",join_axes=None,ignore_index=False,keys=None,levels=None…

http://blog.csdn.net/pipisorry/article/details/53320669 pyspark.sql.SQLContext Main entry point for DataFrame and SQL functionality. [pyspark.sql.SQLContext] 皮皮blog pyspark.sql.DataFrame A distributed collection of data grouped into named columns. sp…

#读csv,excel,json数据 with open('E:\\test\\xdd.csv','r') as f: for line in f.readlines(): print(line) import pandas df = pandas.read_csv('E:\\test\\xdd.csv') print(df) import pandas df = pandas.read_excel('E:\\test\\aa.xls') print(df) import json with o…

1.windows系统 (1)下载到本地(使用git bash命令行界面) git clone https://github.com/dunovank/jupyter-themes (2)Install with pip # install jupyterthemes pip install jupyterthemes # upgrade to latest version pip install --upgrade jupyterthemes (3)以上安装完成后,可以尝试切换主题了 # li…

1,表头或是excel的索引如果是中文的话,输出会出错 ​​解决方法:python的版本问题!换成python3就自动解决了!当然也有其他的方法,这里就不再深究 2,如果有很多列,如何输出指定的列? 需求情况:有的时候,数据很多,但是只要仅仅对部分列的数据进行分析的话,要怎么做? 解决方法: df = pandas.read_excel('1.xls',sheetname= '店铺分析日报') ​df = df.loc[:,['关键词','带来的访客数','跳失率']] #访问指定的列 一行读取…

Jupyter Notebook用久了就离不开了,然而自带的主题真的不忍直视.为了视力着想,为了自己看起来舒服,于是折腾了一番..在github上发现了一个jupyter-themes工具,可以通过pip安装,非常方便使用. 首先是主题下载,命令行如下所示: pip 安装好了,有的电脑可能会提示缺少 lesscpy,继续 pip 安装 pip install lesscpy 然后是对主题选择.字体大小进行设置,我总结了一个我最喜欢的 jt --lineh -f consolamono -tf p…

from:https://blog.csdn.net/m0_37338590/article/details/78862488 一.简介: Jupyter Notebook(此前被称为 IPython notebook)是一个交互式笔记本,支持运行 40 多种编程语言.在本文中,我们将介绍 Jupyter notebook 的主要特性,以及为什么对于希望编写漂亮的交互式文档的人来说是一个强大工具. Jupyter Notebook 的本质是一个 Web 应用程序,便于创建和共享文学化程序文档,支…

Python全栈开发/人工智能公开课_腾讯课堂 https://ke.qq.com/course/190378 https://github.com/haoran119/ke.qq.com.python/tree/master/src/python-fullstack Python — 爬虫.数据分析 python — 数据分析之旅,Numpy 数据获取 公开数据集(Mnist),爬虫 数据存储 数据库SQL 数据预处理 噪声,重复,缺失,空值,异常值,分组,合并,随机取样(pandas) 数据…

jupyter notebook界面是可以定制的,定制位置在:C:\anaconda\Lib\site-packages\notebook\static\custom. 启动jupyter notebook之后,查看网页源代码,会发现网页中会自动加载custom.css和custom.js. 于是有人推出了jupyter-themes这款主题定制工具,这个工具使用上是存在一些界面bug的. github地址:https://github.com/dunovank/jupyter-themes 一…

list 列表相关 list 中最小值.最大值 import operator values = [1, 2, 3, 4, 5] min_index, min_value = min(enumerate(values), key=operator.itemgetter(1)) max_index, max_value = max(enumerate(values), key=operator.itemgetter(1)) print('min_index:', min_index, 'min_v…

5.14自我总结 一.python插件插件相关技巧汇总 安装在cmd上运行 #比如安装 安装:wxpy模块(支持 Python 3.4-3.+ 以及 2.7 版本):pip3 install wxpy 安装 pillow模块:pip3 install pillow 安装 pyecharts模块:pip3 install pyecharts==0.5.1 #pip3 是指在PIP3中查找并安装下面的插件 #pyecharts==0.5.1是指插件的版本,如果不填写后面的.0.5.1,默认安装最新的…

# Author:Zhang Yuan整理,版本Pandas0.24.2 # 0. 习惯上,我们会按下面格式引入所需要的包: import pandas as pd import numpy as np import matplotlib.pyplot as plt # 1. 创建对象 Object Creation--------------------------------------------------------------- # 可以通过 数据结构入门 来查看有关该节内容的详细信…

房天下 import requests res = requests.get('http://esf.sz.fang.com/') #res.text from bs4 import BeautifulSoup soup = BeautifulSoup(res.text,'html.parser') domain = 'http://esf.sz.fang.com' for house in soup.select('.houseList dl'): if len(house.select('.…

jupyter notebook的插件安装及文本格式修改 1.jupyter notebook拓展插件安装 启动jupyter notebook : 打开控制台输入命令 jupyter notebook 安装Jupyter notebook extensions扩展插件: 1.pip install jupyter_contrib_nbextensions 或者 1.pip install https://github.com/jupyter-contrib/jupyter_contrib_nb…

Win下更改jupyter主题 Themes地址 本人环境  Win+Conda 开始使用pip 安装,发现无法使用pip,修改环境变量,将D:\Program Files\Conda\Scripts加入Path中 再次使用pip,报错无SSL,网上查找发现需将D:\Program Files\Conda\pkgs\openssl-1.1.1b-he774522_1\Library\bin加入路径中, 最后使用pip install --upgrade jupyterthemes,安装theme…

一.单元格宽度 这个命令: jt -t gruvboxl -f roboto -fs 12 -cellw 100% -T -N 它将宽度设置为100% 二.主题颜色 在用jupyter notebook时,想到一个问题,能不能更改jupyter notebook的主题颜色,总是看着白色的默认主题,有些乏味,也不够酷炫.博主找到了让jupyter notebook变得酷炫的方法. 默认的样式: 使用之后: 除此之外,在pycharm中的jupyter notebook,颜色上也有一些问题.我不知道…

依赖的安装包 首先hadoop和spark肯定是必须的,而hadoop是用java编写的,spark是由Scala编写的,所以还需要安装jdk和scala. 大数据第三方组件我们统统都安装在/opt目录下,首先这个目录当前是空的 我们创建相应的目录,用于存放对应的组件 然后将相应的gz包进行上传 安装jdk 此刻在/opt目录 tar -zxvf ./jdk-8u221-linux-x64.tar.gz -C ./java 然后添加到环境变量,我一般添加到~/.bashrc里面去 export…