好久好久没有更新博客了,之前自学的估计也都忘记差不多了.由于毕业选择从事的行业与自己的兴趣爱好完全两条路,心情也难过了很久,既然入职了就要好好干,仍要保持自己的兴趣,利用业余时间重拾之前的乐趣. 从基本的数据清理学起吧 讲一下drop函数的用法 删除表中的某一行或者某一列更明智的方法是使用drop,它不改变原有的df中的数据,而是可选择性的返回另一个dataframe来存放删除后的数据. 删除无效项 df[df.isnull()] #返回的是个true或false的Series对象(掩码对象),

原始数据如下: (图是从 excel 截的,最左1行不是数据,是 excel 自带的行号,为了方便说明截进来的) 除去首行是标题外,有效数据为 28行 x 4列 目前的需求是根据 partition 分组,然后取每组的前 2 行,如果不考虑排序,代码如下: (把head()里面的数字改成 n 就可以取 n 行) import pandas as pd esp_df = pd.read_excel('excel文件路径', sheet_name='Sheet名') esp_df.groupby([

#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/5/24 15:03 # @Author : zhang chao # @File : s.py from scipy import linalg as lg #按标签选择 #通过标签选择多轴 import pandas as pd import numpy as np dates = pd.date_range(', periods=6) df = pd.DataFrame

1. 按列取.按索引/行取.按特定行列取 import numpy as np from pandas import DataFrame import pandas as pd df=DataFrame(np.arange(12).reshape((3,4)),index=['one','two','thr'],columns=list('abcd')) df['a']#取a列 df[['a','b']]#取a.b列 #ix可以用数字索引,也可以用index和column索引 df.ix[0]#

一.drop() 函数 当你要删除某一行或者某一列时,用drop函数,它不改变原有的df中的数据,而是返回另一个dataframe来存放删除后的数据. 1.命令: df.drop() 删除行:df.drop('apps') #drop函数的参数默认 axis=0 删除列:df.dorp('col', axis=1)  #删除列要加axis=1,默认是删除行的 2. temp = deviceid_packages.drop('apps', axis=1) temp1 = deviceid_pac

当你要删除某一行或者某一列时,用drop函数,它不改变原有的df中的数据,而是返回另一个dataframe来存放删除后的数据. 1.命令: df.drop() 删除行:df.drop('apps') 删除列:df.dorp('col', axis=1),删除列要加axis=1,默认是删除行的 2.使用: temp = deviceid_packages.drop('apps', axis=1) 3.调用效果一样啊 temp = deviceid_packages.drop('apps', axi

Outline pandas.to_datetime()  生成的日期会默认带有 [2019-07-03 00:00:00]的分钟精度:但有时并不需要这些分钟精度: 去掉分钟精度 可以通过pandas中的 .dt.date 去掉分钟. df['just_date'] = df['dates'].dt.date (padnas 版本 要大于等于 0.15.0)

排序量比较大时: 数据量比较小时: 所以结论就是: 数据量大时选用nlargest,数据量小时选用sort_values() 具体数据量怎么算大:10000条时两个方法的时间差不多,所以可以按10000为界限.

目录 drop函数 Axis(轴)含义 drop用法实验 delete函数 drop函数 DataFrame.drop(labels=None, axis=0, index=None, columns=None, level=None, inplace=False, errors='raise') 这是drop函数的所有参数 labels是指要删除的标签,一个或者是列表形式的多个; axis是指处哪一个轴; columns是指某一列或者多列; level是指等级,针对多重索引的情况; inpla

Pandas 常见操作详解 很多人有误解,总以为Pandas跟熊猫有点关系,跟gui叔创建Python一样觉得Pandas是某某奇葩程序员喜欢熊猫就以此命名,简单介绍一下,Pandas的命名来自于面板数据这个概念,即Panel datas ,说起面板我想很多人脑海里第一印象会是宝塔,这里对面板数据不做过多介绍,有兴趣的可以自行百度. Pandas的功能有多强大不需要我过多解释,有人拿Excel和它对比,两者很显然不在同一水平.当然,对Python一窍不通的初学者可能觉得Pandas一点都不友好,

一.关键函数:AttachToCompoent,将要抓取的物品附加到角色手上,让物品跟随手移动,开起来就像是抓取在手里了. 二.取消模拟物理.在开启模拟物理的情况下,AttachToCompoent是不管用的,被抓取的物品只会受物理重力控制,抓取不起来的. 三.创建函数FindGrabTarget,使用GetOverlappingActors(可以设置值获取某一个类别的物品,也可以不设置获取所有重叠的物品)获得跟手重叠物品. 三.使用IsValid判断抓取的物品是否有效,并将抓取到的物品保存到一

这篇文章写得更好:http://wittyfans.com/coding/%E5%88%A9%E7%94%A8Pandas%E5%88%86%E6%9E%90%E7%BE%8E%E5%9B%BD%E4%BA%A4%E8%AD%A6%E5%BC%80%E6%94%BE%E7%9A%84%E6%90%9C%E6%9F%A5%E6%95%B0%E6%8D%AE.html import pandas as pd import matplotlib.pyplot as plt #需要声明才能在notebo

一.merge merge操作实现两个DataFrame之间的合并,类似于sql两个表之间的关联查询.merge的使用方法及参数解释如下: pd.merge(left, right, on=None, how='inner', left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False, validat

/* * @descript: 保留两位小数,如果小数点大于两位小数,就向上取值保留两位小数<br/> * @time 2016-07-13 */function mathCeil(number){    var result = Number(number);    text = result.toString();    var pointIndex = text.indexOf(".");    if(pointIndex != -1){        var poi

一.series import pandas as pd import string #创建Series的两种方式 #方式一 t = pd.Series([1,2,3,4,43],index=list('asdfg')) print(t) #方式二 temp_dict = {'name':'xiaohong','age':30,'tel':10086} t2 = pd.Series(temp_dict) print(t2) #字典推导式 a = {string.ascii_uppercase[i

1.取整//保留整数部分parseInt(3/2) // 1 2.向上取整// 向上取整,有小数就整数部分加1Math.ceil(3/2) // 2 3.四舍五入// 四舍五入Math.round(3/2) // 2 4.向下取整// 向下取整,丢弃小数部分Math.floor(3/2) // 1 1.取余 console.log(7%4); // 3 分页接口计算页码: (Number(index) / 20) + 1

Python Data Analysis Library — pandas: Python Data Analysis Library https://pandas.pydata.org/ pandas is an open source, BSD-licensed library providing high-performance, easy-to-use data structures and data analysis tools for the Python programming l

上篇我们实现了数据的存储,包括把数据存储到MongoDB,Mysql以及本地文件,本篇说下分布式. 我们目前实现的是一个单机爬虫,也就是只在一个机器上运行,想象一下,如果同时有多台机器同时运行这个爬虫,并且把数据都存储到同一个数据库,那不是美滋滋,速度也得到了很大的提升. 要实现分布式,只需要对settings.py文件进行适当的配置就能完成. 文档时间:官方文档介绍如下: Use the following settings in your project: # Enables schedul

最近做一个系列博客,跟着stackoverflow学Pandas. 以 pandas作为关键词,在stackoverflow中进行搜索,随后安照 votes 数目进行排序: https://stackoverflow.com/questions/tagged/pandas?sort=votes&pageSize=15 Delete column from pandas DataFrame - 删除列 stackoverflow 地址:https://stackoverflow.com/quest

pandas.Series class pandas.Series(data=None, index=None, dtype=None, name=None, copy=False, fastpath=False) One-dimensional ndarray with axis labels (including time series). Labels need not be unique but must be any hashable type. The object supports

Pandas 通过 drop 函数删除 DataFrarne 数据,语法为: 例如,删除陈聪明(行标题)的成绩: import pandas as pd datas = [[65,92,78,83,70], [90,72,76,93,56], [81,85,91,89,77], [79,53,47,94,80]] indexs = ["林大明", "陈聪明", "黄美丽", "熊小娟"] columns = ["语文