按照某特定string字段长度过滤: import pandas as pd df = pd.read_csv('filex.csv') df['A'] = df['A'].astype('str') df['B'] = df['B'].astype('str') mask = (df['A'].str.len() == 10) & (df['B'].str.len() == 10) df = df.loc[mask] print(df) Applied to filex.csv: A,B 12

Outline 前几天,数据清洗时有用到pandas去过滤大量数据中的“负值”: 把过滤出来的“负值”替换为“NaN”或者指定的值. 故做个小记录. 读取CSV文件 代码: import pandas as pd import numpy as np df = pd.read_csv('D:\All_Kinds_Stock_Data\windpy_filter_after\SH600036.csv') df # 开发环境: ipython notebook 下 读取本地csv文件,输出结果如下:

#!/usr/bin/python import pandas as pd data = {'year':[2000,2001,2002,2001,2002],'value':[1.5,1.7,3.6,2.4,2.9]} frame = pd.DataFrame(data) def testfunc(x, str): #第一个参数代表该函数处理的每一个元素,第二个参数args是传入的参数 print x, str frame['year'].apply(testfunc, args = ('ok

#!/usr/bin/env python # -*- coding: utf-8 -*- # @Date : 2018-10-11 17:55:26 # @Author : Sheldon (thisisscret@qq.com) # @blogs : 谢耳朵的派森笔记 # @Link : https://www.cnblogs.com/shld/ import pandas as pd from joblib import Parallel, delayed def apply_parall

1.介绍 apply函数是pandas里面所有函数中自由度最高的函数.该函数如下: DataFrame.apply(func, axis=0, broadcast=False, raw=False, reduce=None, args=(), **kwds) 该函数最有用的是第一个参数,这个参数是函数,相当于C/C++的函数指针. 这个函数需要自己实现,函数的传入参数根据axis来定,比如axis = 1,就会把一行数据作为Series的数据 结构传入给自己实现的函数中,我们在函数中实现对Ser

最近好忙啊,好忙啊,忙的写不动博客了 时间过得飞快 一晃,一周就过去了 本着不进步就倒退的性格 我成功的在技术上面划水了一周 今天要学习的还是groupby的高级进阶 说是高级,其实就是比初级复杂了一些 有点绕,然后不容易明白 就成为高级了 其实对于pandas来说 应该还是基础部分 我们今天要学习的就是 自定义更丰富的分组运算 apply 方法 apply方法的价值 对于有些数据类型来说 是的,有些 agg与transform 不是很适合 所以就会出现apply方法 不过哪些不适合,我们要慢慢

原数据如下所示: IMAGETYPE count .?+? 1713 Jh.5? 100 .??U 38 .11.1 1 .13.1 1 .15.11 2 我需要对数据内的带有特殊符号,且第一个逗号前的数据进行清洗. 分析清洗条件: 1.含有字符如:?,<,>,),(,=,# 的数据全部清洗drop 2.第一个逗号前面,得满足条件1)可以带有首字母a或A:2)数字部分不能大于29 分析思路: 1.创建函数,判断字符串,由于用的Series,所以用apply()就可以对每个元素进行判断操作,读

Way:from tqdm import tqdmimport pandas as pdtqdm.pandas(desc='pandas bar')df['title_content'] = df.progress_apply(lambda x: _title_content(x['title'], x['content']), axis=1) Way:pandas进度条,有空可以试试哈.map也是一样的, progress_map

###df_18的字段fuek是否包含 / df_18[df_18['fuel'].str.contains('/')] 报错: ValueError Traceback (most recent call last) in () 1 # 检查是否已删除----> 2 df_18[df_18['fuel'].str.contains('/')] /opt/conda/lib/python3.6/site-packages/pandas/core/frame.py in getitem(self,

numpy array 过滤后的数组,索引值从 0 开始. pandas Series 过滤后的 Series ,保持原来的索引,原来索引是几,就是几. 什么意思呢,来看个栗子: import numpy as np import pandas as pd # 有两个相同的数组,一个是pd Series 一个是 np array a = pd.Series([1, 2, 3, 4]) c = np.array([1, 2, 3, 4]) # 通过索引数组来过滤数组 d = a[a>3] e =

pandas:数据分析 pandas是一个强大的Python数据分析的工具包.pandas是基于NumPy构建的. pandas的主要功能具备对其功能的数据结构DataFrame.Series集成时间序列功能提供丰富的数学运算和操作灵活处理缺失数据 安装方法:pip install pandas引用方法:import pandas as pd pandas:Series Series是一种类似于一位数组的对象,由一组数据和一组与之相关的数据标签(索引)组成. 创建方式: pd.Series([4

numpy: import numpy as np np.array([1,2,3]) 创建数组 np.arange(10).reshape(2,5) 类似于range(起始,终止,步长),可以加reshape(2,5)定义形状.必须是相乘等于前面的size np.linsapace(1,10,10) 参数为:起始,终止,平分多少个 zeros((2,4)) 根据指定形状和dtype创建全0数组 ones((2,4)) 根据指定形状和dtype创建全1数组 empty((2,4)) 根据指定形状

一.pandas概述 1.pandas是一个强大的Python数据分析的工具包,是基于NumPy构建的. 2.pandas的主要功能 具备对其功能的数据结构DataFrame.Series 集成时间序列功能 提供丰富的数学运算和操作 灵活处理缺失数据 3.python中操作方式: 安装方法:pip install pandas 引用方法:import pandas as pd 4.也可以通过安装anaconda软件操作,里面包含(numpy,pandas以及Matplotlib多个库),本片文章

摘要 本文介绍了使用 Pandas 进行数据挖掘时常用的加速技巧. 实验环境 import numpy as np import pandas as pd print(np.__version__) print(pd.__version__) 1.16.5 0.25.2 性能分析工具 本文使用到的性能分析工具,参考:Python 性能评估 学习笔记 数据准备 tsdf = pd.DataFrame(np.random.randint(1, 1000, (1000, 3)), columns=['

一行代码定义List 下面是使用For循环创建列表和用一行代码创建列表的对比. x = [1,2,3,4] out = [] for item in x: out.append(item**2) print(out) [1, 4, 9, 16] # vs. x = [1,2,3,4] out = [item**2 for item in x] print(out) [1, 4, 9, 16] Lambda表达式 厌倦了定义用不了几次的函数? Lambda表达式是你的救星! Lambda表达式用于

第一部分:金融与量化投资 股票: 股票是股份公司发给出资人的一种凭证,股票的持有者就是股份公司的股东. 股票的面值与市值 面值表示票面金额 市值表示市场价值 上市/IPO: 企业通过证券交易所公开向社会增发股票以募集资金 股票的作用: 出资证明.证明股东身份.对公司经营发表意见 公司分红.交易获利 股票的分类 股票按业绩分类: 蓝筹股:资本雄厚.信誉优良的公司的股票 绩优股:业绩优良公司的股票 ST股:特别处理股票,连续两年亏损或每股净资产低于股票面值 股票按上市地区分类: A股:中国大陆上市,

一 .ipython的简单使用 IPython:交互式的Python命令行 丰富的快捷键 TAB键自动完成 ?:内省.命名空间搜索 !:执行系统命令 魔术命令:以%开始的命令 %run:执行文件代码 %paste:执行剪贴板代码 %timeit:评估运行时间 %pdb:自动调试 使用命令历史 获取输入输出结果 目录标签系统 IPython Notebook jupyter notebook 在cmd上安装jupyter  然后运行 jupyter notebook 即可 NumPy模块:数组计算

一行代码定义List 定义某种列表时,写For 循环过于麻烦,幸运的是,Python有一种内置的方法可以在一行代码中解决这个问题. 下面是使用For循环创建列表和用一行代码创建列表的对比. x = [1,2,3,4]out = []for item in x: out.append(item**2)print(out)[1, 4, 9, 16]# vs.x = [1,2,3,4]out = [item**2 for item in x]print(out)[1, 4, 9, 16] Lambda

Data analysis - Wikipedia https://en.wikipedia.org/wiki/Data_analysis Data analysis is a process of inspecting, cleansing, transforming, and modeling data with the goal of discovering useful information, informing conclusions, and supporting decision

Reflect Reflect要替代Object的很多方法, 将Object对象一些明显属于言内部的方法放到了Reflect对象上,有13个方法 Reflect.apply(target, thisArg, args) Reflect.construct(target, args) Reflect.get(target, name, receiver) Reflect.set(target, name, value, receiver) Reflect.defineProperty(target