第一次参加,天池大数据竞赛(血糖预测),初赛排名1%.因为自己对python不熟悉,所以记录一下在比赛中用到的一些python方法的使用(比较基础细节,大佬绕道): 1.数据初探 data.info() data.describe() 使用上面两行代码,可以初步的看到整个数据的分布.缺失等情况 2.数据中存在性别是字符串表示的,使用map方法,将他数字化,当然也可以使用onehot.(python把字符串数据转变成数字) data['性别'] = data['性别'].map({'男' :1,'

http://blog.csdn.net/pipisorry/article/details/52205266 python地理位置处理 python地理编码地址以及用来处理经纬度的库 GeoDjango – 世界级地理图形 web 框架.GeoIP – MaxMind GeoIP Legacy 数据库的Python API.geojson – GeoJSON 的 Python 绑定及工具.geopy – Python 地址编码工具箱.pygeoip – 纯 Python GeoIP API.d

Python空间数据处理环境搭 Conda的下载和安装 什么是Conda? 官方定义:Package, dependency and environment management for any language—Python, R, Ruby, Lua, Scala, Java, JavaScript, C/ C++, FORTRAN Conda就是一个虚拟环境和包(库)依赖管理工具 下载地址:Downloading conda 对于Windows版本的,确定Python版本和系统类型直接下载

一.CSV数据处理 CSV文件格式:逗号分隔值(Comma-Separated Value,CSV,有时也称为字符分隔值,因为分隔符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本).纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据.CSV文件由任意数目的记录组成,记录间以某种换行符分隔:每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符.通常,所有记录都有完全相同的字段序列.如以下格式: 27,20,14,15,12,94,13,16

一.首先理解下面几个函数 设置变量 length()函数 char_length() replace() 函数 max() 函数1.1.设置变量 set @变量名=值 set @address='中国-山东省-聊城市-莘县'; select @address 1.2 .length()函数 char_length()函数区别 select length('a') ,char_length('a') ,length('中') ,char_length('中') 1.3. replace() 函数

Python之所以能够成为数据分析与挖掘领域的最佳语言,是有其独特的优势的.因为他有很多这个领域相关的库可以用,而且很好用,比如Numpy.SciPy.Matploglib.Pandas.ScikitLearn.Keras.Gensim等     1)Numpy,它给Python提供了真正的数组功能,包括多维数组,以及对数据进行快速处理的函数,Numpy还是更多高级扩展库的依赖库,比如后续的Scipy.Matplotlib.Pandas等,都一样:     2)Scipy,他让Python成了半

前言 对每位程序员来说,在编程过程中数据处理是不可避免的,很多时候都需要根据需求把获取到的数据进行处理,取整则是最基本的数据处理.取整的方式则包括向下取整.四舍五入.向上取整等等.下面就来看看在Python中取整的几种方法吧. 向下取整:int() 四舍五入:round() 可以理解成向下取整:math.floor() 向上取整:math.ceil() #!/usr/bin/env python # -*- coding: utf-8 -*- from math import floor, ce

三.类的继承   Python 的class可以允许从零开始创建一个定制类,就像文章(二)创建Athlete类一样,也可以通过继承现有的其他类类创建一个类,这也包括用List.set和dict提供的python内置结构类,通过继承创建的这些类称为子类.   (1) 原有的类 class Athlete:     def __init__(self,a_name,a_dob,a_times=[]):         self.name = a_name         self.dob=a_dob

本文参考Paul Barry所著的<Head First Python>一书,参考代码均可由http://python.itcarlow.ie/站点下载.本文若有任何谬误希望不吝赐教~ 二. 代码模块   1. 准备学习   (1)数据读取 with open(james.txt) as jaf: #打开文件     data = jaf.readline() #读数据行  james =data.strip().split(',') #将数据转换为列表   说明:data.strip().s

pandas是基于numpy包扩展而来的,因而numpy的绝大多数方法在pandas中都能适用. pandas中我们要熟悉两个数据结构Series 和DataFrame Series是类似于数组的对象,它有一组数据和与之相关的标签组成. import pandas as pd object=pd.Series([2,5,8,9]) print(object) 结果为: 0 21 52 83 9dtype: int64 结果中包含一列数据和一列标签我们可以用values和index分别进行引用 p

6.2. pyplot作图 1.折线图和散点图 t = np.arange(0,4,0.1) plt.plot(t,t,'o',t,t+2,t,t**2,'o') plt.show() 2.柱线图 plt.bar(x,y) 6.3. pylab作图 同理 t = np.arange(0,4,0.1) pl.plot(t,t+2) pl.show() 6.4.pandas作图 显示股票数据,kind=bar,pie, t = ts.get_hist_data('002909') # 标题和参数名字

一.学会使用ndarray 1.1什么是ndarray? ndarray是NumPy中的一种多维数组对象,他可以是一维的.二维的.甚至更多维次.当然创建更多维次的数组并不是他的优点所在,他的优点在于它有丰富的运算方法,同时他也是另一个高级Python库pandas的基础库,但是他只能存放同种类型的元素. 1. 2创建一个ndarray 第一种创建方式有:直接使用列表创建ndarray,如下: #第一种直接通过列表创建 a_list=[0,1,2,3,4] a_ndarray=np.array(a

一 numpy模块 NumPy系统是Python的一种开源的数值计算扩展.这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(matrix)). import numpy as np (1).np.linalg.norm(x) 顾名思义:linalg = linear + algebra,norm则表示范数,首先需要注意的是范数是对向量(或者矩阵)的度量,是一个标量(scalar): 首先help(

1.shop_min=shop.drop(['category_id','longitude','latitude','price'],axis=1)pandas中删除多个列 2.mall=shop_min.drop_duplicates(subset='mall_id')pandas中将某一列去重 3.python写文件有空行# Python 2with open('/pythonwork/thefile_subset11.csv', 'wb') as outfile: writer = cs

<利用python进行数据分析>读书笔记--第八章 绘图和可视化 python 画子图(add_subplot & subplot)

1. python 转 json import json data={ "name":"haha", "age" : 1,"list_1":[1,2,3], "tu":(1,2,3), "bo": True, "kong":None } result = json.dumps(data) print(data) print(result) 2. json 转 pyth

1.一切数据库操作最好使用内网连接, 2.使用批量操作接口操作数据库,而不是多线程频繁操作单条数据 3.如果python进程的cpu使用率达到100%了,需要开启多进程.java单个进程cpu使用率在32核处理器上可以达到3000%以上,python单个进程职高只能100%,要想加速必须修改代码使用多进程. 如图,java单个进程cpu使用率可以远超100%,python单进程cpu最高只能100% 4.将数据库表中的数据一次性加载到内存中,把查询条件当做字典的键,整条记录当做字典的值.由于是内

分享 知识要点:lubridate包拆解时间 | POSIXlt利用决策树分类,利用随机森林预测利用对数进行fit,和exp函数还原 训练集来自Kaggle华盛顿自行车共享计划中的自行车租赁数据,分析共享自行车与天气.时间等关系.数据集共11个变量,10000多行数据.https://www.kaggle.com/c/bike-sharing-demand 首先看一下官方给出的数据,一共两个表格,都是2011-2012年的数据,区别是Test文件是每个月的日期都是全的,但是没有注册用户和随意用户

面对读取上G的数据,python不能像做简单代码验证那样随意,必须考虑到相应的代码的实现形式将对效率的影响.如下所示,对pandas对象的行计数实现方式不同,运行的效率差别非常大.虽然时间看起来都微不足道,但一旦运行次数达到百万级别时,其运行时间就根本不可能忽略不计了: 故接下来的几个文章将会整理下渣渣在关于在大规模数据实践上遇到的一些问题,文章中总结的技巧基本是基于pandas,有错误之处望指正. 1.外部csv文件读写大数据量csv读入到内存分析思路:数据量非常大时,比如一份银行一个月的流水

一.数据处理其实是一个很麻烦的事情. 在一个样本中存在特征数据(比如:人(身高.体重.出生年月.年龄.职业.收入...))当数据的特征太多或者特征权重小或者特征部分满足的时候. 这个时候就要进行数据的处理(比如:预测性别,特征出生年月,的影响就会很低,这里就要减少这一特征的权重,或者删除.再比如:预测92年的人的职业,这个时候首先需要过滤特征,然后判断出生年月中的年就没有必要成为特征,但是可以新增特征月,删除原来的出生年月特征) 还有就是我们在使用table数据时,一般数据都是分开(比如:用户.

不用造轮子是真的好用啊 python中单引号双引号的区别 和cpp不一样,cpp单引号表示字符,双引号表示字符串,'c'就直接是ascii值了 Python中单引号和双引号都可以用来表示一个字符串 单双引号是用于区分在引号中还要用引号的情况 参考:Python中单引号,双引号,3个单引号及3个双引号的区别 https://blog.csdn.net/woainishifu/article/details/76105667 运算符* 和 ** 参考:https://blog.csdn.net/yi