def get_train_data():
df = pd.read_csv('data/train.csv', encoding='utf_8') # df1 = pd.read_csv('data/test.csv', encoding='utf_8')
# df2 = pd.read_csv('data/count.csv', encoding='utf_8')
# df1['casual'] = df2['casual']
# df1['registered'] = df2['registered']
# df1['count'] = df2['count']
# df = pd.concat([df, df1]) cur_time = pd.to_datetime(df['datetime']) df['year'] = cur_time.map(lambda x:x.year)
df['month'] = cur_time.map(lambda x:x.month)
df['day'] = cur_time.map(lambda x:x.day)
df['hour'] = cur_time.map(lambda x:x.hour)
df['dayOfWeek'] = cur_time.map(lambda x:x.isoweekday())
df['segOfDay'] = df['hour'].apply(classfy) year = pd.get_dummies(data=df.iloc[:,]) # df['spring'] = df['season'].map({1:1})
# df['summer'] = df['season'].map({2:1})
# df['autumn'] = df['season'].map({3:1})
# df['winter'] = df['season'].map({4:1})
# df = df.fillna(value={'spring':0,'summer':0,'autumn':0,'winter':0})
#
# df['weather1'] = df['weather'].map({1:1})
# df['weather2'] = df['weather'].map({2:1})
# df['weather3'] = df['weather'].map({3:1})
# df['weather4'] = df['weather'].map({4:1})
# df = df.fillna(value={'weather1':0,'weather2':0,'weather3':0,'weather4':0})
#
df = df.replace({'windspeed':0}, 12.799) casual = df['casual']
registered = df['registered']
df = df.drop(['datetime', 'season', 'weather','casual', 'registered', 'count'], axis=1) log_cas = casual.map(lambda x: math.log(x+1))
log_reg = registered.map(lambda x: math.log(x+1)) train_casual = log_cas.values
train_registered = log_reg.values
train_data = df.values return train_casual, train_registered, train_data

pandas 代码的更多相关文章

  1. 使用Pandas_UDF快速改造Pandas代码

    1. Pandas_UDF介绍 PySpark和Pandas之间改进性能和互操作性的其核心思想是将Apache Arrow作为序列化格式,以减少PySpark和Pandas之间的开销. Pandas_ ...

  2. (数据科学学习手札92)利用query()与eval()优化pandas代码

    本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 利用pandas进行数据分析的过程,不仅仅是计算 ...

  3. 在pandas中使用pipe()提升代码可读性

    1 简介 我们在利用pandas开展数据分析时,应尽量避免过于碎片化的组织代码,尤其是创建出过多不必要的中间变量,既浪费了内存,又带来了关于变量命名的麻烦,更不利于整体分析过程代码的可读性,因此以流水 ...

  4. Pandas初学者代码优化指南

    原文:A Beginner’s Guide to Optimizing Pandas Code for Speed 作者:Sofia Heisler 翻译:无阻我飞扬 摘要:Pandas 是Pytho ...

  5. 【Python发展】pandas和koalas

    1.pandas介绍 Python 数据科学在过去几年中爆炸式增长, pandas 已成为生态系统的关键.当数据科学家得到一个数据集时,他们会使用 pandas 进行探索.它是数据处理和分析的终极工具 ...

  6. python科学计算库-pandas

    ------------恢复内容开始------------ 1.基本概念 在数据分析工作中,Pandas 的使用频率是很高的, 一方面是因为 Pandas 提供的基础数据结构 DataFrame 与 ...

  7. 相关性系数及其python实现

    参考文献: 1.python 皮尔森相关系数 https://www.cnblogs.com/lxnz/p/7098954.html 2.统计学之三大相关性系数(pearson.spearman.ke ...

  8. 你确定 SQL 查询都是以 SELECT 开始的?

    很多 SQL 查询都是以 SELECT 开始的. 不过,最近我跟别人解释什么是窗口函数,我在网上搜索"是否可以对窗口函数返回的结果进行过滤"这个问题,得出的结论是"窗口函 ...

  9. 增强 Jupyter Notebook的功能

    增强 Jupyter Notebook的功能 Jupyter Notebook 是所有开发者共享工作的神器,它为共享 Notebooks 提供了一种便捷方式:结合文本.代码和图更快捷地将信息传达给受众 ...

随机推荐

  1. puppet批量管理500多台服务器

    前言 puppet使用了有一段时间了,之前写的手顺书一直未发布到blog上来,今天正好有空,写下一点笔记.公司在用的服务器有500多台,基本都为CentOS,版本有5和6两种,管理起来很不方便,尤其是 ...

  2. spring cloud微服务三:Eureka服务治理之注册服务提供者及服务的发现和消费

    当服务注册中心成功建立以后,就需要有服务的注册和消费,否则这个服务注册中心就没有了存在的意义,而实际上,一个简单的服务注册也是非常简单的,仅仅需要实现四部曲就好. 首先,还是建立一个基本的spring ...

  3. 项目经验:Glyphicons字体图标改造,制造适合自己项目的字体图标

    Bootstrap对我们来说已经不陌生了,大型的项目一定会用到它.它的DOM结构,字体图标,组件,响应式布局等,很大程度上提高了WEB开发速度. 在bootstrap刚出来的时候,它拥有丰富的组件.美 ...

  4. maven项目打包分析及打包后war包缺少配置文件报错的原因分析,使用progard混淆时配置分析

    1.maven打包: 一直以来我都没太注意过在myeclipse下使用run as来clean居然对项目的target目录没有进行操作,要让操作有效,需要进入到maven build...选项下,进行 ...

  5. 基于svn+ssh:访问svn的部署以及客户端配置

    1.安装ssh sudo apt-get install ssh 2.安装subversion sudo apt-get install subversion 3.为参与项目开发的成员建立用户帐户 s ...

  6. (jmeter内置可调用的变量)jmeter beanShell断言

    用户可以在jmeter- “beanShell断言”中自定义断言.自由灵活的用脚本实现自己的断言  beanShell断言接口介绍  在beanShell中直接可以调用的变量,无需加前缀.  1.lo ...

  7. Hive_hdfs csv导入hive demo

    1 create csv file.student.csv 4,Rose,M,78,77,76 5,Mike,F,99,98,98 2 put it to hdfs. # hdfs dfs -put ...

  8. redis常用

    redis的key和string类型value限制均为512MB

  9. Jenkins之自动触发部署之插件Generic Webhook Trigger Plugin

    一.安装好插件 二.构建触发器会出现设置trigger的入口 三.设置的两个部分 第一: Jenkins的这个触发器,这里主要是接受post数据.其中Post content parameters是用 ...

  10. 牛客网训练赛26D(xor)

    题目链接:https://www.nowcoder.com/acm/contest/180/D 线性基的学习:https://www.cnblogs.com/vb4896/p/6149022.html ...