1.pandas对行列的基本操作命令: import numpy as np import pandas as pd from pandas import Sereis, DataFrame ser = Series(np.arange(3.)) data = DataFrame(np.arange(16).reshape(4,4),index=list('abcd'),columns=list('wxyz')) data['w'] #选择表格中的'w'列,使用类字典属性,返回的是Series类…

本博文的主要内容是: 1.rdd基本操作实战 2.transformation和action流程图 3.典型的transformation和action RDD有3种操作: 1.  Trandformation      对数据状态的转换,即所谓算子的转换 2.  Action    触发作业,即所谓得结果的 3.  Contoller  对性能.效率和容错方面的支持,如cache.persist.checkpoint Contoller包括cache.persist.checkpoint. /…

pandas DataFrame是二维的,所以,它既有列索引,又有行索引 上一篇里只介绍了列索引: import pandas as pd df = pd.DataFrame({'A': [0, 1, 2], 'B': [3, 4, 5]}) print df # 结果: A B 0 0 3 1 1 4 2 2 5 行索引自动生成了 0,1,2 如果要自己指定行索引和列索引,可以使用 index 和 column 参数: 这个数据是5个车站10天内的客流数据: ridership_df = pd…

今天来学习一下list的基本操作及基于模式匹配的排序操作 让我们从代码出发 val bigData = List("hadoop","spark") val data = List(1,2,3) 首先是定义一个列表,上面代码中调用apply方法,省去了new关键字,并且编译器会自动判断类型 val bigData_Core = "hadoop" :: ("spark" :: Nil) val data_Int = 1::2::…

一.对DataFrame的认知 DataFrame的本质是行(index)列(column)索引+多列数据. DataFrame默认索引是序号(0,1,2…),可以理解成位置索引. 一般我们用id标识不同记录,不会改变index.但为了理解不同特征(列)含义,我们往往会重新指定column. 二.对dataframe进行行列数据筛选 import pandas as pdimport numpy as np from pandas import DataFrame df = DataFrame(…

本課主題 Numpy 的介绍和操作实战 Series 的介绍和操作实战 DataFrame 的介绍和操作实战 Numpy 的介绍和操作实战 numpy 是 Python 在数据计算领域里很常用的模块 import numpy as np np.array([11,22,33]) #接受一个列表数据 创建 numpy array >>> import numpy as np >>> mylist = [1,2,3] >>> x = np.array(my…

获取列名:data.columns.values.tolist() 复制列: out['serial_number'] = out['2']这样就是新增了一列,复制了‘2’这一列,然后再del out['2]即可这样的形式也可以用于把前面某些列的计算值赋到新的一列 换列名: #给data_app赋上新的列名称data_app.columns = ['user_id', 'hlw_all3', 'vedio_app_time', 'game_app_time', 'read_app_time',…

1 df[i]   其中i是0,1,2,3,...  此时选中的是dataframe的第i列 2 dataframe查看每一列是否有缺失值 temp = data.isnull().any() #列中是否存在空值 print(type(temp)) print(temp) #若为False,则无缺失值,为True,则有缺失值 3 dataframe 更换列名a.  更换所有的列名  如下将1,2,3的列名全部更换 df=df[[0,1,2,3,4,5,6,7,10]] df.columns=['…

一.pandas介绍 本篇程序上篇内容,在numpy下面继续介绍pandas,本书的作者是pandas的作者之一.pandas是非常好用的数据预处理工具,pandas下面有两个数据结构,分别为Series和DataFrame,DataFrame之前我在一些实战案例中有用过,下面先对这两个数据结构做介绍. 二.Series Series最简单的一个功能就是对一组数字打上ID,用法为下 可以看到Series会自动把数字打上0~3对应的ID,也可以对ID自定义名称 这样就可以用key-value的形式…

压缩过的大数据Spark蘑菇云行动前置课程视频百度云分享链接 链接:http://pan.baidu.com/s/1cFqjQu SCALA专辑 Scala深入浅出经典视频 链接:http://pan.baidu.com/s/1i4Gh3Xb 密码:25jc DT大数据梦工厂大数据spark蘑菇云Scala语言全集(持续更新中) http://www.tudou.com/plcover/rd3LTMjBpZA/ 1 Spark视频王家林第1课:大数据时代的“黄金”语言Scala 2 Spark视…