1.DataFrame中某一列的值衍生为新的特征

#将LBL1特征的值衍生为one-hot形式的新特征
piao=df_train_log.LBL1.value_counts().index
#先构造一个临时的df
df_tmp=pd.DataFrame({'USRID':df_train_log.drop_duplicates('USRID').USRID.values})
#将所有的新特征列都置为0
for i in piao:
df_tmp['PIAO_'+i]=0 #进行分组便利,有这个特征就置为1,原数据每个USRID有多条记录,所以分组统计
group=df_train_log.groupby(['USRID'])
for k in group.groups.keys():
t = group.get_group(k)
id=t.USRID.value_counts().index[0]
tmp_list=t.LBL1.value_counts().index
for j in tmp_list:
df_tmp['PIAO_'+j].loc[df_tmp.USRID==id]=1

 2.分组统计,选出同一USRID下该变量中出现次数最多的值项

group=df_train_log.groupby(['USRID'])
lt=[]
list_max_lbl1=[]
list_max_lbl2=[]
list_max_lbl3=[]
for k in group.groups.keys():
t = group.get_group(k)
#通过value_counts找出出现次数最多的项
argmx = np.argmax(t['EVT_LBL'].value_counts())
lbl1_max=np.argmax(t['LBL1'].value_counts())
lbl2_max=np.argmax(t['LBL2'].value_counts())
lbl3_max=np.argmax(t['LBL3'].value_counts())
list_max_lbl1.append(lbl1_max)
list_max_lbl2.append(lbl2_max)
list_max_lbl3.append(lbl3_max)
#只留下出现次数最多的项
c = t[t['EVT_LBL']==argmx].drop_duplicates('EVT_LBL')
#放入list中
lt.append(c)
#构造一个新的df
df_train_log_new = pd.concat(lt)
#另外又构造了三个特征,LBL1-LBL3分别出现次数最多的项
df_train_log_new['LBL1_MAX']=list_max_lbl1
df_train_log_new['LBL2_MAX']=list_max_lbl2
df_train_log_new['LBL3_MAX']=list_max_lbl3

 3.衍生出某天是否发生的ont-hot新特征

#创造临时df,星期三,星期六,星期七,都默认置为0
df_day=pd.DataFrame({'USRID':df_train_log.drop_duplicates('USRID').USRID.values})
df_day['weekday_3']=0
df_day['weekday_6']=0
df_day['weekday_7']=0 #分组统计,有就置为1,没有置为0
group=df_train_log.groupby(['USRID'])
for k in group.groups.keys():
t = group.get_group(k)
id=t.USRID.value_counts().index[0]
tmp_list=t.occ_dayofweek.value_counts().index
for j in tmp_list:
if j==3:
df_day['weekday_3'].loc[df_tmp.USRID==id]=1
elif j==6:
df_day['weekday_6'].loc[df_tmp.USRID==id]=1
elif j==7:
df_day['weekday_7'].loc[df_tmp.USRID==id]=1

 

4.查看用户一共停留在APP上多少秒,共有几天看了APP

#首先将日期转化为时间戳,并赋予一个新特征
tmp_list=[]
for i in df_train_log.OCC_TIM:
d=datetime.datetime.strptime(str(i),"%Y-%m-%d %H:%M:%S")
evt_time = time.mktime(d.timetuple())
tmp_list.append(evt_time) df_train_log['time']=tmp_list #每下一行减去上一行,得到app停留时间
df_train_log['diff_time']=df_train_log.time-df_train_log.time.shift(1) #构造一个新的dataFrame,分组得到查看app的天数
df_time=pd.DataFrame({'USRID':df_train_log.drop_duplicates('USRID').USRID.values})
#有几天查看
df_time['days']=0
group=df_train_log.groupby(['USRID'])
for k in group.groups.keys():
t = group.get_group(k)
id=set(t.USRID).pop()
df_time['days'].loc[df_time.USRID==id]= len(t.occ_day.value_counts().index) #去掉一些异常时间戳,比如间隔两天的相减,肯定不合适,na的也去掉了
df_train_log=df_train_log[(df_train_log.diff_time>0)&(df_train_log.diff_time<8000)]
#累计停留时间
group_stayTime=df_train_log['diff_time'].groupby(df_train_log['USRID']).sum()
#创造新的df
df_tmp=pd.DataFrame({'USRID':list(group_stayTime.index.values),'stay_time':list(group_stayTime.values)}) #合并成一个新的df
df=pd.merge(df_time,df_tmp,on=['USRID'],how='left')
#合并后,缺失的停留时间,置为0
df.fillna(0,axis=1,inplace=True)

DataFrame衍生新特征操作的更多相关文章

  1. Java线程新特征——Java并发库

    一.线程池   Sun在Java5中,对Java线程的类库做了大量的扩展,其中线程池就是Java5的新特征之一,除了线程池之外,还有很多多线程相关的内容,为多线程的编程带来了极大便利.为了编写高效稳定 ...

  2. Java多线程-新特征-阻塞队列ArrayBlockingQueue

    阻塞队列是Java5线程新特征中的内容,Java定义了阻塞队列的接口java.util.concurrent.BlockingQueue,阻塞队列的概念是,一个指定长度的队列,如果队列满了,添加新元素 ...

  3. ios新特征 ARC详解

    IOS ARC 分类: IOS ARC2013-01-17 09:16 2069人阅读 评论(0) 收藏 举报   目录(?)[+]   关闭工程的ARC(Automatic Reference Co ...

  4. (转)Java线程:新特征-原子量,障碍器

    Java线程:新特征-原子量   所谓的原子量即操作变量的操作是“原子的”,该操作不可再分,因此是线程安全的.   为何要使用原子变量呢,原因是多个线程对单个变量操作也会引起一些问题.在Java5之前 ...

  5. (转)Java线程:新特征-条件变量

    Java线程:新特征-条件变量   条件变量是Java5线程中很重要的一个概念,顾名思义,条件变量就是表示条件的一种变量.但是必须说明,这里的条件是没有实际含义的,仅仅是个标记而已,并且条件的含义往往 ...

  6. (转)JAVA新特征

    Java线程:新特征-有返回值的线程   在Java5之前,线程是没有返回值的,常常为了“有”返回值,破费周折,而且代码很不好写.或者干脆绕过这道坎,走别的路了.   现在Java终于有可返回值的任务 ...

  7. spark2.2 DataFrame的一些算子操作

    Spark Session中的DataFrame类似于一张关系型数据表.在关系型数据库中对单表或进行的查询操作,在DataFrame中都可以通过调用其API接口来实现.可以参考,Scala提供的Dat ...

  8. Java多线程-新特征-阻塞栈LinkedBlockingDeque

    对于阻塞栈,与阻塞队列相似.不同点在于栈是“后入先出”的结构,每次操作的是栈顶,而队列是“先进先出”的结构,每次操作的是队列头. 这里要特别说明一点的是,阻塞栈是Java6的新特征.. Java为阻塞 ...

  9. 利用GBDT模型构造新特征具体方法

    利用GBDT模型构造新特征具体方法 数据挖掘入门与实战  公众号: datadw   实际问题中,可直接用于机器学**模型的特征往往并不多.能否从"混乱"的原始log中挖掘到有用的 ...

随机推荐

  1. mvc4中使用angularjs实现一个投票系统

    数据库是用EF操作,数据表都很简单中,从代码中也能猜出表的结构,所以关于数据库表就不列出了 投票系统实现还是比较简单,投票部分使用ajax实现,评论部分是使用angularjs实现,并且页面每隔几秒( ...

  2. 最大流算法-ISAP

    引入 最大流算法分为两类,一种是增广路算法,一种是预留推进算法.增广路算法包括时间复杂度\(O(nm^2)\)的EK算法,上界为\(O(n^2m)\)的Dinic算法,以及一些其他的算法.EK算法直接 ...

  3. 【Java】JAVA开发人员常见环境工具安装

    1.安装配置JDK1.7:jdk-7u45-windows-x64.exe,环境变量配置:JAVA_HOME---[F:\1024\jdk1.7],CLASSPATH---[.;%JAVA_HOME% ...

  4. poj1958——Strange Towers of Hanoi

    The teacher points to the blackboard (Fig. 4) and says: "So here is the problem: There are thre ...

  5. Race to 1 UVA - 11762 (记忆dp概率)

    #include <iostream> #include <cstdio> #include <sstream> #include <cstring> ...

  6. CF623D birthday 贪心 概率期望

    题意:n个人,玩抓人游戏,每抓住一个人都要猜这个人是谁.对于每一局,第i个人有$p_{i}$的概率被抓到.游戏结束当且仅当每个人都在某局中被抓到并且猜中自己的名字,求一个合适的策略来使得期望游戏局数最 ...

  7. 洛谷P4630 [APIO2018] Duathlon 铁人两项 【圆方树】

    题目链接 洛谷P4630 题解 看了一下部分分,觉得树的部分很可做,就相当于求一个点对路径长之和的东西,考虑一下能不能转化到一般图来? 一般图要转为树,就使用圆方树呗 思考一下发现,两点之间经过的点双 ...

  8. bzoj3192: [JLOI2013]删除物品(树状数组)

    既然要从一个堆的堆顶按顺序拿出来放到第二个堆的堆顶,那么我们就可以把两个堆顶怼在一起,这样从一个堆拿到另一个堆只需要移动指针就好了. 换句话说,把1~n倒着,n+1到n+m正着,用一个指针把两个序列分 ...

  9. 【loj6436】【pkusc2018】神仙的游戏

    Portal --> pkuscD2T2(loj6436) Solution 个人觉得是道很好的法法塔题qwq 一开始的时候想偏了想到了另一种法法塔处理字符串匹配之类的奇怪技巧(万径人踪灭qwq ...

  10. c++ 智能指针(转)

    智能指针的使用 智能指针是在 <memory> 标头文件中的 std 命名空间中定义的. 它们对 RAII 或“获取资源即初始化”编程惯用法至关重要. 此习惯用法的主要目的是确保资源获取与 ...