pandas 用户数据分析

import pandas as pd
import numpy as np
from matplotlib import pyplot as plt

"""
第一部分:数据类型处理
数据加载
   字段含义:
       user_id:用户ID
       order_dt:购买日期
       order_product:购买产品的数量
       order_amount:购买金额
观察数据
   查看数据的数据类型
   数据中是否存储在缺失值
   将order_dt转换成时间类型
   查看数据的统计描述
       计算所有用户购买商品的平均数量
       计算所有用户购买商品的平均花费在源数据中添加一列表示月份:astype(datetime64[M])
"""
# 加载数据，定义字段含义
df = pd.read_csv("./CDNOW_master.txt", header=None, sep="\s+",
                names=["user_id", "order_dt", "order_product", "order_amount"])
# 将order_dt转换成时间类型，格式化时间
df["order_dt"] = pd.to_datetime(df["order_dt"], format="%Y%m%d")
# 添加month列
df["month"] = df["order_dt"].values.astype(r"datetime64[M]")

"""
题外
将Datetime类型中的月份提取出来
df["month"] = df["month"].astype("str")
months = df["month"].str.split("-")
print(months.loc[1][1])
for i in range(len(months)):
   months.loc[i] = months.loc[i][1]
df["month"] = months
"""
"""
第二部分:按月数据分析
用户每月花费的总金额
   绘制曲线图展示
所有用户每月的产品购买量
所有用户每月的消费总次数
统计每月的消费人数
"""
# 用户每月花费的总金额，并绘制折线图
total = df.groupby(by="month")["order_amount"].sum()
# plt.plot(total)

# 所有用户每月的产品购买量
scale = df.groupby(by="month")["order_product"].sum()
# plt.plot(scale)

# 所有用户每月的消费总次数
count = df.groupby(by="month")["order_amount"].count()
print((count))

# 统计每月的消费人数()
headcount = df.groupby(by="month")["user_id"].nunique()
print(headcount)

"""
第三部分: 用户个体消费数据分析
用户消费总金额和消费总次数的统计描述
用户消费金额和消费次数的散点图
各个用户消费总金额的直方分布图(消费金额在1000之内的分布)
各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)
"""
# 用户消费总金额
print(df.groupby(by="user_id")["order_amount"].sum())
# 用户消费总次数
print(df.groupby(by="user_id").count()["order_amount"])
# 用户消费金额和消费次数的散点图
# 用户消费金额
user_amount_sum = df.groupby(by="user_id")["order_amount"].sum()
# 用户消费次数
user_product_sum = df.groupby(by="user_id")["order_product"].sum()
# 绘图
plt.figure(figsize=(20, 8), dpi=80)
# plt.scatter(user_product_sum, user_amount_sum)

# 各个用户消费总金额的直方分布图(消费金额在1000之内的分布)
user_order_10000 = df.groupby(by="user_id").sum().query(
   "order_amount < 1000")["order_amount"]
# plt.hist(user_order_10000)

# 各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)
user_product_100 = df.groupby(by="user_id").sum().query(
   "order_product < 100")["order_product"]
# plt.hist(user_product_100)

"""
第四部分: 用户消费行为分析
用户第一次消费的月份分布，和人数统计
   绘制线形图
用户最后一次消费的时间分布，和人数统计
   绘制线形图
新老客户的占比
   消费一次为新用户
   消费多次为老用户
       分析出每一个用户的第一个消费和最后一次消费的时间
       agg(['func1func2]):对分组后的结果进行指定聚合
       分析出新老客户的消费比例
用户分层
   分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
   RFM模型设计
       R表示客户最近一次交易时间的间隔
           /np.timedelta64(1，"D"):去除days。
       F表示客户购买商品的总数量,F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。
       M表示客户交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。
       将R，F，M作用到rfm表中
   根据价值分层，将用户分为:
       "重要价值客户"
       "重要保持客户"
       "重要挽留客户"
       "重要发展客户"
       "一般价值客户"
       "一般保持客户"
       "一般挽留客户"
       "一般发展客户"
           使用已有的分层模型rfm_func
"""

# 用户第一次消费的月份统计，和人数统计，绘制折线图
# first_con = df.groupby(by="user_id")["month"].min().value_counts().plot()

# 用户最后一次消费的月份统计和人数统计，绘制折线图
# last_con = df.groupby(by="user_id")["month"].max().value_counts().plot()

# 新老用户占比
# 消费一次新用户,消费多次老用户
# 如何获知用户是否为第一次消费? 可以根据用户的消费时间进行判定?
# 如果用户的第一次消费时间和最后一次消费时间一样，则该用户只消费了一次为新用户，否则为老用户
new_old_user_df = df.groupby(by="user_id")["order_dt"].agg(["min", "max"])
# True为新用户，False为老用户
new_old = (new_old_user_df["min"] == new_old_user_df["max"]).value_counts()

# 分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm 用透视表
rfm = df.pivot_table(index="user_id", aggfunc={
                    "order_product": "sum", "order_amount": "sum", "order_dt": "max"})

# R表示用户最近一次交易时间的间隔
max_dt = df["order_dt"].max()  # 今天的日期
# 每个用户最后于一次交易的时间
rfm["R"] = (max_dt - df.groupby(by="user_id")
           ["order_dt"].max()) / np.timedelta64(1, "D")
# 删除消费时间字段
rfm.drop(labels="order_dt", axis=1, inplace=True)
# 重命名字段名
rfm.columns = ["M", "F", "R"]

# RFM模型

def rfm_func(x):
   level = x.map(lambda x: "1" if x >= 0 else "0")
   label = level.R + level.F + level.M
   d = {
       "111": "重要价值客户",
       "011": "重要保持客户",
       "101": "重要挽留客户",
       "001": "重要发展客户",
       "110": "一般价值客户",
       "010": "一般保持客户",
       "100": "一般挽留客户",
       "000": "一般发展客户"
   }
   result = d[label]
   return result

# 将rfm_func计算的结果返回给新建label列 (lambda x: x - x.mean()).rfm_func
rfm["label"] = rfm.apply(lambda x: x - x.mean()).apply(rfm_func, axis=1)

"""
第五部分: 用户的生命周期
将用户划分为活跃用户和其他用户
   统计每个用户每个月的消费次数
   统计每个用户每个月是否消费，消费记录为1否则记录为0
       知识点: DataFrame的apply和applymap的区别
           applymap:返回df
               将函数做用于DataFrame中的所有元素(elements)
           apply:返回Series
               apply()将一个函数作用于DataFrame中的每个行或者列
将用户按照每一个月份分成:
   unreg:观望用户(前两月没买，第三个月才第一次买,则用户前两个月为观望用户)。
   unactive:首月购买后，后序月份没有购买则在没有购买的月份中该用户的为非活用户。
   new:当前月就进行首次购买的用户在当前月为新用户
   active:连续月份购买的用户在这些月中为活跃用户
   return:购买之后间隔n月再次购买的第一个月份为该月份的回头客
"""
# 统计每个用户每个月的消费次数
user_month_count_df = df.pivot_table(
   index="user_id", values="order_dt", aggfunc="count", columns="month").fillna(value=0)
# 统计每个用户每个月是否消费，消费记录为1否则记录为0
df_purchase = user_month_count_df.applymap(lambda x: 1 if x >= 1 else 0)

# 将df_purchase中的原始数据0和1修改为new,unactive...返回新的df叫df_purchase_new
# 用户生命周期模型，固定算法

def active_status(data):
   status = []
   for i in range(18):
       # 若本月没有消费
       if data[i] == 0:
           if len(status) > 0:
               if status[i-1] == "unreg":
                   status.append("unreg")
               else:
                   status.append("unactive")
           else:
               status.append("unreg")

       # 若本月消费
       else:
           if len(status) == 0:
               status.append("new")
           else:
               if status[i-1] == "unactive":
                   status.append("return")
               elif status[i-1] == "ureg":
                   status.append("new")
               else:
                   status.append("active")
   return status

pivoted_status = df_purchase.apply(active_status, axis=1)

# 将pivoted_status的values转成list，再将list转成DataFrame
# 将df_purchase的index作为df_pruchase_new的index，columns相同
df_pruchase_new = pd.DataFrame(
   data=pivoted_status.values.tolist(), index=df_purchase.index, columns=df_purchase.columns)

# 将每月不同活跃用户进行计数
purchase_status_ct = df_pruchase_new.apply(
   lambda x: pd.value_counts(x), axis=0).fillna(value=0)

# 转置
t_purchase_status_ct = purchase_status_ct.T
print(t_purchase_status_ct.head())