数据分析例子-------CTR1

1、CTR：

（1）几个概念：

　　impression（展示）：用户看到该广告的次数。也就是一个广告被显示了多少次，它就计数多少。比如：打开网站的一个页面，网站上的所有广告就被显示了一次，每个广告增加1个，如果刷新就再增加一个。

　　click（点击）：用户点击该广告的次数

　　CTR：click through rate 广告点击率

　　CTR = click次数 / impression次数

（2）任务：

　　CTR预估任务：给定用户（user），给定一个商品（product），给定了一定的环境，来看用户会不会买这个商品，买该商品的概率有多高；或者说给用户推荐一个电影，用户会不会看这个电影。

这里要训练一个模型，X表示训练数据的输入，即各种特征，Y表示输出，Y的取值为1到5。

（3）应用：

　　计算广告、推荐系统、信息流排序。

　　计算广告：比如很多广告，用户会点击哪些？

　　推荐系统：推荐系统可以转化成CTR预估，比如电影推荐，用户会不会看？

　　信息流排序：百度头条微博都在做信息流，比如微博中你关注了很多人，他们会有很多信息发布出来，则优先给你展示哪些内容你可能会点呢？这涉及到怎么为那些推送给你的信息流进行重新排序。

2、广告中几种计费方式：

CPM：不管用户对该广告有任何行为（点击不点击），广告只要曝光就得收费，一般在游戏场景下用的比较多。

CPC：广告曝光后根据用户点击数量来收费，一些搜索引擎常用的收费方式。

CPA：代价比较大，用户必须有行为，也就是用户必须点击进去然后下订单进行收费。

3、CTR

CTP=click次数 / impression次数，比如说将CTR与price相乘作为广告排序的依据。

4、基于LR的CTR预测

LR的优点：简单、可解释性强（像DNN难以解释）（若出问题可以查看是数据出问题还是模型出问题）

5、论文Practical Lessons from Pre dicting Clicks on Ads at Facebook

　　论文结合了GBDT和LR来预测CTR，评价指标为NE和Calibration。

（1）评价指标：

　　① NE为归一化熵：公式为，其中分子为LR的损失函数，yi为样本i的label（值为1/-1），pi为样本i的点击预测概率。分母为原样本数据集平均损失（平均信息熵），p为正样本的概率。NE的作用：在模型的帮准下，样本剩余的不确定性和没有模型时样本的不确定性的比值。NE值越低越好。

　　② Calibration：等于预测点击数 / 实际点击数，值越大越好。

（2）模型：

　　①两种在线学习方法：基于LR的SGD、BOPR

　　　　SGD：

　　　　BOPR：基本思想是参数w是一个先验分布为正态分布的分布，参数为u、σ；

　　　　在贝叶斯框架下，每一个样本都是在修正对应的分布参数u、σ。每轮迭代时对应的更新公式为：

　　②决策树

　　前提：随着特征的增加，特征组合变得很困难，特征组合是在特征离散化之后做的，故组合之后特征可能会爆炸，造成维度灾难。所以一种解决特征组合问题的方案被提出。GBDT+LR。

　　GBDT基本思路：利用树模型的组合特性来自动做特征组合，即使用了GBDT的特征组合能力。整体框架如下：

GBDT可以看做是对特征一种组合编码的过程，最后的LR才是最终的分类（回归）模型。