微博推荐算法学习(Weibo Recommend Algolrithm)

原文：http://hijiangtao.github.io/2014/10/06/WeiboRecommendAlgorithm/

基础及关联算法

作用：为微博推荐挖掘必要的基础资源、解决推荐时的通用技术问题、完成必要的数据分析、为推荐业务提供指导。

分词技术与核心词提取：是微博内容推荐的基础，用于将微博内容转化为结构化向量，包括词语切分、词语信息标注、内容核心词/实体词提取、语义依存分析等。
分类与anti-spam：用于微博内容推荐候选的分析，包含微博内容分类和营销广告/色情类微博识别；内容分类采用决策树分类模型实现，共3级分类体系，148个类别；营销广告/色情类微博的识别，采用贝叶斯与最大熵的混合模型。
聚类技术：主要用于热点话题挖掘，以及为内容相关推荐提供关联资源。属于微博自主研发的聚类技术WVT算法（word vector topic），依据微博内容特点和传播规律设计。
传播模型与用户影响力分析：开展微博传播模型研究和用户网络影响力分析（包含深度影响力、广度影响力和领域内影响力）。

主要推荐算法

1.Graph-based 推荐算法

从graph的宏观角度看，我们的目标是建立一个具有更高价值的用户关系网络，促进优质信息的快速传播，提升feed流质量；其中的重要工作是关键节点挖掘、面向关键节点的内容推荐、用户推荐。

对这部分的算法做相应的梳理，如下面的表格:

这里的困难点在于graph的“边”怎样量化与取舍，依据多个“边”与“节点”的综合评分计算，以及与网络挖掘分析结果的融合。

这部分的算法研发中，产出了如下的数据附产品：

2.Content-based 推荐算法

Content-based 是微博推荐中最常用也是最基础的推荐算法，它的主要技术环节在于候选集的内容结构化分析和相关性运算。

正文页相关推荐是content-based 应用最广的地方，以它为例，简要的说一下：

其中比较重要的两点：

内容质量分析，主要采用微博曝光收益+内容信息量/可读性的方法来综合计算。微博曝光收益是借助用户群体行为，衡量内容优劣；内容信息量计算比较简单，即是微博关键词的idf信息迭代；对于内容可读性的衡量，我们做了一个小的分类模型，分别以可读性较好的新闻语料和可读性较差的口语化语料为训练样本，通过提取里面的各类词搭配信息，计算新微博具有良好可读性的概率。
词扩展，content-based的效果取决于内容分析的深度。微博的内容比较短，可提取的关键信息比较少，做相关运算时容易因为数据稀疏而导致推荐召回率和准确率的难以权衡；我们引入word2vec技术，优化了词扩展效果，后面又以此为基础开展词聚类的工作，实现了推荐召回率和准确率的同步提升。

相关计算的技术点在于向量的量化和距离度量，微博技术组通常使用“tf*idf权重量化 + 余弦距离”或者“topic 概率 + KLD距离“的两种方法。

3.Model-based 推荐算法

微博面临的两大推荐挑战：来源融合与排序、内容动态分类和语义相关。由于推荐的候选极大丰富，因此推荐结果呈现两层：多种推荐算法的初选与来源融合排序的精选。这时需要引入机器学习模块，来学习隐藏在用户群体行为背后的规律。

另一方面，UGC的内容生产模式使得人工标注样本不再有效，我们需要很好的聚类模型把近期的全量信息聚合成类，然后建立语义相关，完成推荐。

Model-based 算法就是为了解决上述的问题，下面是新浪微博两块最重要的机器学习工作：

3.1 CTR/RPM（每千次推荐关系达成率）预估模型，采用的基本算法为Logistic regression

下面是CTR预估模型整体的架构图

这部分工作包含样本选择、数据清洗、特征提取与选择、模型训练、在线预估和排序。值得一提的是，模型训练前的数据清洗和噪音剔除非常重要，数据质量是算法效果的上界。

Logisitic regression是一个2分类概率模型，优化的目标在于最大化“样本正确分类概率的连乘值“。

3.2 LFM（Latent Factor Model）：LDA、矩阵分解（SVD++、SVD Feature）

混合技术

1.时序混合

在推荐过程的不同时间段，采用不同的推荐算法；以正文页相关推荐为例，在正文页曝光的前期阶段，采用content-based + ctr预估的方法生成推荐结果，待产生的足量可信的用户点击行为后，再采用user-based 协同过滤的方法得到推荐结果。

这样利用content-based很好的解决了冷启动的问题，又充分发挥了user-based CF的作用，实现1+1>2的效果。

2.分层模型混合

很多情况下，一个模型无法很好的得到想要的效果，而分层组合往往会取得比较好的效果，分层模型混合即“将上一层模型的输出作为下层模型的特征值，来综合训练模型，完成推荐任务“。比如我们在做微博首页右侧的ctr预估排序时，采用分层逻辑回归模型，解决了不同产品间特征天然缺失与样本量差异、曝光位置带来的效果偏差等问题。

3.瀑布型混合

这类混合技术思路非常简单，即在推荐候选非常丰富的情况下，采用逐层过滤的方法的得到推荐结果，通常将运算快、区分度低的算法放在前面，完成大量候选集的筛选；将运算慢、区分度高的算法放在后面，精细计算剩下的小规模集合。

4.交叉混合

各类推荐算法中子技术，可以在另外的推荐算法中综合使用，比如content-based在相关性计算中积累的距离计算方法，可以很好的应用在协同过滤的量化计算中。实际的例子，我们将研究LDA时积累的向量计算方法成功的应用到用户推荐中。

Online与Offline

其中三类半成品为：

1）计算过程拆解的离线部分，如user-based CF中的用户相似度，online通过数据库读取后在线计算完成user-based 推荐。

2）离线挖掘的优质候选集，如正文页相关推荐的内容候选集，online通过索引获取到数据后，再通过相关性和ctr预估排序生成推荐结果。

3）具有较高相似度的推荐结果集，如offline计算好粉丝相似高的用户，在线对用户行为做出实时反馈，实时补充推荐与其刚关注用户相似的用户。

效果评测

实际效果的评测分为3个层次：用户满意度、产品层指标（如ctr）、算法层指标，效果评测也会分为人工评测、线上A/B测试、离线算法效果评测3种。

新浪微博算法离线效果评测的架构图：

常用的离线评测指标有：RMSE、召回率、AUC、用户内多样性、用户间多样性、新颖性等。对于不同的产品有不同的组合指标去衡量，比如用户推荐中“用户间多样性”非常重要，而热点话题却可以允许用户间有较大的结果重合度。文章整理自《微博推荐算法简述》