针对内测用户反馈,由于前一天点击了几个动画,导致第二天推荐的动画屏占比较高,于是开始对此badcase进行分析. 首先分析了该用户的历史观看纪录,由于系统升级,日志缺陷问题,导致该用户10.15-11.3之间的日志没有收集到,但是这就出现了前面的假设不成立现象,由于没有收集到新的数据,对用户画像是不可能体现出前天的动画,动漫以及迪斯尼这些具有偏重的画像词. 首先对问题进行了分析,问题可能出现在时间间隔上,因为我们引用了时间间隔作为用户对某一电影的喜好偏爱权重的计算,导致这个问题可能有两方面原因:

本文汇编了一些机器学习领域的框架.库以及软件(按编程语言排序). 1. C++ 1.1 计算机视觉 CCV —基于C语言/提供缓存/核心的机器视觉库,新颖的机器视觉库 OpenCV—它提供C++, C, Python, Java 以及 MATLAB接口,并支持Windows, Linux, Android and Mac OS操作系统. 1.2 机器学习 MLPack DLib ecogg shark 2. Closure Closure Toolbox—Clojure语言库与工具的分类目录 3

下面这是论文笔记,其实主要是摘抄,这片博士论文很有逻辑性,层层深入,所以笔者保留的比较多. 看到第二章,我发现其实这片文章对我来说更多是科普,科普吧…… 一.论文来源 Personalized Web Recommendation via Collaborative Filtering(很奇怪via为什么小写,先记住吧) (Candidate)博士研究生:孙慧峰 (Advisor)导师:陈俊亮(院士) (Academic Degree Applied for)学位级别:工学博士学科(Doctor

0x01 :引言 If you weeped for the missing sunset, you would miss all the shining stars 我看着大巴缓缓的驶过街角,我躲在那些树后,内心安静的做着告别 相遇在一场雨里 告别在另一场雨里 多好 0x02 :项目的基本定位概述 There are no trails of the wings in the sky, while the birds has flied away.   网站基本定位 面向CS/EE领域的垂直搜

https://zhuanlan.zhihu.com/p/25928551 近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路.做法和部分实践的经验. 业务问题描述: 淘宝商品的一个典型的例子见下图,图中商品的标题是“夏装雪纺条纹短袖t恤女春半袖衣服夏天中长款大码胖mm显瘦上衣夏”.淘宝网后台是通过树形的多层的类目体系管理商品的,覆盖叶子类目数量达上万个,商品量也是10亿量级,

转自知乎上看到的一篇很棒的文章:用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践 近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路.做法和部分实践的经验. 业务问题描述: 淘宝商品的一个典型的例子见下图,图中商品的标题是“夏装雪纺条纹短袖t恤女春半袖衣服夏天中长款大码胖mm显瘦上衣夏”.淘宝网后台是通过树形的多层的类目体系管理商品的,覆盖

上篇:架构及组件 一.数据平台的发展 1.1 背景介绍 随着数据时代的到来,数据量和数据复杂度的增加推动了数据工程领域的快速发展.为了满足各类数据获取/计算等需求,业内涌现出了诸多解决方案.但大部分方案都遵循以下原则: 降低数据处理成本 合理提高数据使用/计算效率 提供统一的编程范式 宜人贷的数据服务平台也是遵循这三个原则.本人有幸亲身经历了宜人贷数据平台Genie的整个发展过程,纵观宜人贷和业内,可以说Genie的发展是工业界数据平台发展的缩影. Google 的三大论文和Apache Had

分析工具: (1)SQL   select from   where   group by having   order by   limit   运算符(算数运算符+-*/.比较运算符><=.逻辑运算符not/and/or)   聚合函数(count.sum.avg.max.min)   函数(算术函数.字符串函数.日期函数)   子查询(标量子查询.关联子查询)   谓词(like.between.is null.in)   case when   集合运算(表的加减法.表联结) (2)p

新手入门完整教程进阶指南 API中文手册精华文章TF社区 INTRODUCTION 1. 新手入门 1.1. 介绍 1.2. 下载及安装 1.3. 基本用法 2. 完整教程 2.1. 总览 2.2. MNIST 数据下载 2.3. MNIST 入门 2.4. MNIST 进阶 2.5. TENSORFLOW 运作方式入门 2.6. 卷积神经网络 2.7. 字词的向量表示 2.8. 递归神经网络 2.9. 曼德布洛特(MANDELBROT)集合 2.10. 偏微分方程 3. 进阶指南 3.1. 总

HanLP收词特别是实体比较多,因此特别容易造成误识别.下边举几个地名误识别的例子,需要指出的是,后边的机构名识别也以地名识别为基础,因此,如果地名识别不准确,也会导致机构名识别不准确. 类型1 数字+地名 [1] 暗访哈尔滨网约车:下10单来7辆“黑车” 1辆套牌 [2] 房天下每日成交5月12日海宁商品房销售备案43套 [3] 广西近视手术专家-黄明汉院长9月9日百色见面会 类型2 前词+地名首词成词或地名尾词+后词成词 [1] 西安国企4000元工资相当于私企多少钱? [2] 七月份从包头

HanLP收词特别是实体比较多,因此特别容易造成误识别.下边举几个地名误识别的例子,需要指出的是,后边的机构名识别也以地名识别为基础,因此,如果地名识别不准确,也会导致机构名识别不准确. 类型1 数字+地名 [1] 暗访哈尔滨网约车:下10单来7辆“黑车” 1辆套牌 [2] 房天下每日成交5月12日海宁商品房销售备案43套 [3] 广西近视手术专家-黄明汉院长9月9日百色见面会 类型2 前词+地名首词成词或地名尾词+后词成词 [1] 西安国企4000元工资相当于私企多少钱? [2] 七月份从包头

一 coalesce 在mysql中,其实有不少方法和函数是很有用的,这次介绍一个叫coalesce的,拼写十分麻烦,但其实作用是将返回传入的参数中第一个非null的值,比如 SELECT COALESCE(NULL, NULL, 1); -- Return 1 SELECT COALESCE(NULL, NULL, NULL, NULL); -- Return NULL 如果传入的参数所有都是null,则返回null 这个参数使用的场合为:假如某个字段默认是null,你想其返回的不是null,

以前我开过一些帖子,我们内部也做过一些讨论,我们从张小龙的碎屏图中 ,发现了重要讯息: 1:微信支付将成为重要场景: 2:这些应用与春节关系不小,很多应用在春节时,有重要的场景开启可能性: 3:春节是一个重要的推广时机,非常适合推广,微信应该不会错过这个时机: 4:春节前需要做好准备,那么预留一定的天数是必要的,10-15天是一个合理的准备时间: 在12月19号时,我回帖中有一个个人的预测:http://www.wxapp-union.com/forum ... pid=11965&fromui

很多文章说到奇异值分解的时候总是大概罗列下它的功能,并没有对功能及物理意义进行过多的阐述,现在我来对奇异值进行整理一下. 一 奇异值分解 对任意的矩阵A∈Fmn,rank(A)=r(矩阵的秩),总可以取A的如下分解:,其中U和V是正交矩阵.分别为左右奇异值向量. U是m×m阶酉矩阵:Σ是m×n阶非负实数对角矩阵:而V*,即V的共轭转置,是n×n阶酉矩阵.这样的分解就称作M的奇异值分解.Σ对角线上的元素Σii即为M的奇异值. V的列(columns)组成一套对M的正交"输入"或"

上回说到用F#来写爬虫,这只是F#学习第一阶段的第一步.最开始,就对第一阶段做了这样的安排: 1.爬虫爬取AV数据 2.数据处理和挖掘 3.数据可视化(使用ECharts) 4.推荐系统 第一步很快就搞完了,整个爬虫下载.解析和格式处理的代码,加起来几百行,爬了两个晚上.最终的数据是20G左右的图片和一份极简的data(大约50M).包含三万多女优信息,八万多AV信息,以及各种分类.出品商.导演什么的. 数据分析有一个很重要的点:不要为了分析而分析.所以,第二步和第三步简单玩下就过了. 重点是第

1 集体智慧和协同过滤 1.1 什么是集体智慧(社会计算)? 集体智慧 (Collective Intelligence) 并不是 Web2.0 时代特有的,只是在 Web2.0 时代,大家在 Web 应用中利用集体智慧构建更加有趣的应用或者得到更好的用户体验.集体智慧是指在大量的人群的行为和数据中收集答案,帮助你对整个人群得到统计意义上的结论,这些结论是我们在单个个体上无法得到的,它往往是某种趋势或者人群中共性的部分. Wikipedia 和 Google 是两个典型的利用集体智慧的 Web

前言 想必大家都听过数据挖掘领域那个经典的故事 - "啤酒与尿布" 的故事. 那么,具体是怎么从海量销售信息中挖掘出啤酒和尿布之间的关系呢? 这就是关联分析所要完成的任务了. 本文将讲解关联分析领域中最为经典的Apriori算法,并给出具体的代码实现. 关联分析领域的一些概念 1. 频繁项集: 数据集中经常出现在一起的物品的集合.例如 "啤酒和尿布" 2. 关联规则: 指两个物品集之间可能存在很强的关系.例如 "{啤酒} -> {尿布}"

原文链接:Netflix recommendations: beyond the 5 stars (Part 1), (Part 2) 原文作者:Xavier Amatriain and Justin Basilico 翻译:大魁 前言 Nexflix是一家提供在线视频流媒体服务和DVD租赁业务的公司,也是著名的Netflix大奖赛的发起者.如果读者希望进一步了解Netflix,建议读一下和讯上的一篇文章: Netflix:从传统DVD租赁向流媒体华丽转身 以及爱范儿上的: Netflix成功的

概述: 此分享是关于淘宝推荐系统简介 1.推荐引擎就是:如何找到用户感兴趣的东西和以什么形式告诉用户:2.推荐引擎的作用:提高用户忠诚度,提高成交转化率和提高网站交叉销售能力:3.推荐系统核心:产品,系统和算法:4.推荐系统产品形式:邮件营销,群体信息披露,趋势引导,评论.资讯推荐和相关商品.店铺.达人推荐:5.推荐系统系统组成:数据,算法,消息系统,Search engine,NoSQL,分布式计算和效果评测:6.算法包括离线: 用户类目偏好.用户购买力分析.关联性分析和在线:排序.过滤.增量

最近这两年推荐系统特别火,本文搜集整理了一些比较好的开源推荐系统,即有轻量级的适用于做研究的SVDFeature.LibMF.LibFM等,也有重量级的适用于工业系统的 Mahout.Oryx.EasyRecd等,供大家参考.PS:这里的top 10仅代表个人观点. #1.SVDFeature 主页:http://svdfeature.apexlab.org/wiki/Main_Page 语言:C++一个feature-based协同过滤和排序工具,由上海交大Apex实验室开发,代码质量较高.在