FlinkCommodityRecommendationSystem

Recs FlinkCommodityRecommendationSystem(基于 Flink 的商品推荐系统)

1. 前言

系统取名为 Recs,灵感源于 Recommendation System。logo 使用在线 logo 网站制作。

作者开发该项目,是为了学习 Flink 以及相关大数据中间件。出于展示目的,使用 Springboot + Vue 开发了配套的 web。

作者有过 python + django + JavaScript 的 web 开发的经历,考虑到项目使用 java 开发,为了技术栈的统一,现学了 Springboot 框架以及 Vue。

本项目借鉴了 ECommerceRecommendSystem 开源学习项目,前端部分借鉴较多,在作者搭建好的框架基础上进行优化。修改了 ui 以及部分 bug,并且新增部分功能。

经过本项目的开发锻炼,作者对大数据相关的技术有了较为系统的理解,收获较大。在开发过程中,遇到过很多问题,但都逐一攻克了。作者的经验是,解决问题最好的办法就是阅读官方文档和积极使用 Google。

最后,相关的技术都是现学现用,知识比较片面,因此本项目存在很多待优化的地方,欢迎大家 issue,一起学习,一起进步。

2. 项目简介

2.1 Recs 系统架构

系统主要工作流程:

  • 用户登录/注册系统。

  • 用户对商品进行评分。

  • 评分数据通过 Kafka 发送到推荐模块的实时推荐任务中。

  • 系统执行实时推荐任务,并且将数据存储到 hbase 的 rating 和 userProduct 表中。实时任务包括:实时 topN 以及 基于用户行为推荐。

  • 实时 topN 将计算结果存储到 hbase 的 onlineHot 表中,基于用户行为推荐将计算结果存储到 hbase 的表 onlineRecommend 中。

  • web 端通过查询 hbase 获取相关模块所需数据并展示结果。

2.2 首页

共有四个模块:

  • 猜你喜欢:基于用户行为推荐,当用户对商品进行评分时,Flink 根据用户历史评分商品,结合 itemCF 计算推荐结果。
  • 热门商品:历史热门商品
  • 好评商品:评分较高的商品
  • 实时热门商品: 使用 Flink 时间滑动窗口,对过去一个小时热门商品进行统计,每 5 分钟滑动一次。

2.3 商品详情

  • 展示商品详细信息

  • 看过该商品的人还看了:基于 itemCF 进行推荐

2.4 登录

3. 模块说明

3.1 推荐模块 (recommendation)

开发环境: IDEA + Maven + git + windows && wsl

软件架构:flink + hbase + kafka + mysql + redis

开发指导: flink 的计算任务都存放在 task 包下,DataLoader 为加载数据任务,OfflineRecommender 为离线推荐任务, OnlineRecommender 为实时推荐任务。以模块为单位阅读代码。

3.1.1 猜你喜欢

实时推荐:

  • 从 redist 中查询用户最近评分商品列表 , redis key 为 “ONLINE_PREFIX_” + userId
  • 从 hbase 表 userProduct 中查询用户历史评分商品列表。
  • 根据用户刚评分的 productId 从 hbase 表 itemCFRecommend 表中查询相关的商品列表
  • 对相关商品列表根据之前查出的最近评分商品列表和历史评分商品列表过滤。
  • 根据最近评分商品与本次商品的相似度以及用户历史评分对推荐商品重新排序。

3.1.2 热门商品

对所有时间用户评分的商品根据评分次数进行逆序排序,选出热门商品。

  • flink 将 hbase rating 表加载到内存中,根据 productId group,并且统计出现次数
  • 根据出现次数逆序排序。

3.1.3 好评商品

根据商品评分均分逆序排序,

3.1.4 实时热门商品

采用 flink timeWindow 对过去一个小时的数据进行排序,选出热门的商品。时间窗口每五分钟滑动一次。

3.1.5 看过该商品的人还看了

基于物品推荐 (itemCF)

3.1.6 数据装载模块

消费 kafka topic 为 rating 的数据,并且将数据存储到 hbase rating 表中,为了保证数据的唯一性rowKey 格式为:

userId_productId_timestamp

3.2 后端 (recommend_backend)

开发环境: IDEA + Maven + git + windows && wsl(ubuntu 20.4)+ postwomen

技术架构: Springboot + hibernate + mysql + hbase

开发指导: Controller 模块是后端的核心,从 restFul api 入手。

项目架构:

3.3 前端 (recommend_front)

开发环境: VScode + nodejs + windows && wsl

技术架构: Vue + typescript + element-ui

4. 开发运行步骤

4.1 环境搭建

  • mysql
  • hbase
  • flink
  • redis
  • kafka
  • zookeeper

4.2 创建数据表

  • mysql

共有两张表,一个是 product 用于存储商品的详细信息,另一个是 user 用于存储用户信息。

建表 sql 脚本在 recommendation/src/main/resources/mysql.sql

  • hbase

    • rating
    • userProduct
    • itemCFRecommend
    • goodProducts
    • historyHotProducts
    • onlineRecommend
    • onlineHot

建表语句在 recommendation/src/main/resources/hbase.txt

4.3 数据入库

商品信息存储在recommendation/src/main/resources/product.csv 文件里,我们运行一个 flink 任务将数据装载到 mysql 中。对应的表是我们之前创建的 product

  • 启动 flink ,运行 recommendation/.../task/DataLoader/DataLoaderTask.java
  • 商品信息存储到 mysql 中

4.4 启动开发环境

  • 执行启动脚本

启动脚本是为了一键启动之前部署的 hbase、kafka、flink、redis、zookeeper 等

为了方便开发,作者写了启动和停止环境的 shell 脚本,在 recommendation/main/resources 目录下,分别为 startAll.sh 和 stopAll.sh

  • 启动 springboot 后端项目
  • 启动 vue 前端
  • 启动实时推荐任务
  • 离线任务定时启动

最后,作者正在经历2020秋招,如果您觉得本项目不错,欢迎给个 star!

【新鲜出炉的个人项目】基于 Flink 的商品推荐系统的更多相关文章

  1. 新鲜出炉的30个精美的 jQuery & CSS3 效果【附演示和教程】

    新鲜出炉的30个精美的 jQuery & CSS3 效果[附演示和教程]   作为最流行的 JavaScript 开发框架,jQuery 在现在的 Web 开发项目中扮演着重要角色,它简化了 ...

  2. 20个新鲜出炉的网站模板【HTML & PSD】

    这里给大家分享20 个新鲜出炉的免费网站模板.这些设计元素将成为你下一个项目的重要素材,可以帮你节省很多的时间.与往常一样,我们经常漫游网络,寻找最好的资源, HTML.CSS 和 PSD 等等,记得 ...

  3. Onsen UI – 新鲜出炉的 PhoneGap 界面框架

    Onsen UI 是一个基于元素自定义的 HTML5 UI 框架,用于构建你的移动前端.这个一个基于 Web 组件的概念的框架,让构建应用程序变得更加轻松.Onsen UI 专门针对 PhoneGap ...

  4. 微信小程序开发视频教程新鲜出炉

    微信小程序开发公测了,可是对于新手来说,不同的框架不同的开发机制,如何快速适应呢?微信小程序开发视频教程新鲜出炉了,从零开始一步一步搭建微信小程序,每个章节都会涉及到不同的知识点,等教程学习完你不但掌 ...

  5. 刚写完的商城erp + 这个商城前台,新鲜出炉。自己1个人写, 包括php框架和前端html页面.

    刚写完的商城erp + 这个商城前台,新鲜出炉.自己1个人写, 包括php框架和前端html页面. 刚写完的商城erp + 这个商城前台,新鲜出炉.自己1个人写, 包括php框架和前端html页面.

  6. 23套新鲜出炉的网站和手机界面 PSD 素材

    Web 用户界面,移动用户界面和线框套件对设计师很有用,因为这些套件让他们使用快速和有效的方式复制用户界面.这些类型的工具包提供了一个基本的用户界面元素,用于它们需要制作的网站或软件模型. 在这篇文章 ...

  7. 22套新鲜出炉的 Web & Mobile PSD 用户界面素材

    在这篇文章中,我们展示的是自由和清新的 UI 设计素材套件.这些线框图和 UI 设计工具包让设计师在设计用户界面原型的时候能够非常便利. Web 用户界面,移动用户界面和线框套件对设计师很有用,因为这 ...

  8. 分享25个新鲜出炉的 Photoshop 高级教程

    网络上众多优秀的 Photoshop 实例教程是提高 Photoshop 技能的最佳学习途径.今天,我向大家分享25个新鲜出炉的 Photoshop 高级教程,提高你的设计技巧,制作时尚的图片效果.这 ...

  9. PS教程:20个新鲜出炉的 Photoshop 中级教程

    Photoshop 实例教程是提高 Photoshop 技能的最佳学习途径.今天,我向大家分享最新20个 Photoshop 进阶教程,提高你的图片处理技巧,制作时尚的效果.这些教程可以帮助把你的想法 ...

随机推荐

  1. PHP bindec() 函数

    实例 把二进制转换为十进制: <?phpecho bindec("0011") . "<br>";echo bindec("01&q ...

  2. OJ评测状态

    Pending/Waiting 排队等待中 Pending Rejudge 答案重判中 Compiling 正在编译 Running/Judging 运行判断中 Accepted(AC) 程序通过 C ...

  3. Win10系统安装MySQL Workbench 8

    系统:Window10 专业版 MySQL Workbench 8.0.19 下载地址:https://dev.mysql.com/downloads/workbench/8.0.html 点击Dow ...

  4. day7.关于字符串的相关操作

    一.字符串的相关操作 """ (1)字符串的拼接 (2)字符串的重复 (3)字符串跨行拼接 (4)字符串的索引 (5)字符串的切片: 语法 => 字符串[::] 完 ...

  5. CF1349F 【Slime and Sequences】part1

    由于本文过长,\(\LaTeX\) 炸了,分两篇,part2 题目描述 定义一个正整数序列为好序列,当且仅当如果某个数 \(k\) 出现过,那么一定有 \(k-1\) 在最后一个 \(k\) 的前面出 ...

  6. 《笨办法学Python 3》python入门书籍推荐|附下载方式

    <笨办法学Python 3>python入门书籍免费下载 内容简介 本书是一本Python入门书,适合对计算机了解不多,没有学过编程,但对编程感兴趣的读者学习使用.这本书以习题的方式引导读 ...

  7. 分享:C语言大礼包(PDF)

    链接:https://pan.baidu.com/s/1xpOcT1gRhdumV5MlkC4AFQ 提取码:4kh6

  8. LibSvm流程及java代码测试

    使用libSvm实现文本分类的基本过程,此文参考 使用libsvm实现文本分类 对前期数据准备及后续的分类测试进行了验证,同时对文中作者的分词组件修改成hanLP分词,对数字进行过滤,仅保留长度大于1 ...

  9. JS中splice方法的使用

    在js中,arr.splice(str)方法是处理数组的利器,利用它可以实现在指定位置删除.替换.插入指定数量的元素. 其语法为:  arr.splice(index[, deleteCount, e ...

  10. 2020-05-18:MYSQL为什么用B+树做索引结构?平时过程中怎么加的索引?

    福哥答案2020-05-18:此答案来自群员:因为4.0成型那个年代,B树体系大量用于文件存储系统,甚至当年的Longhorn的winFS都是基于b树做索引,开源而且好用的也就这么个体系了.B+树的磁 ...