二.通过DataFrame实战电影点评系统 DataFrameAPI是从Spark 1.3开始就有的,它是一种以RDD为基础的分布式无类型数据集,它的出现大幅度降低了普通Spark用户的学习门槛. DataFrame类似于传统数据库中的二维表格.DataFrame与RDD的主要区别在于,前者带有schema元信息,即DataFrame表示的二维表数据集的每一列都带有名称和类型.这使得Spark SQL得以解析到具体数据的结构信息,从而对DataFrame中的数据源以及对DataFrame的操作进…

一.通过RDD实战电影点评系统 日常的数据来源有很多渠道,如网络爬虫.网页埋点.系统日志等.下面的案例中使用的是用户观看电影和点评电影的行为数据,数据来源于网络上的公开数据,共有3个数据文件:uers.dat.ratings.dat和movies.dat. 其中,uers.dat的格式如下: UserID::Gender::Age::Occupation::Zip-code ,这个文件里共有6040个用户的信息,每行中用“::”隔开的详细信息包括ID.性别(F.M分别表示女性.男性).年龄(使用…

写在前面 一直不知道这个专栏该如何开始写,思来想去,还是暂时把自己对这个项目的一些想法 和大家分享 的形式来展现.有什么问题,欢迎大家一起留言讨论. 这个项目的源代码是在https://github.com/LuckyZXL2016/Movie_Recommend这个位置. 基于源代码做了一些简单的调整. 关于这个系列的 所有文章,有新的想法,我也会及时做更新 项目效果 类似于国内豆瓣网站,能够在该项目-电影网站-进行电影信息浏览和查询,并且-电影网站-会根据用户的 浏览记录和用户评论,点赞(好…

编程实战——电影管理器之界面UI及动画切换 在前文“编程实战——电影管理器之利用MediaInfo获取高清视频文件的相关信息”中提到电影管理器的目的是方便播放影片,在想看影片时不需要在茫茫的文件夹下找寻. 我对电影管理器的想法如下: 1.可以全键盘操作(不依赖鼠标),最好是利用键盘上的小数字键区就能完成全部操作. 2.基于HTPC的全屏操作,故软件的大小为1920*1080 3.模仿时下流行的“磁贴”效果. 下图是本软件的初步的界面UI 解释一下: 1.HTPC的屏幕是1920*1080,在软件…

第四部分-推荐系统-项目介绍 行业背景: 快速:Apache Spark以内存计算为核心 通用 :一站式解决各个问题,ADHOC SQL查询,流计算,数据挖掘,图计算 完整的生态圈 只要掌握Spark,就能够为大多数的企业的大数据应用场景提供明显的加速 "猜你喜欢"为代表的推荐系统,从吃穿住行等 项目背景介绍: 本项目是一个基于Apache Spark 的电影推荐系统, 技术路线:离线推荐+实时推荐 项目架构: 存储层:HDFS作为底层存储,Hive作为数据仓库 (Hive Metas…

说明 本教程是,原文章发布系统教程的精编重制版,会包含每一节的源码,以及修正之前的一些错误.因为之前的教程只做到了评论模块,很多地方还不完美,因此重制版会修复之前的一些谬误和阐述不清的地方,而且,后期我会考虑完成该项目的后台管理.希望本教程提供的内容,可以成为JavaWeb初学者一套较为完整的练手项目. 昨天给这个系列开了一个头,那么,今天继续吧. 3.4 登陆和注册按钮 导航栏已经做好了,那么一般来说,在标题栏的最右边就是登陆和注册按钮.我们可以设计一个div,然后向右浮动.当然,这个div也…

1. RDD-(Resilient Distributed Dataset)弹性分布式数据集      Spark以RDD为核心概念开发的,它的运行也是以RDD为中心.有两种RDD:第一种是并行Collections,它是Scala collection,可以进行并行计算:第二种是Hadoop数据集,它是并行计算HDFS文件的每条记录,凡是Hadoop支持的文件系统,都可以进行操作.这两种RDD都以同样的方式处理. 1.1 RDD之并行Collections         并行Collecti…

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 大数据的概念与应用,正随着智能手机.平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题.图计算正在被广泛地应用于社交网络.电子商务,地图等领域.对于图计算的两个核心问题:图存储模式和图计算模型,Spark GraphX给出了近乎完美的答案, 而Spark GraphX作为图计算领域的屠龙宝刀,对Pregel  API的支持更是让Spark GraphX如虎添翼.Spark GraphX可以轻而易举的完成基于度分布…

第一部分-电影网站: 软件架构: SpringBoot+Mybatis+JSP 项目描述:主要实现电影网站的展现 和 用户的所有动作的地方 技术选型: 技术 名称 官网 Spring Boot 容器 https://projects.spring.io/spring-boot/ Spring MVC MVC框架 http://docs.spring.io/spring/docs/current/spring-framework-reference/htmlsingle/#mvc MyBatis…

第四部分-推荐系统-数据ETL 本模块完成数据清洗,并将清洗后的数据load到Hive数据表里面去 前置准备: spark +hive vim $SPARK_HOME/conf/hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <pr…