作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339

一、Hadoop综合大作业 要求:

1.将爬虫大作业产生的csv文件上传到HDFS

爬取的数据总共有10个表格(分别是不同类别)

2.对CSV文件进行预处理生成无标题文本文件

对字段进行预处理:

查看生成的table.txt:

3.把hdfs中的文本文件最终导入到数据仓库Hive中

启动hdfs:

4.在Hive中查看并分析数据

5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

(1)查询总榜中(total.csv)总共有多少条不重复数据:

分析:查询发现表格中总共有51行数据不重复,展现了数据的确切性和真实性。

(2)查询总榜中(total.csv)类别属于电视剧的视频总数:

分析:查询结果得总榜中有18条都是属于电视剧,占比为36%,也就是差不多三分之一都是电视剧。这也就说明了大家在腾讯视频上偏爱看电视剧。

既然大家都喜爱看电视剧,那么我们就来查查看有关于电视剧的数据,看看大家都在看什么电视剧。

(3)查询电视剧榜中(tv.csv)排行前九的电视剧名称及其地区:

分析:排行榜前列的电视剧都是最近在网络热议上爆火的电视剧,特别是排行榜第一的《破冰行动》,经常上微博热搜,它讲述了两代缉毒警察为"雷霆扫毒"专项行动奉献热血与生命的故事。排行第三四的均是古装剧,也说明了古装剧受到了大家的偏爱。

电视剧列表的地区清一色都是内地的电视剧,那么我们来查查看上榜的电视剧有多少是地区属于内地的。

(4)查询电视剧榜中(tv.csv)中地区属于内地的总数:

分析:查询结果得排行榜中总共有49个电视剧是属于内地电视剧,占比高达98%,可以说基本是来自内地的电视剧,也就说明了比起其他地区的电视剧,大家还是比较喜欢看内地的电视剧。

既然内地电视剧占比如此大,我们来看看都是哪些内地电视剧。

(5)查询电视剧榜中(tv.csv)地区属于内地的电视剧:

分析:查询结果得均是我们最近热播的剧集,包含了很多不同的种类,从古装到现代,从爱情到悬疑,各种各样的电视剧都是老百姓的喜爱。

之后我们来查查看是否有来自美国的电视剧上榜。

(6)查询电视剧榜中(tv.csv)地区属于美国的电视剧:

分析:查询到了有一条数据地区属于美国的,那就是排行第14的《权力的游戏 第八季》,这是一部获奖无数的电视剧,现在连载到第八季,深受大家的喜爱。

看完电数据排行榜我们来看看电影排行榜。

(7)查询电影榜中(movie.csv)排行前九的电影名称及其地区:

分析:排行第一的是最近新上映的青春爱情电影《最好的我们》,临近初高中毕业季,这种类型的片子最受大家的偏爱。后面的大部分是科幻大片较多,并且长期处于排行榜的前列。

(8)查询电影榜(movie.csv)中属于内地的电影:

分析:查询结果可以看出排行榜中有不少电影是来自中国内地的,也能映射出最近几年中国内地的电影事业发展越来越好,越来越多观众喜欢看我国的电影。而且其中喜剧占比最大,这里十九部电影中有七部都是喜剧,这也说明大家偏爱观看中国的喜剧。

看完电影榜来看看明星榜。

(9)查询明星榜中(star.csv)排行前九的明星名称及其代表作:

分析:果然说到影视业不能不提及的就是我们的“星爷”周星驰,明星榜排行第一,秒杀了许多最近新出的小鲜肉。往下的名列便是在年青一代家喻户晓的的歌手或演员,还有他们最近火热的综艺电影或电视剧。

(10)查询明星榜中(star.csv)中明星张一山是否上榜:

分析:查询结果得明星张一山位于明星榜的第31位,其最近的火热作品是《重耳传奇》,是一部古装剧。

(11)查询明星榜中(star.csv)中代表作名为《地久天长》的明星:

分析:查询了一下是否有参演《地久天长》的明星上榜明星榜,结果找到了00后的明星王源,是凭借着《地久天长》这部电影上榜,并且排行第35位。

总结:这次hadoop综合大作业的数据是用了新的数据,因此离上次期中作业检查隔了有一段的时间,排行榜排名有变动,因此我把十个表都重新爬了一次,数据都是最新的。经过这次,学会了在hive上用sql语句查询之后发现这样子分析数据方便了许多。尽管我有十个表格那么多,把他们都上传到hdfs后仍然能清晰地查询出我想要的数据。这节课受益匪浅,以后有需要分析数据也会选择用这种方法。

【大数据应用期末总评】Hadoop综合大作业的更多相关文章

  1. 大数据应用期末总评——Hadoop综合大作业

    作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 Hadoop综合大作业 要求: 1.将爬虫大作业产生的csv文件 ...

  2. 大数据应用期末总评Hadoop综合大作业

    作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到HDFS 此次作业选取的 ...

  3. 大数据应用期末总评(hadoop综合大作业)

    作业要求源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一.将爬虫大作业产生的csv文件上传到HDFS (1)在/usr ...

  4. Hadoop综合大作业

    Hadoop综合大作业 要求: 用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计. 用Hive对爬虫大作业产生的csv文件进行数据分析 1. 用Hive对爬虫大作业产 ...

  5. 《Hadoop综合大作业》

    作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 我主要的爬取内容是关于热门微博文章“996”与日剧<我要 ...

  6. 菜鸟学IT之Hadoop综合大作业

    Hadoop综合大作业 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.将爬虫大作业产生的csv文件上传到HDF ...

  7. Hadoop综合大作业1

    本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一.课程评分标准: 分数组成: 考勤 10 平时作业 30 爬 ...

  8. 大数据平台搭建(hadoop+spark)

    大数据平台搭建(hadoop+spark) 一.基本信息 1. 服务器基本信息 主机名 ip地址 安装服务 spark-master 172.16.200.81 jdk.hadoop.spark.sc ...

  9. 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

    引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用 ...

随机推荐

  1. 【书评:Oracle查询优化改写】第二章

    [书评:Oracle查询优化改写]第二章 BLOG文档结构图 在上一篇中http://blog.itpub.net/26736162/viewspace-1652985/,我们主要分析了一些单表查询的 ...

  2. xml和json的判断格式是否相等

    手动撸了个 xml 和 json 格式匹配的代码. /** * 判断数据的结构.遍历节点然后去对应的json那边查找是否存在这样的节点 * * @param root 配置的xml所对应的对Eleme ...

  3. 【Mac】微信视频对方听不见你的声音

    解决方案: 1.打开系统设置 2.选择声音 3.输出选择第一个就可以

  4. linux卸载mysql误删mysql.pm

    操作步骤如下 linux卸载mysql:yum remove mysql 查找mysql所有的文件并删除: 查找:find / -name mysql 删除:rm -rf xxx 误操作删除mysql ...

  5. QA流程

    一.测试人员的介入时间 1.当产品经理与业务人员制定需求的时候,测试人员不宜介入: 2.当下一期的需求原型出来以后,这个时候就进入了需求评审.需求分析阶段,此时,测试人员应该介入: 3.当开发人员在编 ...

  6. Supermarket(贪心/并查集)

    题目链接 原创的博客 题意: 超市里有N个商品. 第i个商品必须在保质期(第di天)之前卖掉, 若卖掉可让超市获得pi的利润. 每天只能卖一个商品. 现在你要让超市获得最大的利润. n , p[i], ...

  7. 下载恶意pcap包的网站汇总

    说几个我经常用的,免费的:1.  Malware  Traffic  Analysis:  http://www.malware-traffic-analysis.net/2018/index.htm ...

  8. 【云栖社区002-二分估值法】要求不用数学库,求 sqrt (2)精确到小数点后10位(Java版)

    如题 初步审题的时候,想到的是暴力搜索:初步设置一个合法的种子,依次按照1e-2,1e-3,1e-4,1e-5,1e-6 , 1e-7...暴力搜索,额,就是太麻烦了. 打比赛搜索写多了,一看见题目就 ...

  9. ASP.NET Core ---- 系列文章

    (13)ASP.NET Core 中的选项模式(Options) (12)ASP.NET Core 中的配置二(Configuration) (11)ASP.NET Core 中的配置一(Config ...

  10. springboot无法识别配置文件级解决办法

    eclipse中右键项目bulid path 之后找到 后点击完成后点击运用 修改完成