作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339

一、Hadoop综合大作业 要求:

1.将爬虫大作业产生的csv文件上传到HDFS

爬取的数据总共有10个表格(分别是不同类别)

2.对CSV文件进行预处理生成无标题文本文件

对字段进行预处理:

查看生成的table.txt:

3.把hdfs中的文本文件最终导入到数据仓库Hive中

启动hdfs:

4.在Hive中查看并分析数据

5.用Hive对爬虫大作业产生的进行数据分析,写一篇博客描述你的分析过程和分析结果。(10条以上的查询分析)

(1)查询总榜中(total.csv)总共有多少条不重复数据:

分析:查询发现表格中总共有51行数据不重复,展现了数据的确切性和真实性。

(2)查询总榜中(total.csv)类别属于电视剧的视频总数:

分析:查询结果得总榜中有18条都是属于电视剧,占比为36%,也就是差不多三分之一都是电视剧。这也就说明了大家在腾讯视频上偏爱看电视剧。

既然大家都喜爱看电视剧,那么我们就来查查看有关于电视剧的数据,看看大家都在看什么电视剧。

(3)查询电视剧榜中(tv.csv)排行前九的电视剧名称及其地区:

分析:排行榜前列的电视剧都是最近在网络热议上爆火的电视剧,特别是排行榜第一的《破冰行动》,经常上微博热搜,它讲述了两代缉毒警察为"雷霆扫毒"专项行动奉献热血与生命的故事。排行第三四的均是古装剧,也说明了古装剧受到了大家的偏爱。

电视剧列表的地区清一色都是内地的电视剧,那么我们来查查看上榜的电视剧有多少是地区属于内地的。

(4)查询电视剧榜中(tv.csv)中地区属于内地的总数:

分析:查询结果得排行榜中总共有49个电视剧是属于内地电视剧,占比高达98%,可以说基本是来自内地的电视剧,也就说明了比起其他地区的电视剧,大家还是比较喜欢看内地的电视剧。

既然内地电视剧占比如此大,我们来看看都是哪些内地电视剧。

(5)查询电视剧榜中(tv.csv)地区属于内地的电视剧:

分析:查询结果得均是我们最近热播的剧集,包含了很多不同的种类,从古装到现代,从爱情到悬疑,各种各样的电视剧都是老百姓的喜爱。

之后我们来查查看是否有来自美国的电视剧上榜。

(6)查询电视剧榜中(tv.csv)地区属于美国的电视剧:

分析:查询到了有一条数据地区属于美国的,那就是排行第14的《权力的游戏 第八季》,这是一部获奖无数的电视剧,现在连载到第八季,深受大家的喜爱。

看完电数据排行榜我们来看看电影排行榜。

(7)查询电影榜中(movie.csv)排行前九的电影名称及其地区:

分析:排行第一的是最近新上映的青春爱情电影《最好的我们》,临近初高中毕业季,这种类型的片子最受大家的偏爱。后面的大部分是科幻大片较多,并且长期处于排行榜的前列。

(8)查询电影榜(movie.csv)中属于内地的电影:

分析:查询结果可以看出排行榜中有不少电影是来自中国内地的,也能映射出最近几年中国内地的电影事业发展越来越好,越来越多观众喜欢看我国的电影。而且其中喜剧占比最大,这里十九部电影中有七部都是喜剧,这也说明大家偏爱观看中国的喜剧。

看完电影榜来看看明星榜。

(9)查询明星榜中(star.csv)排行前九的明星名称及其代表作:

分析:果然说到影视业不能不提及的就是我们的“星爷”周星驰,明星榜排行第一,秒杀了许多最近新出的小鲜肉。往下的名列便是在年青一代家喻户晓的的歌手或演员,还有他们最近火热的综艺电影或电视剧。

(10)查询明星榜中(star.csv)中明星张一山是否上榜:

分析:查询结果得明星张一山位于明星榜的第31位,其最近的火热作品是《重耳传奇》,是一部古装剧。

(11)查询明星榜中(star.csv)中代表作名为《地久天长》的明星:

分析:查询了一下是否有参演《地久天长》的明星上榜明星榜,结果找到了00后的明星王源,是凭借着《地久天长》这部电影上榜,并且排行第35位。

总结:这次hadoop综合大作业的数据是用了新的数据,因此离上次期中作业检查隔了有一段的时间,排行榜排名有变动,因此我把十个表都重新爬了一次,数据都是最新的。经过这次,学会了在hive上用sql语句查询之后发现这样子分析数据方便了许多。尽管我有十个表格那么多,把他们都上传到hdfs后仍然能清晰地查询出我想要的数据。这节课受益匪浅,以后有需要分析数据也会选择用这种方法。

【大数据应用期末总评】Hadoop综合大作业的更多相关文章

  1. 大数据应用期末总评——Hadoop综合大作业

    作业要求来自:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 Hadoop综合大作业 要求: 1.将爬虫大作业产生的csv文件 ...

  2. 大数据应用期末总评Hadoop综合大作业

    作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到HDFS 此次作业选取的 ...

  3. 大数据应用期末总评(hadoop综合大作业)

    作业要求源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一.将爬虫大作业产生的csv文件上传到HDFS (1)在/usr ...

  4. Hadoop综合大作业

    Hadoop综合大作业 要求: 用Hive对爬虫大作业产生的文本文件(或者英文词频统计下载的英文长篇小说)词频统计. 用Hive对爬虫大作业产生的csv文件进行数据分析 1. 用Hive对爬虫大作业产 ...

  5. 《Hadoop综合大作业》

    作业要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 我主要的爬取内容是关于热门微博文章“996”与日剧<我要 ...

  6. 菜鸟学IT之Hadoop综合大作业

    Hadoop综合大作业 作业来源:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 1.将爬虫大作业产生的csv文件上传到HDF ...

  7. Hadoop综合大作业1

    本次作业来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3363 一.课程评分标准: 分数组成: 考勤 10 平时作业 30 爬 ...

  8. 大数据平台搭建(hadoop+spark)

    大数据平台搭建(hadoop+spark) 一.基本信息 1. 服务器基本信息 主机名 ip地址 安装服务 spark-master 172.16.200.81 jdk.hadoop.spark.sc ...

  9. 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)

    引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用 ...

随机推荐

  1. 采用__call__ 实现装饰器模式

    装饰器模式在实现中也是很常见的:比如手机贴膜,手机壳 都是为了给手机增加一些额外功能 增加耐操 装饰器模式的本质就是对对象二次包装,赋额外功能 __call__ __call__是python魔术方法 ...

  2. js预编译环节 变量声明提升 函数声明整体提升

    预编译四部曲 1.创建AO对象 2.找形参和变量声明,将变量和形参名作为AO属性名,值为undefined 3.将实参和形参统一 4.在函数体里面找函数声明,值赋予函数体 function fn(a) ...

  3. Vue项目整体架构记要

    此文记录初次学习Vue的一些记要,可做为参考,导图有些生涩,故意不再加以修复完善,以持初心!

  4. scrapy 下载器中间件 随机切换user-agent

    下载器中间件如下列表 ['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware', 'scrapy.downloadermiddlewa ...

  5. Python学习日记(三十三) Mysql数据库篇 一

    背景 Mysql是一个关系型数据库,由瑞典Mysql AB开发,目前属于Oracle旗下的产品.Mysql是目前最流行的关系型数据库管理系统之一,在WEB方面,Mysql是最好的RDBMS(Relat ...

  6. pyecharts绘制geo地图

    pyecharts是一种非常强大的绘图python库,绘制的图形非常好看,并且有代表性,不仅仅是地图,还可以绘制条形图.饼图.词云图等等. # 安装方法 pip install pyecharts # ...

  7. Python入门篇-文件操作

    Python入门篇-文件操作 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.文件IO常用操作 open:打开 read:读取 write:写入 close:关闭 readlin ...

  8. mysql数据库总结。

    mysql MySQL语法MySQL采用结构化查询语言SQL (Structured Query Language)语言来操作数据库SQL语句必须以 ; 结束SQL语句分类DDL(数据定义语言): c ...

  9. NOI2019游记 —— 夏花般绚烂,繁星般璀璨

    NOI 2019 游记 夏花般绚烂,繁星般璀璨 打算写成两个形式 Dairy Day -1 早早就到gzez集训了20几天,对整体的环境熟悉很多 在gzez看了场LNR Day 2 然后回到宾馆搞了个 ...

  10. ASP.NET Core 类库中取读配置文件 appsettings.json

    首先引用NuGet包 Microsoft.Extensions.Configuration Microsoft.Extensions.Configuration.Json Microsoft.Exte ...