8. SparkSQL综合作业
综合练习：学生课程分数
网盘下载sc.txt文件，分别创建RDD、DataFrame和临时表/视图；
分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析:
总共有多少学生？
总共开设了多少门课程？
每个学生选修了多少门课？
每门课程有多少个学生选？
- 每门课程>95分的学生人数
课程'Python'有多少个100分？
Tom选修了几门课？每门课多少分？
Tom的成绩按分数大小排序。
Tom选修了哪几门课？
Tom的平均分。
'OperatingSystem'不及格人数
'OperatingSystem'平均分
'OperatingSystem'90分以上人数
'OperatingSystem'前3名
每个分数按比例+20平时分。
求每门课的平均分
选修了7门课的有多少个学生？
每门课大于95分的学生数
- 每门课的选修人数、平均分、不及格人数、通过率
- 优秀、良好、通过和不合格各有多少人？
- 同时选修了DataStructure和 DataBase 的学生
- 选修了DataStructure 但没有选修 DataBase 的学生
- 选修课程数少于3门的同学
- 选修6门及以上课程数的同学
- 查询平均成绩大于等于60分的姓名和平均成绩
- 找出平均分最高的10位同学
RDD操作
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
DataFrame操作
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
spark.sql执行SQL语句操作
创造临时表
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
8. SparkSQL综合作业的更多相关文章
- 【爬虫综合作业】猫眼电影TOP100分析
作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 一.爬虫对象 猫眼电影TOP100排行榜 二.代码如下 im ...
- python综合作业要求
要求: 1.课程成绩数据(学号尾数为0,1同学完成) 至少要完成内容:分析每年不同班级平均成绩情况.不同年份总体平均成绩情况.不同性别学生成绩情况,并用一定图表展示. 2.集美大学各省录取分数数据(学 ...
- 大数据应用期末总评Hadoop综合大作业
作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到HDFS 此次作业选取的 ...
- C语言博客作业--结构体，文件
1.本章学习总结(2分) 1.1 学习内容总结 (1)结构体如何定义.成员如何赋值 结构体的一般形式为: struct 结构体名 { 数据类型 成员名1: 数据 ...
- C博客作业03——函数
0.展示PTA总分 截图展示: 1.本章学习总结 1.1学习内容总结 (a)函数的定义 1)函数是一个完成特定工作的独立程序模块,包括库函数和自定义函数两种,scanf(),printf()等为库函数 ...
- day11 本日作业+周末作业
目录 一.今日作业 1.编写文件copy工具 2.编写登录程序,账号密码来自于文件 3.编写注册程序,账号密码来存入文件 二.周末综合作业: 1.编写用户登录接口 2.编写程序实现用户注册后,可以登录 ...
- 现在开始(Do It Now)
现在开始(Do It Now) 很多年前读大学的时候,我决定制定一个计划挑战自己:只用三个学期完成其他人通常花费四年的课程,能否毕业.这篇文章(此文为翻译)详细的说明了我在成功实现该目标过程中的所有时 ...
- lingo运筹学上机实验指导
<运筹学上机实验指导>分为两个部分,第一部分12学时,是与运筹学理论课上机同步配套的4个实验(线性规划.灵敏度分析.运输问题与指派问题.最短路问题和背包问题)的Excel.LONGO和LI ...
- 接着继续(OO博客第四弹)
.测试与JSF正确性论证 测试和JSF正确性论证是对一个程序进行检验的两种方式.测试是来的最直接的,输入合法的输入给出正确的提示,输入非法的输入给出错误信息反馈,直接就能很容易的了解程序的运行情况.但 ...
随机推荐
- Vue2响应式原理
vue2响应式原理 vue的特性:数据驱动视图和双向数据绑定.vue官方文档也提供了响应式原理的解释: 深入响应式原理 Object.defineProperty() Object.definePro ...
- python基础-基本数据类型（二）
一.序列类型 序列类型是用来表示有序的元素集合 1.字符串(str) python中字符串通常用str表示,字符串是使用单引号,双引号,三引号包裹起来的字符的序列,用来表示文本信息. 1.1 字符串的 ...
- 代码管理工具-Git基础介绍及常用技巧
目录 Git起源 基本概念 Branch.HEAD和Commit tree Git分支 git merge 和 git rebase 的区别和抉择 与远程仓库的交互 关于一些实际开发场景的问题和解决方 ...
- 快速了解Spring，简明Spring使用流程
前言: 注意题目,这篇文章说的是操作,也就是重在应用,更多的是一个入门的或者说一篇概览,所以大佬们多多担待,不涉及底层分析和很多的源码,所以如果看官想看以上两者的可以划走了,有时间又不懒的话,可能以后 ...
- victoriaMetrics中的一些Sao操作
victoriaMetrics中的一些Sao操作 快速获取当前时间 victoriaMetrics中有一个fasttime库,用于快速获取当前的Unix时间,实现其实挺简单,就是在后台使用一个goro ...
- Thumbnails 图片处理
Thumbnails 是由谷歌提供的图片处理包,目前版本0.4.8. 可以简洁的实现图片的缩放.压缩.旋转.水印.格式转换等操作. 示例代码: package test;import net.coob ...
- 微信H5页面唤醒APP并传参跳转uniapp
主要实现是利用微信内置浏览器支持的<wx-open-launch-app>开放标签可以让你的H5网页拉起APP 在链接https://developers.weixin.qq.com/ ...
- 网络：Tor
洋葱路由催生了暗网的产生 1995年,美国海军研究实验室的科学家开始开发一套匿名系统,可以避免人们在互联网上的行迹被追 踪到.由于在该系统中,数据被层层密码保护,这个技术被称为叫作"洋葱路由 ...
- C# settings 文件基础用法
原文 自定义设置项类型 Serializable 修饰的枚举,可作为设置项类型 [Serializable] public enum DeviceBrand { None = 0, [Descript ...
- EditText简单登陆界面制作