8. SparkSQL综合作业
综合练习：学生课程分数
网盘下载sc.txt文件，分别创建RDD、DataFrame和临时表/视图；
分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析:
总共有多少学生？
总共开设了多少门课程？
每个学生选修了多少门课？
每门课程有多少个学生选？
- 每门课程>95分的学生人数
课程'Python'有多少个100分？
Tom选修了几门课？每门课多少分？
Tom的成绩按分数大小排序。
Tom选修了哪几门课？
Tom的平均分。
'OperatingSystem'不及格人数
'OperatingSystem'平均分
'OperatingSystem'90分以上人数
'OperatingSystem'前3名
每个分数按比例+20平时分。
求每门课的平均分
选修了7门课的有多少个学生？
每门课大于95分的学生数
- 每门课的选修人数、平均分、不及格人数、通过率
- 优秀、良好、通过和不合格各有多少人？
- 同时选修了DataStructure和 DataBase 的学生
- 选修了DataStructure 但没有选修 DataBase 的学生
- 选修课程数少于3门的同学
- 选修6门及以上课程数的同学
- 查询平均成绩大于等于60分的姓名和平均成绩
- 找出平均分最高的10位同学
RDD操作
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
DataFrame操作
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
spark.sql执行SQL语句操作
创造临时表
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
8. SparkSQL综合作业的更多相关文章
- 【爬虫综合作业】猫眼电影TOP100分析
作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 一.爬虫对象 猫眼电影TOP100排行榜 二.代码如下 im ...
- python综合作业要求
要求: 1.课程成绩数据(学号尾数为0,1同学完成) 至少要完成内容:分析每年不同班级平均成绩情况.不同年份总体平均成绩情况.不同性别学生成绩情况,并用一定图表展示. 2.集美大学各省录取分数数据(学 ...
- 大数据应用期末总评Hadoop综合大作业
作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到HDFS 此次作业选取的 ...
- C语言博客作业--结构体，文件
1.本章学习总结(2分) 1.1 学习内容总结 (1)结构体如何定义.成员如何赋值 结构体的一般形式为: struct 结构体名 { 数据类型 成员名1: 数据 ...
- C博客作业03——函数
0.展示PTA总分 截图展示: 1.本章学习总结 1.1学习内容总结 (a)函数的定义 1)函数是一个完成特定工作的独立程序模块,包括库函数和自定义函数两种,scanf(),printf()等为库函数 ...
- day11 本日作业+周末作业
目录 一.今日作业 1.编写文件copy工具 2.编写登录程序,账号密码来自于文件 3.编写注册程序,账号密码来存入文件 二.周末综合作业: 1.编写用户登录接口 2.编写程序实现用户注册后,可以登录 ...
- 现在开始(Do It Now)
现在开始(Do It Now) 很多年前读大学的时候,我决定制定一个计划挑战自己:只用三个学期完成其他人通常花费四年的课程,能否毕业.这篇文章(此文为翻译)详细的说明了我在成功实现该目标过程中的所有时 ...
- lingo运筹学上机实验指导
<运筹学上机实验指导>分为两个部分,第一部分12学时,是与运筹学理论课上机同步配套的4个实验(线性规划.灵敏度分析.运输问题与指派问题.最短路问题和背包问题)的Excel.LONGO和LI ...
- 接着继续(OO博客第四弹)
.测试与JSF正确性论证 测试和JSF正确性论证是对一个程序进行检验的两种方式.测试是来的最直接的,输入合法的输入给出正确的提示,输入非法的输入给出错误信息反馈,直接就能很容易的了解程序的运行情况.但 ...
随机推荐
- GO语言学习——运算符
运算符 Go 语言内置的运算符有: 算术运算符 关系运算符 逻辑运算符 位运算符 赋值运算符 算术运算符 运算符 描述 + 相加 - 相减 * 相乘 / 相除 % 求余 注意: ++(自增)和--(自 ...
- 【论文阅读】ConvNeXt：A ConvNet for the 2020s 新时代卷积网络
一.ConvNext Highlight 核心宗旨:基于ResNet-50的结构,参考Swin-Transformer的思想进行现代化改造,知道卷机模型超过trans-based方法的SOTA效果. ...
- 【面试普通人VS高手系列】请说一下你对分布式锁的理解，以及分布式锁的实现
一个工作了7年的Java程序员,私信我关于分布式锁的问题. 一上来就两个灵魂拷问: Redis锁超时怎么办? Redis主从切换导致锁失效怎么办? 我说,别着急,这些都是小问题. 那么,关于" ...
- 关于Mysql索引的数据结构
索引的数据结构 1.为什么使用索引 概念: 索引是存储索引用于快速找到数据记录的一种数据结构,就好比一本书的目录部分,通过目录中对应的文章的页码,便可以快速定位到需要的文章,Mysql 中也是一样的道 ...
- vmware安装或卸载时，显示无法打开注册表项
vmware卸载是出了名的臭名昭著,因为太难删干净了,删不干净又会有各种各样的问题.比如下文这个"无法打开注册表项" 这个我相信有很多人在重装vmware的时候遇到过,因此我来 ...
- Linux虚拟网络技术学习
一个执着于技术的公众号 地方 背景 在Linux虚拟化技术中,网络层面,通常重要的三个技术分别是Network Namespace.veth pair.以及网桥或虚拟交换机技术.今天就通过实验带大家一 ...
- Event Loop 是什么？
Event Loop 是什么? 本文写于 2020 年 12 月 6 日 广义上来说 Event Loop 并不是 JavaScript 独有的概念,他是一个计算机的通用概念. 狭义上来说,只有 No ...
- Base64隐写
0x00: 前言 Base64编码的作用: 将一些特殊的字符转换成常见的字符.特殊的字符可能是不可见字符或者是大于ascii码127的,将其变成常见的字符(在base64中为a~z A~Z 0~9 + ...
- 为 map 中不存在的 key 提供缺省值
需求 需要往一个复杂的 map 中写入数据,或为 map 中不存在 key 提供 default value java standard library Map<K, List<V> ...
- Docker部署mysql 5.7
Docker部署mysql 5.7 准备工作 在CentOS或者Linux创建部署目录,用于存放容器的配置和MySQL数据:目的是当重装或者升级容器时,配置文件和数据不会丢失.执行以下命令: a.创建 ...