8. SparkSQL综合作业
综合练习：学生课程分数
网盘下载sc.txt文件，分别创建RDD、DataFrame和临时表/视图；
分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析:
总共有多少学生？
总共开设了多少门课程？
每个学生选修了多少门课？
每门课程有多少个学生选？
- 每门课程>95分的学生人数
课程'Python'有多少个100分？
Tom选修了几门课？每门课多少分？
Tom的成绩按分数大小排序。
Tom选修了哪几门课？
Tom的平均分。
'OperatingSystem'不及格人数
'OperatingSystem'平均分
'OperatingSystem'90分以上人数
'OperatingSystem'前3名
每个分数按比例+20平时分。
求每门课的平均分
选修了7门课的有多少个学生？
每门课大于95分的学生数
- 每门课的选修人数、平均分、不及格人数、通过率
- 优秀、良好、通过和不合格各有多少人？
- 同时选修了DataStructure和 DataBase 的学生
- 选修了DataStructure 但没有选修 DataBase 的学生
- 选修课程数少于3门的同学
- 选修6门及以上课程数的同学
- 查询平均成绩大于等于60分的姓名和平均成绩
- 找出平均分最高的10位同学
RDD操作
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
DataFrame操作
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
spark.sql执行SQL语句操作
创造临时表
1、总共有多少学生？
2、总共开设了多少门课程？
3、每个学生选修了多少门课？
4、每门课程有多少个学生选？
5、每门课程>95分的学生人数
6、课程'Python'有多少个100分？
7、Tom选修了几门课？每门课多少分？
8、Tom的成绩按分数大小排序。
9、Tom选修了哪几门课？
10、Tom的平均分。
11、'OperatingSystem'不及格人数
12、'OperatingSystem'平均分
13、'OperatingSystem'90分以上人数
14、'OperatingSystem'前3名
15、每个分数按比例+20平时分。
16、求每门课的平均分
17、选修了7门课的有多少个学生？
18、每门课大于95分的学生数
19、每门课的选修人数、平均分、不及格人数、通过率
20、优秀、良好、通过和不合格各有多少人？
21、同时选修了DataStructure和 DataBase 的学生
22、选修了DataStructure 但没有选修 DataBase 的学生
23、选修课程数少于3门的同学
24、选修6门及以上课程数的同学
25、查询平均成绩大于等于60分的姓名和平均成绩
26、找出平均分最高的10位同学
8. SparkSQL综合作业的更多相关文章
- 【爬虫综合作业】猫眼电影TOP100分析
作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 一.爬虫对象 猫眼电影TOP100排行榜 二.代码如下 im ...
- python综合作业要求
要求: 1.课程成绩数据(学号尾数为0,1同学完成) 至少要完成内容:分析每年不同班级平均成绩情况.不同年份总体平均成绩情况.不同性别学生成绩情况,并用一定图表展示. 2.集美大学各省录取分数数据(学 ...
- 大数据应用期末总评Hadoop综合大作业
作业要求来源于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 1.将爬虫大作业产生的csv文件上传到HDFS 此次作业选取的 ...
- C语言博客作业--结构体，文件
1.本章学习总结(2分) 1.1 学习内容总结 (1)结构体如何定义.成员如何赋值 结构体的一般形式为: struct 结构体名 { 数据类型 成员名1: 数据 ...
- C博客作业03——函数
0.展示PTA总分 截图展示: 1.本章学习总结 1.1学习内容总结 (a)函数的定义 1)函数是一个完成特定工作的独立程序模块,包括库函数和自定义函数两种,scanf(),printf()等为库函数 ...
- day11 本日作业+周末作业
目录 一.今日作业 1.编写文件copy工具 2.编写登录程序,账号密码来自于文件 3.编写注册程序,账号密码来存入文件 二.周末综合作业: 1.编写用户登录接口 2.编写程序实现用户注册后,可以登录 ...
- 现在开始(Do It Now)
现在开始(Do It Now) 很多年前读大学的时候,我决定制定一个计划挑战自己:只用三个学期完成其他人通常花费四年的课程,能否毕业.这篇文章(此文为翻译)详细的说明了我在成功实现该目标过程中的所有时 ...
- lingo运筹学上机实验指导
<运筹学上机实验指导>分为两个部分,第一部分12学时,是与运筹学理论课上机同步配套的4个实验(线性规划.灵敏度分析.运输问题与指派问题.最短路问题和背包问题)的Excel.LONGO和LI ...
- 接着继续(OO博客第四弹)
.测试与JSF正确性论证 测试和JSF正确性论证是对一个程序进行检验的两种方式.测试是来的最直接的,输入合法的输入给出正确的提示,输入非法的输入给出错误信息反馈,直接就能很容易的了解程序的运行情况.但 ...
随机推荐
- 简单手写一个jqurey
1 /** 2 * @description 手写jquery 3 * @author ddxldxl 4 */ 5 class Jquery { 6 constructor(selector) { ...
- 「Python实用秘技07」pandas中鲜为人知的隐藏排序技巧
本文完整示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/PythonPracticalSkills 这是我的系列文章「Python实用秘技」的第7期 ...
- k8s入门之pod(四)
pod是k8s项目中的最小编排单位,它是运行中的一组(一个或多个)容器,这些容器共享存储.网络.调度等资源,pod是一个逻辑概念,同一个名称空间下不同pod可以通过ip互相访问. 一.通过命令行方式管 ...
- [STL] vector 可变数组
点击查看代码 #include<iostream> #include<vector> using namespace std; int main() { // 初始化 a 为 ...
- SpringBoot 读取配置文件数据
- QT快速入门
QT快速入门 本文档将介绍QT工程的创建.UI界面布局,并以计数器为例了解QT中多线程的用法,最终完成一个基础的QT项目. 1 创建QT工程文件 在安装好QT之后,能够在其安装组件中找到Qt Crea ...
- DDoS攻击--Syn_Flood攻击防护详解(TCP)
https://blog.csdn.net/qq_34777600/article/details/81946514
- 讨论两种Redis中Token的存储方式
摘要:本文讨论一个问题:存储token时,token与对应用户id谁来作为key? 问题起源问题起源于要给公司的后台管理系统添加权限管理,选用的是开源框架shiro,而原本系统上是采用token做了登 ...
- 好客租房25-react中的事件处理（事件对象）
3.2事件对象 可以通过事件处理程序的参数 React中的事件对象叫做:合成事件(对象) 合成事件:兼容所有浏览器 //导入react import React from 'react' ...
- 140_Power BI&Power Pivot之降维展示同类型比较
博客:www.jiaopengzi.com 焦棚子的文章目录 请点击下载附件 一.背景 最近一段时间比较忙,几乎没有时间更新网站内容,今天刚好周末,更新一个简单的需求. 上效果图: 在我们日常做对比分 ...