1.去教育部官网下载excel数据:http://www.moe.gov.cn/srcsite/A03/moe_634/201706/W020170616379651135432.xls 2.把xls数据转换成json格式 https://blog.csdn.net/aomeishangpin/article/details/84404462 [root@do1_qy_10479 opt]# cat just4json.py # encoding: utf-8 import xlrd from…

版权声明:本文为博主原创文章,转载 请注明出处:https://blog.csdn.net/sc2079/article/details/82318571 - 写在前面 本篇博客继续对中国大学MOOC课程信息进行数据分析,主要是利用pyecharts针对MOOC上开课的大学信息的分析. 前两次博客内容: 1. 中国大学MOOC课程信息爬取与数据存储 2. 中国大学MOOC课程信息之数据分析可视化一 - 环境配置安装 运行环境:Python3.6.Spyder 依赖的模块:pyecharts以及一…

版权声明:本文为博主原创文章,转载 请注明出处:https://blog.csdn.net/sc2079/article/details/82263391 9月2日更:中国大学MOOC课程信息之数据分析可视化二 写在前面 上一篇我的博客:中国大学MOOC课程信息爬取与数据存储于8月24日爬取并存储了中国大学MOOC的各个学科的课程信息.如下: 今天我就来简单做一哈MOOC课程信息的数据分析及可视化. PS:初入茅庐,参考了网上很多大佬的文章,特别感谢! Python数据可视化-seaborn 6…

中国大学MOOC-翁恺-C语言程序设计习题集 PAT 习题集 02-0. 整数四则运算(10) 时间限制 400 ms 内存限制 65536 kB 代码长度限制 8000 B 判题程序 Standard 作者 乔林(清华大学) 本题要求编写程序,计算2个正整数的和.差.积.商并输出.题目保证输入和输出全部在整型范围内. 输入格式: 输入在一行中给出2个正整数A和B. 输出格式: 在4行中按照格式"A 运算符 B = 结果"顺序输出和.差.积.商. 输入样例: 3 2 输出样例: 3 +…

中国大学MOOC-陈越.何钦铭-数据结构-2017春 学习地址 详细学习内容 Github记录地址 欢迎fork和star,有惊喜值得学习! 参考学习笔记 参考AC代码 数据结构和算法学习笔记 学习内容 第一讲 基本概念 [陈越] 1.1 什么是数据结构 1.2 什么是算法 1.3 应用实例:最大子列和问题:01-复杂度1 最大子列和问题(剑指offer和PAT) 第二讲 线性结构 [何钦铭] 2.1 线性表及其实现:线性表的顺序存储和链式存储实现 2.2 堆栈:线性结构-栈的顺序存储和链式存储…

今天下午花时间学习了python爬虫的中国大学排名实例,颇有心得,于是在博客园与各位分享 首先直接搬代码: import requests from bs4 import BeautifulSoup import bs4 def getHTMLText(url): try: r = requests.get(url,timeout = 30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: r…

版权声明:本文为博主原创文章,转载 请注明出处: https://blog.csdn.net/sc2079/article/details/82016583 10月18日更:MOOC课程信息D3.js动态可视化 9月2日更:中国大学MOOC课程信息之数据分析可视化二 9月1日更:关于MOOC的课程信息数据分析,参看:中国大学MOOC课程信息之数据分析可视化一 写在前面 暑假没事玩玩爬虫,看到中国大学MOOC便想爬取它所有课程信息.无奈,它不是静态网页,课程数据都是动态加载的.而爬取动态页面目前来…

[python]下载中国大学MOOC的视频 脚本目标: 输入课程id和cookie下载整个课程的视频文件,方便复习时候看 网站的反爬机制分析: 分析数据包的目的:找到获取m3u8文件的路径 1. 从第一步分析数据包开始,就感觉程序员一定是做了反爬机制,从一开始就防备着了,网站在打开调试工具的时候会死循环在debugger上,代码写法和原理可以参考这篇文章[如何防止页面被调试_小敏哥的专栏-CSDN博客_网页禁止调试],只需要停用断点就可以继续调试,在network里看数据包 2. 搜索关键字m3…

今年网易出了“中国大学MOOC”,于是选了浙大翁恺老师的“C语言程序设计”学习,近期打算把自己在该课程中的PAT习题解答做一个记录,等自己编程能力提高后再来看现在写的代码哪里还有写的不好,可以改进的地方,达到反思的目的.…

早期版本的中国大学MOOC一旦被挂起后,应用在完成当前下载任务后无法继续添加新任务,当然也无法将缓存状态写入数据库.这个问题能否顺利解决直接关系到用户体验. 顺便吐槽下,凡是使用了后台文件传输还提示你下载过程中不要挂起应用的,应该都是这个问题. 那么如何解决呢? 解决问题的关键在于,既然应用被挂起后App是无法执行代码了,但是我们还有后台任务啊! 大致的思路是,在App被挂起后,我们使用后台任务在文件传输完成后根据文件传输的状体来更新数据库,并且启动新的文件传输任务. 首先我们创建一个后台任务类…