背景 本文主要是为了完成极客学院课程<Python 单线程爬虫>中讲师布置的实战作业. 开发环境 操作系统:windows 10 Python :Python 2.7 IDE:PyCharm 4.5.3 安装requests 在CMD命令提示窗口敲以下一行命令即可安装. pip install requests 实现代码 # coding=utf-8 __author__ = 'scaleworld' import requests import re import sys reload(sy…

python scrapy版 极客学院爬虫V2 1 基本技术 使用scrapy 2 这个爬虫的难点是 Request中的headers和cookies 尝试过好多次才成功(模拟登录),否则只能抓免费课程 3文件树如下 │ jike.json 存储json文件│ run.py 运行爬虫└─jkscrapy │ items.py 设置字段 │ pipelines.py 处理字段 │ settings.py 基本设置 │ init.py └─spiders jkspiders.py 爬虫 jkspid…

定向爬取极客学院视频,原本只有年费VIP只能下载,经过分析,只要找个免费体验VIP即可爬取所有视频 涉及的基本技术:python xpath 正则 com+ 通过python调用迅雷从组件,实现自动创建文件夹和自动添加批量下载任务,前提要成功安装迅雷和迅雷组件 思路:path路径爬取所有标签->搜索页面所有该课程分类->课程页面获取课程明细->正则分析视频地址 极客学院的一直在改进,可能需要自己改进 import requests from lxml import etree impor…

Cocos2d-x 是时下最热门的手游引擎,在国内和国外手机游戏开发使用的份额各自是70%和25%,在App Store的top10中,有7个是用它开发的. 本节课程为Cocos2d-x系列课程之九,学习BOX2D物理引擎! 学习路径图: 课程适合小白系统学习,仅需6个课时,在极客学院首席讲师风趣幽默的课程里轻松掌握BOX2D物理引擎.恭喜你也从此将走上为牛X程序员的不归路. 今年上午9点正式上线,请别再期待娱乐圈的新闻了,马上開始学习吧>>> 我们还有很多其它更新更实战的课程,登录极客…

# -*- coding: utf-8 -*- # scrapy爬取极客学院全部课程 import scrapy from pyquery import PyQuery as pq from jike.items import JikeItem class JikespiderSpider(scrapy.Spider): name = "jikespider" allowed_domains = ["www.jikexueyuan.com"] base_url =…

来自极客学院 Apache Maven 是一套软件工程管理和整合工具.基于工程对象模型(POM)的概念,通过一个中央信息管理模块,Maven 能够管理项目的构建.报告和文档. Maven - 概述 Maven 是什么? Maven 是一个项目管理和整合工具.Maven 为开发者提供了一套完整的构建生命周期框架.开发团队几乎不用花多少时间就能够自动完成工程的基础构建配置,因为 Maven 使用了一个标准的目录结构和一个默认的构建生命周期. 在有多个开发团队环境的情况下,Maven 能够在很短的时间…

F码是中国最大的IT职业在线教育平台——极客学院推出的VIP时间兑换码,凭此可在极客学院官网兑换年VIP,畅享平台上所有IT技术课程. 购买请点击 http://www.bejson.com/other/jikefma/ 这个会员能做什么 观看全部课程 技术问答 资料下载 高清视频下载 优先提交课程需求 使用方法: 1.登陆极客学院官网:www.jikexueyuan.com 2.登陆会员账号\注册极客学院会员账号 3.点击主页右上角账户名,找到“我的F码”,输入获得的F码,畅享全部IT技术课程…

目录 "做中学"之"极客时间"课程学习指导 所有课程都可以选的课程 Java程序设计 移动平台开发 网络攻防实践 信息安全系统设计基础 信息安全专业导论 极客时间课程介绍 Winter.程劭非.重学前端 宝玉.软件工程之美 蔡能.从0开始学游戏开发 陈旸.数据分析实战45讲 丁雪丰.玩转Spring全家桶 范学雷.代码精进之路 高磊.9小时搞定微信小程序开发 郝林.Go语言核心36讲 洪亮劼.AI技术内参 胡峰.程序员进阶攻略 胡忠想.从0开始学微服务 黄申.程序员…

极客学院idea教程: http://whudoc.qiniudn.com/2016/IntelliJ-IDEA-Tutorial/index.html…

[手快福利]用我的链接注册极客学院,你我都能免费得30天VIP!6500+编程开发视频教程随便学,还能下载资料和源码 http://e.jikexueyuan.com/invite/index.html?ZnJvbV9jb2RlPTRHTVdOOSZ1bmFtZT1qaWtlXzIwNjkwNjEmY2hhbm5lbD1pbnZpdGVfMTAwd19zaGFyZWJ1dHRvbl9jb3B5MQ==…

开始按极客学院无闻讲的做,弄了几遍都不行,最后发现是错的,别人告诉我这是mac下的virtualbox是这样的,不管怎样,被坑的不浅. 虽然sudo apt install golang-go 就能安装,但是不是最新版本.安装最新版本的正确步骤如下: 一.需要文件 golang:http://www.golangtc.com/download   二.安装golang 一)从上文给出的链接中选择所需要的版本的golang包(选linux-amd64.tar.gz版本,本人是64位系统,我安装时最…

订阅了几个极客时间的专栏,一直没有时间去看. 最近,想着如果把内容制作成电子书,利用上下班时间学习一下,岂不是很方便? 在网上搜到一个很好用的开源软件,几分钟就可以把极客时间的专栏做成电子书,简直太棒了,由衷地感谢软件的作者. 制作电子书的开源软件地址是 https://github.com/jachinlin/geektime_dl.…

http://blog.csdn.net/supercooly/article/details/51003921…

http://www.swiftv.cn/course/hw4sysi7 本课程很短,加起来一个小时,适合作为一个快速了解.   两本书: apple官方<The Swift Programming Language><Beginning IOS8 Programming with Swift > MVC模型   0.环境 Xcode-workspace-project-command line OS X application   1.变量类型 var 变量  let 常量  p…

http://www.jikexueyuan.com/course/2376_1.html…

AFNetworking是开源代码排名第一的开源库.  GET请求的请求正文 一般都是明文显示的,携带的数据量小. POST用于处理复杂的业务,并不用明文的请求,其实POST请求可以携带更多的参数,只是不明文显示,所以我们在有的时候,有的网址你是看不到GET请求的网址有?以及?后面携带的明文请求数据.   抓包工具:网址:http://www.cnblogs.com/YouXianMing/p/4544824.html 测试的网址:     // http://webservice.webxml…

网络请求的基本知识   我们网络请求用的是HTTP请求 Http请求格式:请求的方法,请求头,请求正文 Http请求的Request fields:请求的头部,以及被请求头部的一些设置 Http请求的Response fields:请求的回复头,通过回复头可以了解服务器给我们的一些状态信息. 项目源码:链接: http://pan.baidu.com/s/1i37yGzN 密码: kw6s  获取这个源码后,解压后直接拖拽进新建的Single View工程:  然后在ViewController…

如果要在富文本中添加图片的话,用UITextKit才能实现. 什么是UITextKit:它就是处理富文本的框架. 什么时候使用UITextKit:比如要实现图文混搭的节目. 在gitHub中 https://github.com/YouXianMing/BookTextView 可以下载一个关于UITextKit的Demo. 以下是ViewController中的类: #import "ViewController.h" #import "ParagraphAttribute…

<1>CALayer简介 1.CALayer一般作为UIView的容器而使用. 2.CALayer是一个管理者图片载体(image-based content)的层结构 3.直接修改单独创建出的CALayer的属性可以触发隐式动画 4.UIView中的CALayer动画必须显式触发才能生效 开篇代码练习: #import "ViewController.h" @interface ViewController () //2单独创建一个layer @property (non…

来源:http://xtiqin.blog.163.com/blog/static/17017217920133584934827/ ANE打包工具使用视频教程 2013-04-05 08:49:34|  分类: Adobe |  标签:ane  anetool  air  as3  |举报|字号 订阅     软件下载   更新记录 2013.08.02 更新 版本标识:ANETool_20.13.007 1.增加打包Android依赖库的功能 2.项目已开源,开源地址:https://git…

极客WEB大前端专家级开发工程师培训视频教程  教程下载地址: http://www.fu83.cn/thread-355-1-1.html 课程目录:1.走进前端工程师的世界HTML51.HTML5与HTML4的区别2.HTML5新增的主体结构元素3.HTML5新增的的非主体结构元素 4.HTML5表单新增元素与属性5.HTML5表单新增元素与属性(续)6.HTML5改良的input元素的种类 7.HTML5增强的页面元素8.HTML5编辑API之Range对象(一)9.HTML5编辑API之…

(国内知名Android开发论坛 eoe开发者社区推荐:http://www.eoeandroid.com/) 前天,2013 eoe 移动开发者大会在国家会议中心召开,eoe 开发者社区创始人靳岩在会上分享了自己是如何从一名码农变成了一个极客. 在靳岩看来,码农与极客最大的区别在于码农是以代码行数为生,是在不断的创造代码.而极客则不同,以兴趣为驱动以自我挑战和解决问题为动力,将生产化为创造的一部分. 兴趣是最重要的导师 靳岩是 eoe 开发者社区的创始人,也是极客学院的创始人,在圈内许多人熟悉…

最近在极客学院获得体验会员3个月,然后就去上面看了看,感觉课程讲的还不错.整好最近学习Android,然后去上面找点视频看看.发现只有使用RMB买的会员才能在上面下载视频.抱着试一试的态度,去看他的网页源码,不巧发现有视频地址链接.然后想起来jsoup提取网页元素挺方便的,没事干就写了一个demo.     jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据.…

来源:GBin1.com 技术专题:EasyUI初级教程 分享人:极客标签技术编辑 - html580(请站内关注分享人) 资深Web前端工程师,HTML580创始人,目前就职于广州一间软件公司.多年从事J2EE政务软件的开发,熟悉Extjs.EasyUI.LigerUI等前端框架. 授课时间:2013/09/04(周三)  20:00-21:00 课程演讲稿:EasyUI初级教程 课程类型:公开 专题难度:初级 课程时间:60min 课程大纲: Easyui是一个基于jquery基础上扩展的U…

(国内知名Android开发论坛eoe开发者社区推荐:http://www.eoeandroid.com/)       [媒体专稿]移动互联网在中国的深入发展已经有5.6个年头,从当初苹果推出iPhone产品,宣布App Store模式的诞生引发了无数移动开发者的热忱.紧接着谷歌推出Android开放操作系统,又将这一浪潮推向顶点.说移动互联网是旧生态系统的颠覆者,是因为他的到来让诺基亚.摩托罗拉等走向没落.说移动互联网是新机会的塑造者,是因为在中国已经培育了蓬勃发展的移动互联网产业链,从移动…

每周极客都将总结本周最精彩的素材提供给大家,希望可以带给你更多地灵感和帮助!极客#GB课程库#现已上线,无论你是初级.中级.还是正在进修的高级前端工程师.这里都将帮助你得到更多更高效的学习.原文:极客Web前端开发资源大荟萃#001 超棒的HTML5/CSS3单页面响应式模板(支持Bootstrap) 在线演示 使用Bootstrap实现的响应式单页面模板,包含移动和桌面两种效果. jQuery框架开发一个最简单的幻灯效果 在线演示 在这个课程中,我们将介绍如何使用jQuery来开发一个最简单的…

1.概述 极客时间(https://time.geekbang.org/),想必大家都知道的,上面有很多值得大家学习的课程,如下图: 本文主要内容 使用webmagic采集极客时间中某个专栏课程生成html 使用webmagic采集视频课程的文件到本地 直接看一下最终效果图 专栏课程生成本地html 视频课程中的视频文件采集到本地 2.专栏课程视频采集 大家请先买某个课程,然后才可以采集 1.登录极客时间 登录地址: https://time.geekbang.org/ 2.极客时间中获取专栏i…

1. CSDN学院课程数据-写在前面 今天又要抓取一个网站了,选择恐惧症使得我不知道该拿谁下手,找来找去,算了,还是抓取CSDN学院吧,CSDN学院的网站为 https://edu.csdn.net/courses 我看了一下这个网址,课程数量也不是很多,大概有 6000+ 门课程,数据量不大,用单线程其实就能很快的爬取完毕,不过为了秒爬,我还是选用了一个异步数据操作. 2. CSDN学院课程数据-分析页码 还是需要好好的分析一下页码规律 https://edu.csdn.net/courses…

基于requests模块发起ajax的post请求 需求:爬取肯德基餐厅查询http://www.kfc.com.cn/kfccda/index.aspx中指定某个城市地点的餐厅数据 点击肯德基餐厅查询页面 输入北京点击查询是一个提交form表单,异步ajax的post请求,使用抓包工具抓取请求 基于ajax的POST请求携带的参数: keyword参数是城市名,改变这个参数该请求的数据也会改变 pageIndex:第几页的数据值 ,例子:第一页 pageSize:表示一页获取几条数据,获取10…

基于requests模块发起ajax的get请求 需求:爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据 用抓包工具捉取 使用ajax加载页面的请求 鼠标往下下滚轮拖动页面,会加载更多的电影信息,这个局部刷新是当前页面发起的ajax请求, 用抓包工具捉取页面刷新的ajax的get请求,捉取滚轮在最底部时候发起的请求 这个get请求是本次发起的请求的url ajax的get请求携带参数 获取响应内容不再是页面数据,是json字符串,是通过异步请求获取的电影…