Python爬虫 关注公众号"轻松学编程"了解更多. 大纲: 1.获取响应 urllib(python3)/urllib2-urllib(python2) requests(urllib3) --get/post 2.解析响应 HTML.json re/bs4/xpath(描述性语句) 3.通用动态数据加载 selenium(自动化测试框架) + phantomJS(无界面浏览器).handles 4.scrapy框架 高性能(多线程-10条.并发-16的框架).高定制(爬虫) 提供了…

一.什么是爬虫,爬虫能做什么 爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源,那么它就会抓取下来.比如它在抓取一个网页,在这个网中他发现了一条道路,其实就是指向网页的超链接,那么它就可以爬到另一张网上来获取数据. 爬虫可以抓取的某个网站或者某个应用的内容,提取有用的价值.也可以模拟用户在浏览器或者App应用上的操作,实现自动化的程序.以下行为都可以用爬虫实现: 咨询报告(咨询服务行业) 抢票神器 投票神器 预测(…

[Linux基础]Linux基础知识入门及常见命令.   前言:最近刚安装了Linux系统, 所以学了一些最基本的操作, 在这里把自己总结的笔记记录在这里. 1,V8:192.168.40.10V1:192.168.40.11Linux ip:192.168.40.128 2,Linux是一个操作系统, 与windows的区别:Linux:图形化界面简单,性能很快,在企业中当做服务器来使用.Windows:图形化界面很炫,性能相对差,大众用户.windows的服务器: windows2003,w…

Hibernate入门1. Hibernate基础知识入门 20131127 前言: 之前学习过Spring框架的知识,但是不要以为自己就可以说掌握了Spring框架了.这样一个庞大的Spring架构,不是我们可以速成的.再有最近Spring有转型,Spring官方网站已经更改了很多,因为Spring已经调整了他的整个业务体系,涉足服务器开发.Android开发.大数据分析等等各个部分,而不仅仅是一个包容性的框架了,Spring未来的发展方向更加开阔了. 同时Spring已经不再提供下载,而是转…

网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本. 网络爬虫必备知识点 1. Python基础知识2. Python中urllib和urllib2库的用法3. Python正则表达式的使用4. python Beautiful Soup的用法5. Python爬虫框架Scrapy 网站浏览网页的过程 网页实质是由 HTML 代码构成的,爬虫爬来的便是这些内容,通过分析和过滤这些 HTML 代码,实现对图…

前记: 近来项目用到Oracle数据库,大学学了点,后面基本忘记得差不多了,虽然基本语法跟sql 差不多,但是oracle知识是非常多的. 这里简单说点基础知识,希望后面补上更多的关于ORacle知识博客.入门的朋友可以看看,高手就可以绕过了. 不晓得你们用的什么工具,我用的Toad.用起来还是不错的. 第一部分,创建数据, create table student ( sName varchar(20) primary key, sAge int, sEmail varchar(100), s…

SpringMVC基础知识 1.什么是Springmvc 2.springmvc 框架的原理(必须掌握) 前端控制器.处理器映射器.处理器适配器.视图解析器 3.SpringMVC 入门程序 目的:对前端控制器(DispatcherServlet) .处理器映射器(HandlerMapping). 处理器适配器(HandlerAdapter). 视图解析器进行学习(Vier Resolver) 非注解的处理器映射器.处理器适配器 注解的处理器映射器.处理器适配器 4.SpringMVC  和 M…

基础入门知识(一) 一.java技术的分类 java按照技术标准和应用场景的不同分为三类,分别是JAVASE.JAVAEE.JAVAME JAVASE : 平台标准版,用于开发部署桌面,服务器以及嵌入式设备和实时环境中的java程序. JAVAEE : 平台企业版,开发便于组转,可扩展,健壮,安全的服务器端java应用,建立在se之上,具有web服务,组件模型和web通信等 JAVAME : 平台微版,移动设备的开发平台. 二 .java语言的发展史 java语言几个比较重要的时间点: 1995…

事件是javascript和HTML交互基础, 任何文档或者浏览器窗口发生的交互, 都要通过绑定事件进行交互; 事件有DOM0, DOM2和DOM3的区分(别问我怎么少了一个DOM1, 也没找到DOM1的信息啊,); DOM0就是直接通过 onclick写在html里面的事件, 比如: <input onclick="alert(1)" /> DOM2是通过addEventListener绑定的事件, 还有IE下的DOM2事件通过attachEvent绑定; DOM3是一些…

浏览器的请求 url=请求协议(http/https)+网站域名+资源路径+参数 http:超文本传输协议(以明文的形式进行传输),传输效率高,但不安全. https:由http+ssl(安全套接子层)组成:传输之前数据先加密,之后解密获取内容,传输效率低但安全. HTTP协议之请求 1请求行 2.请求头(user-Agent:用户代理[对方服务器通过user-Agent知道当前请求资源的是神么网站]) 3.请求体(get 请求没有请求体,post有:get 请求把数据放在url地址中) pos…