前几天刚看完<Linux/Unix设计思想>,真是一本不错的书,推荐想提高自己代码质量的童鞋看一下,里面经常提到要以小为美,一个程序做好一件事,短小精悍,因此我也按照这种思想来写python技术点的文章,每个点都是一个函数,可以直接拿来用.开始了一般情况下用python的童鞋是不可避免的要写一些爬虫程序的,因此对python中urllib和urllib2都比较熟悉.而最基本的爬取方法就是: urllib.urlopen(url).read() 大多数网站都不会禁止这样的爬取,但是有些网站都设定…

面向过程的方式 #!/usr/bin/env python # -*- coding: utf-8 -*- import urllib2 import sys import re import os type = sys.getfilesystemencoding() if __name__ == '__main__': # 1.访问其中一个网页地址,获取网页源代码 url = 'http://www.qiushibaike.com/textnew/' user_agent = 'Mozilla…

一.开发爬虫的步骤 1.确定目标抓取策略: 打开目标页面,通过右键审查元素确定网页的url格式.数据格式.和网页编码形式. ①先看url的格式, F12观察一下链接的形式;② 再看目标文本信息的标签格式, 比如文本数据为div class="xxx", ③ 容易看到编码为utf-8 2.分析目标 目标: 百度百科python词条 入口页: http://baike.baidu.com/item/Python词条页面url格式:/item/**** 数据格式: 标题: <dd cl…

virtualenv 是一个创建隔绝的Python环境的工具.virtualenv创建一个包含所有必要的可执行文件的文件夹,用来使用Python工程所需的包.创建的环境是独立的,互不干扰,无需sudo权限即可使用 pip 来进行包的管理. 第一步安装包: sudo pip install virtualenv sudo pip install virtualenvwrapper 第二步:创建目录用来存放虚拟环境 mkdir $HOME/.virtualenvs 第三步:进入家目录找到.bashr…

1. time.sleep 2. sched.scheduler 3. threading.Timer 4. 借助其他程序 celery redis延时队列 在日常的开发中,往往会遇到这样的需求,需要某一个函数在一段时间之后才执行以达到某种特定的效果.此时,我们就需要某种机制,使一个函数延后执行.接下来简单介绍一下两种实现此类效果的方法: sched import sched,time def func(a): print time.time(),"Hello Sched!",a pr…

1. 打印 : print() # 打印,输出 2. 变量 : var = 'hello' # 变量var , 把'hello' 赋值给变量 var 3. if 函数 : # 代码块 4个空格或者一个tab 用法1 : if 如果条件成立 ,执行if下的代码块 , 否则 条件不成立 执行 else 下的代码块 if 条件 : print() else : 否则 用法2 :没有 else 先执行 if 块下的,不成立返回 if 条件 : print() print() 用法3 : 嵌套 if if…

MyEclipse10配置PyDev进行Python开发 1.下载PyDev 2.7.1  链接如下:    http://jaist.dl.sourceforge.net/project/pydev/pydev/PyDev%202.7.1/PyDev%202.7.1.zip 2.下载/python-2.7.3  链接如下:http://www.python.org/ftp/python/2.7.3/python-2.7.3.msi  3.安装python-2.7.3  比如D:\Python2…

测试开发Python培训:抓取新浪微博抓取数据-技术篇   poptest是国内唯一一家培养测试开发工程师的培训机构,以学员能胜任自动化测试,性能测试,测试工具开发等工作为目标.在poptest的selenium的课程中,我们在培训的课程里讲python的语言,也是通过项目实战的方式进行讲解,前期分享了个新浪微博的登陆功能,这次在通过抓取新浪微博数据进一步讲解脚本.(大家对课程感兴趣,请加qq:564202718) 微博有发布微博功能,微博发布后需要验证内容,那么如何验证微博发布数据的正确性,首…

测试开发Python培训:抓取新浪微博评论提取目标数据-技术篇   在前面我分享了几个新浪微博的自动化脚本的实现,下面我们继续实现新的需求,功能需求如下: 1,登陆微博 2,抓取评论页内容3,用正则表达式过滤出用户名,评论时间和评论内容4,内容存入数据库5,统计评论次数 # -*- coding: utf-8 -*- import requests import base64 import re import urllib import rsa import json import binasc…

原文:Python爬虫实战四之抓取淘宝MM照片其实还有好多,大家可以看 Python爬虫学习系列教程 福利啊福利,本次为大家带来的项目是抓取淘宝MM照片并保存起来,大家有没有很激动呢? 本篇目标 1.抓取淘宝MM的姓名,头像,年龄 2.抓取每一个MM的资料简介以及写真图片 3.把每一个MM的写真图片按照文件夹保存到本地 4.熟悉文件保存的过程 1.URL的格式 在这里我们用到的URL是 http://mm.taobao.com/json/request_top_list.htm?page=1,问…