背景 在Python去写爬虫,网页解析等过程中,比如: 如何用Python,C#等语言去实现抓取静态网页+抓取动态网页+模拟登陆网站 常常需要涉及到HTML等网页的解析. 当然,对于简单的HTML中内容的提取,Python内置的正则表达式Re模块,就足够用了, 但是对于复杂的HTML的处理,尤其是一些非法的,有bug的html代码的处理,那么最好还是用专门的HTML的解析的库. Python中的,专门用于HTML解析的库,比较好用的,就是BeautifulSoup. BeautifulSoup简…

datetime在python中比较常用,主要用来处理时间日期,使用前先倒入datetime模块.下面总结下本人想到的几个常用功能. 1.当前时间: >>> print datetime.datetime.now() 2015-07-17 16:39:15.712000 >>> print type(datetime.datetime.now()) <type 'datetime.datetime'> 返回的datetime时间格式. 2.当前日期 >…

知识点总结 生成器 生成器的本质就是迭代器. 迭代器:Python中提供的已经写好的工具或者通过数据转化得来的. 生成器:需要我们自己用Python代码构建的 创建生成器的三种方法: 通过生成器函数 通过生成器推导式 python内置函数或者模块提供 生成器函数 yield:一个yield对应一个next,next超过yield数量,就会报错,与迭代器一样. yield与return的区别: return一般在函数中只设置一个,他的作用是终止函数,并传给函数的执行者返回值 yield在生成器中可…

如何学习Python爬虫[入门篇]? 路人甲 1 年前 想写这么一篇文章,但是知乎社区爬虫大神很多,光是整理他们的答案就够我这篇文章的内容了.对于我个人来说我更喜欢那种非常实用的教程,这种教程对于想直接上手爬虫做一些小东西的朋友来说是极好的. 用一个精彩的回答作为开头:如何入门 Python 爬虫? - 谢科的回答 如果你想学习编程,但是找不到学习路径和资源,欢迎关注专栏:学习编程 第一:Python爬虫学习系列教程(来源于某博主:http://cuiqingcai.com/1052.html)…

本文由 伯乐在线 - 淘小米 翻译,Daetalus 校稿.未经许可,禁止转载!英文出处:freepythontips.wordpress.com.欢迎加入翻译小组. Hi 朋友们.由于我最近都比较忙,所以已经很长一段时间没有写博客了.在这篇文章中我将和大家分享一些真正有用的技巧和窍门,这些技巧和窍门你们之前可能并不知道.所以不浪费时间了,让我们直接来看看这些内容吧: 枚举 之前我们这样操作: 1 2 3 4 i = 0 for item in iterable:     print i, it…

在写 Python 项目的时候,我们可能经常会遇到导入模块失败的错误:ImportError: No module named 'xxx' 或者 ModuleNotFoundError: No module named 'xxx' . 导入失败问题,通常分为两种:一种是导入自己写的模块(即以 .py 为后缀的文件),另一种是导入三方库.本文主要讨论第二种情况,今后有机会,我们再详细讨论其它的相关话题. 解决导入 Python 库失败的问题,其实关键是在运行环境中装上缺失的库(注意是否是虚拟环境)…

今天看了知乎@萧井陌的编程入门指南,想重温一下 <python简明教程>,对global的用法一直不太熟练,在此熟练一下,并实践一下python中list.tuple.set作为参数的区别. 在函数内部定义变量时,他们与函数外部具有相同名称的其他变量没有任何关系,即变量名称对于函数来说是局部的,这称为变量的作用域,示例如下: def func_local(x): print 'x is', x x = 2 print 'Chanaged local x to',x x = 50 func_lo…

参考: http://www.cnblogs.com/tina-python/p/5508402.htm ======== 1,预定义字符集,可以写在字符集[....]中 \d  数字: \D 非数字 \s 匹配任何空白字符 \S 非空白字符 \w 匹配包括下划线在内的任何字符 \W 匹配非字母字符,即匹配特殊字符 \A 仅匹配字符串开头,同^ \Z 仅匹配字符串结尾,同$ \b 匹配\w和\W之间,即匹配单词边界 \B [^\b] 2,特殊用法 (?P<name>) 分组,除了原有的编号为再…

转载 摘要: 只用 python3, 只用 urllib 若只使用python3.X, 下面可以不看了, 记住有个urllib的库就行了 python2.X 有这些库名可用: urllib, urllib2, urllib3, httplib, httplib2, requests python3.X 有这些库名可用: urllib, urllib3, httplib2, requests 两者都有的urllib3和requests, 它们不是标准库. urllib3 提供线程安全连接池和文件p…

上下文管理器 上下文管理器是实现了上下文管理协议的对象,其特有的语法是"with -as".主要用于保存和恢复各种全局状态,关闭文件等,并为try-except-finally提供了一个方便使用的封装. 上下文管理协议具体来说就是在类里面实现以下两个方法: _enter_(): 从该方法进入运行时上下文,并返回当前对象或者与运行时上下文相关的其他对象.如果with语句有as关键词存在,返回值会绑定在as后的变量上. _exit_(exc_type, exc_val, exc_tb):…