Python2.7.9 编码问题

　　最近学一学网络爬虫,遇到第一件头疼的事情就是编码问题, 看了很多教程讲得不清楚, 现在整理一下,希望以后查看方便一些

　　使用   sys.getdefaultencoding()   查看Python的默认系统编码,输出是 ascii , 这个编码应该是指的源文件的编码格式, 可以另存为的方式改成utf-8, 不过为了避免每个文件都另存为,可以在...Python27\Lib\site-packages目录下新建一个文件sitecustomize.py,里面加入以下几行,将默认编码设置为utf-8 的格式

# encoding=utf-8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

这个时候打开Python Shell 用  sys.getdefaultencoding()  检查编码格式会得到utf-8

　　使用  content = urllib2.urlopen(url)  打开一个网页并得到网页内容,如果要将这个content字符串输出, 会报错:  [Decode error - output not utf-8] ,在Python中字符串类型可以使用 type()来查看, 分为 str 和 Unicode两种

>>> s = '中文'
>>> print type(s)
<type 'str'>
>>> t = u'中文'
>>> print type(t)
<type 'unicode'>

其中 str 类型在Linux系统下默认编码是utf-8, 那么字符串在输出之前就应该编码为utf-8, 如果为gbk编码,就应该使用  retVal = retVal.decode('gbk').encode('utf8')  转换为utf-8格式才能正常输出. 在Windows下的默认编码是gbk编码, 所以输出前必须为gbk编码.

　　有时候爬取一个网页, 在meta 和 header 里面没有说明编码格式, 这时可以使用 chardet 模块来检测文件的编码格式

import chardet
f = open('save.html','r')
fencoding = chardet.detect(f.read())
print fencoding

上面的代码输出样式为: {'confidence': 0.99, 'encoding': 'utf-8'} ,可以知道打开的文件编码格式为utf-8的.