import chardet import urllib.request url='http://stock.sohu.com/news/' html = urllib.request.urlopen(url).read() chardit1 = chardet.detect(html) print(chardit1['encoding'])…

电脑配置:联想笔记本电脑 windows8系统 Python版本:2.7.8 本文章撰写时间:2014.12.25 作者:陈东陈 阅读说明: 1.本文都是先解释,后放图片: 2.文中斜体部分要么为需要输入的内容,要么为电脑本来的一些功能名称 如果没有安装chardet模块,需要先安装该模块. 总结: 中文字符在python自带的IDL和Sublime text2的编码方式不一样,这个问题我也不清楚,还请大牛能解答. 一.运行环境——python 2.7.8自带IDL 1.输入中文字符‘中国’ 输…

原文链接 http://www.cnblogs.com/nanxin/archive/2013/03/27/2984320.html 前言 最近做一个搜索项目,需要爬取很多网站获取需要的信息.在爬取网页的时候,需要获得该网页的编码,不然的话会发现爬取下来的网页有很多都是乱码. 分析 一般情况下,网页头信息会指定编码,可以解析header或者meta获得charset.但有时网页并没没有指定编码,这时就需要通过网页内容检测编码格式,通过调研,最好用的还是cpdetector. cpdetector…

使用中文写文章,当篇幅超过一定程度,必然会使用到诸如:“的”.“你”.“我”这样的常用字.本类思想便是提取中文最常用的一百个字,使用中文世界常用编码(主要有GBK.GB2312.GB18030.UTF-8.UTF-32.Unicode.BigEndianUnicode及UTF-7等)获得其编码字节,以其为搜索词到目标流进行查找,如果查找得到则表示该流使用此种编码.显而易见此类不适用于小篇幅. using System.Collections.Generic; using System.IO; u…

转自http://www.cnblogs.com/xiaowuyi/archive/2012/03/09/2387173.html 用chardet判断字符编码的方法   1.chardet下载与安装 下载地址:http://pypi.python.org/pypi/chardet 下载chardet后,解压chardet压缩包,直接将chardet文件夹放在应用程序目录下,就可以使用import chardet开始使用chardet了,也可以将chardet拷贝到Python系统目录下,这样你…

在web开发的时候我们经常会遇到网页抓取和分析,各种语言都可以完成这个功能.我喜欢用python实现,因为python提供了很多成熟的模块,可以很方便的实现网页抓取.但是在抓取过程中会遇到编码的问题,那今天我们来看一下如何判断网页的编码:网上很多网页的编码格式都不一样,大体上是GBK,GB2312,UTF-8等.我们在获取网页的的数据后,先要对网页的编码进行判断,才能把抓取的内容的编码统一转换为我们能够处理的编码,避免乱码问题的出现. 使用chardet模块 #如果你的python没有安装cha…

一般情况下,需要加这个: import sys reload(sys) sys.setdefaultencoding('utf-8') 打开其他文件编码用codecs.open 读 下面的代码读取了文件,将每一行的内容组成了一个列表. import codecs file = codecs.open('test.txt','r','utf-8') lines = [line.strip() for line in file] file.close() 当我们不知道文件编码的时候,如何程序判断呢?…

转自:http://www.cnblogs.com/zhanhg/p/4392089.html Python判断字符串编码以及编码的转换 判断字符串编码: 使用 chardet 可以很方便的实现字符串/文件的编码检测.尤其是中文网页,有的页面使用GBK/GB2312,有的使用UTF8,如果你需要去爬一些页面,知道网页编码很重要: #!/usr/bin/env python # -*- coding:utf-8 -*- import urllib, chardet if __name__ == '…

#coding:utf-8 #指定本文件编码为utf-8 #python 27 #xiaodeng #chardet模块 #chardet模块下载地址: #1)http://pan.baidu.com/s/1gdfOH95 #2)登录python官网下载 import os,chardet filename=r'D:\测试文件.txt' #怎么判断文件/string的编码格式? #在处理字符串时,常常会遇到不知道字符串是何种编码,如果不知道字符串的编码就不能将字符串转换成需要的编码, #如此,c…

chardet模块用来获取文件的编码 # -*- coding:utf-8 -*- __author__ = "MuT6 Sch01aR" import chardet f = open('test.txt','rb') data = f.read() f.close() result = chardet.detect(data) print(result) 运行结果 以字典形式返回结果 编码为GB2312,对结果正确的把握为78%左右,语言为中文…