python处理中文编码和判断编码示例

下面所说的都是针对python2.7


#coding:utf-8
#chardet 需要下载安装

import chardet
#抓取网页html
line = “http://www.***.com”
html_1 = urllib2.urlopen(line,timeout=120).read()
#print html_1
encoding_dict = chardet.detect(html_1)
#print encoding
web_encoding = encoding_dict[‘encoding’]
if web_encoding == ‘utf-8’ or web_encoding == ‘UTF-8’:

html = html_1
else :
html = html_1.decode(‘gbk’,’ignore’).encode(‘utf-8’)

#有以上处理,整个html就不会是乱码。

郑重声明:本网站发布的内容(图片、视频和文字)以及用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注