分享

python urllib爬取网页编码问题

 imelee 2017-02-28

利用Python urllib库爬取网页,有时获得的网页打印或写文件遇到编码问题,找了许久终于知道为什么了。

首先利用urlopen()函数获取网页对象,再利用info()函数打印网页的相关信息,确定网页的编码及是否压缩。

[python] view plain copy
在CODE上查看代码片派生到我的代码片
  1. import urllib.request  
  2.   
  3. fp = urllib.request.urlopen('http://www.sina.com')  
  4. mybytes = fp.read()  
  5. text = mybytes.decode('utf8')  
  6. print(text)  
报错


显示编码错误,刚开始,傻傻地试各种编码,utf-8,gbk,gb2312,都不行,心里堵得慌,是在玩我吗?

so,开始怀疑是bug,但是有的网页又不会出错,这就奇怪了,最后google找到了一个解释,说是返回的网页数据是压缩格式,恍然大悟,先打印网页信息,看一眼


gzip,网页是压缩后的,所以要先解压,上代码

[python] view plain copy
在CODE上查看代码片派生到我的代码片
  1. import urllib.request  
  2. import zlib  
  3.   
  4. fp = urllib.request.urlopen('http://www.sina.com')  
  5. mybytes = fp.read()  
  6. decompressed_data = zlib.decompress(mybytes ,16+zlib.MAX_WBITS)  
  7. text = decompressed_data.decode('utf8')  
  8. print(text)  
  9. print(fp.info())  
结果


Google问题原版

http:///questions/3746993/change-python-byte-type-to-string

http:///questions/3703276/how-to-tell-if-a-file-is-gzip-compressed/3703300#3703300

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多