[已解决]爬虫转码问题

zkamsk

写了一个抓取代理IP的代码，刚开始还正常，可是过一会就爆出'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte的错误
问题是一开始是正常能用的，这是为什么啊

1. import re
   
2. import urllib.request
   
3. url='http://www.kuaidaili.com/free/inha/'
   
4. respone=urllib.request.urlopen(url)
   
5. html=respone.read().decode('utf-8')
   
6. ip=r'IP">(\d{0,3}\.\d{0,3}\.\d{0,3}\.\d{0,3})(?:[\s\S]*?)"PORT">(\d{2,4})'
   
7. iplist=re.findall(ip,html)
   
8. for i in iplist:
   
9.         print(i)

复制代码

最佳答案

月排行榜 / 总排行榜

SixPy

2017-7-20 14:04:39

爬虫，分析网页字符集和字符编码的基本技巧。
http://bbs.fishc.com/thread-74916-1-1.html
(出处: 鱼C论坛)

跳转到最佳答案楼层

SixPy

爬虫，分析网页字符集和字符编码的基本技巧。
http://bbs.fishc.com/thread-74916-1-1.html
(出处: 鱼C论坛)

和vvv

这个问题比较烦人，出现这种问题，有时是因为网页经过了gzip压缩，而用爬虫爬取时并没有解压缩。有时又不是这种情况。以前写爬虫经常出现这种问题。最后发现，比较简单的方法是使用requests模块进行数据爬取。如果要手动处理编码比较困难和复杂。

1. import requests
   
2. import re
   
3. from lxml import etree
   
4. 
   
5. data = requests.get("https://channel.jd.com/p_wenxuezongheguan.html").text
   
6. print(len(data))
   
7. pat = 'h3><a clstag=.*?>(.*?)</a></h3>'
   
8. rst = re.compile(pat).findall(data)
   
9. print(rst)
   
10. treedata = etree.HTML(data)
    
11. rst1 = treedata.xpath("//h3/a/text()")[-5:-1]
    
12. print(rst1)

复制代码

fairytailsy

zkamsk

SixPy 发表于 2017-7-20 14:04
爬虫，分析网页字符集和字符编码的基本技巧。
http://bbs.fishc.com/thread-74916-1-1.html
(出处: 鱼C论 ...

很关键

zkamsk

和vvv 发表于 2017-7-20 16:50
这个问题比较烦人，出现这种问题，有时是因为网页经过了gzip压缩，而用爬虫爬取时并没有解压缩。有时又不是 ...

python3里面request.get应该怎么写？

和vvv

我写的那个代码就是python3的

zkamsk

和vvv 发表于 2017-7-22 10:36
我写的那个代码就是python3的

我根本不存在requests这个模块   只能import urllib.request

zkamsk

和vvv 发表于 2017-7-22 10:36
我写的那个代码就是python3的

但是我已经解决这个问题了，确实是gzip压缩问题，

1. 
   
2. import gzip
   
3. html_zip=respone.read()
   
4. html=gzip.decompress(html_zip).decode('utf-8')

复制代码

你的应该是最佳答案，刚才手快了，不好意思

和vvv

requests是第三方模块，需要安装。

zkamsk

和vvv 发表于 2017-7-22 10:56
requests是第三方模块，需要安装。

明白了，谢谢