[已解决]关于一个网页爬取的问题

瓦尔登湖的海水

初次尝试python的网络爬虫，选择有规律性的口袋妖怪图鉴作为最初的练习对象。
但是在爬取如下网页时遇到问题：https://wiki.52poke.com/wiki/%E5%B0%8F%E7%81%AB%E9%BE%99
后面二进制的部分是从网站导航页爬取下来的。

url = 'https://wiki.52poke.com/wiki/%E5%B0%8F%E7%81%AB%E9%BE%99'
response = urllib.request.urlopen(url)
import chardet
chardet.detect(response.read())

输出结果是：{'confidence': 0.0, 'encoding': None, 'language': None}
整个爬取的网页内容无法识别。


同样的网站下，其导航页面却是能够识别编码的：url = 'https://wiki.52poke.com/zh/%E5%AE%9D%E5%8F%AF%E6%A2%A6%E5%88%97%E8%A1%A8%EF%BC%88%E6%8C%89%E5%85%A8%E5%9B%BD%E5%9B%BE%E9%89%B4%E7%BC%96%E5%8F%B7%EF%BC%89'

不知道这是怎么一回事？

最佳答案

月排行榜 / 总排行榜

和vvv

2017-6-27 09:43:11

这个问题好。

因为这个网站返回的页面是经过gzip压缩的，用浏览器打开时浏览器会先解压缩。而用爬虫怕是没有做，所以可以用gzip包解压：

1. import urllib.request
   
2. import gzip
   
3. import chardet
   
4. 
   
5. url = 'https://wiki.52poke.com/wiki/%E5%B0%8F%E7%81%AB%E9%BE%99'
   
6. response = gzip.decompress(urllib.request.urlopen(url).read())
   
7. print(chardet.detect(response))

复制代码

结果：

1. {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

复制代码

还有一种方法是 使用 requests库访问页面
类似的，我的笔记里有一个例子：http://bbs.fishc.com/forum.php?m ... p;extra=#pid2928007

跳转到最佳答案楼层

瓦尔登湖的海水

又要自问自答了干过好几次了。
这里又要根据网页设定request headers才行

和vvv

这个问题好。

因为这个网站返回的页面是经过gzip压缩的，用浏览器打开时浏览器会先解压缩。而用爬虫怕是没有做，所以可以用gzip包解压：

1. import urllib.request
   
2. import gzip
   
3. import chardet
   
4. 
   
5. url = 'https://wiki.52poke.com/wiki/%E5%B0%8F%E7%81%AB%E9%BE%99'
   
6. response = gzip.decompress(urllib.request.urlopen(url).read())
   
7. print(chardet.detect(response))

复制代码

结果：

1. {'encoding': 'utf-8', 'confidence': 0.99, 'language': ''}

复制代码

还有一种方法是 使用 requests库访问页面
类似的，我的笔记里有一个例子：http://bbs.fishc.com/forum.php?m ... p;extra=#pid2928007

瓦尔登湖的海水

和vvv 发表于 2017-6-27 09:43
这个问题好。

因为这个网站返回的页面是经过gzip压缩的，用浏览器打开时浏览器会先解压缩。而用爬虫怕是 ...

厉害，看来爬网页之前要好好深入分析要爬的网页呢。谢谢了
我后来用了自定义request headers解决这个问题，但是你这个更加精炼。

和vvv

多谢，方法很多，就看自己的喜欢了

whdd

学习  

whdd

有点难掌握  加油

GOD乌索普

不懂

GOD乌索普

。额，又没中

钱闻韬

学习

钱闻韬

学习

2418

学习

小小小菜菜菜

来顶帖子得鱼币