[已解决]"论一只爬虫的自我修养"第一课课后作业运行到douban的网址就会报错，求解？

norrysun

动动手最后一题：

按照参考答案的代码运行，一到www.douban.com就会报错，如下：

请问这是为啥呀，如何解决？

最佳答案

月排行榜 / 总排行榜

dlnb526

2020-4-4 19:25:57

错误描述：418的意思是被网站的反爬虫程序返回的，网上解释为，418 I'm a teapot
The HTTP 418 I'm a teapot client error response code indicates that the server refuses to brew coffee because it is a teapot. This error is a reference to Hyper Text Coffee Pot Control Protocol which was an April Fools' joke in 1998.

翻译为：HTTP 418 I'm a teapot客户端错误响应代码表示服务器拒绝煮咖啡，因为它是一个茶壶。这个错误是对1998年愚人节玩笑的超文本咖啡壶控制协议的引用。

解决办法 加headers,往后学就会学到

跳转到最佳答案楼层

dlnb526

错误描述：418的意思是被网站的反爬虫程序返回的，网上解释为，418 I'm a teapot
The HTTP 418 I'm a teapot client error response code indicates that the server refuses to brew coffee because it is a teapot. This error is a reference to Hyper Text Coffee Pot Control Protocol which was an April Fools' joke in 1998.

翻译为：HTTP 418 I'm a teapot客户端错误响应代码表示服务器拒绝煮咖啡，因为它是一个茶壶。这个错误是对1998年愚人节玩笑的超文本咖啡壶控制协议的引用。

解决办法 加headers,往后学就会学到

zltzlt

把代码发上来，帮你加个 headers

norrysun

zltzlt 发表于 2020-4-4 19:55
把代码发上来，帮你加个 headers

1. import urllib.request
   
2. import chardet
   
3. 
   
4. with open("urls.txt") as file:
   
5.     eachlines=file.readlines()
   
6.     times=1
   
7.     for eachline in eachlines:
   
8.         html=urllib.request.urlopen(eachline).read()
   
9.         encode=chardet.detect(html)['encoding']
   
10.         if encode=='GB2312':
    
11.             encode='GBK'
    
12.         with open("url_%d.txt" % times,'w',encoding=encode) as new:
    
13.             new.write(html.decode(encode,'ignore'))
    
14.         times += 1
    

复制代码

感谢！