[已解决]爬虫初体验

yixinwenxin

爬虫初体验非常不友好  
urllib.error.HTTPError: HTTP Error 418:
上来就418
我现在慌的一批

1. import urllib.request
   
2. import chardet
   
3. with open("urls.txt",mode="r",encoding="utf-8") as url:
   
4.     list_url = url.read().split()
   
5. for i in list_url:
   
6.     url_ = urllib.request.urlopen(i).read()
   
7.     print(chardet.detect(url_)["encoding"])

复制代码

urls.txt

1. http://www.fishc.com
   
2. http://www.baidu.com
   
3. http://www.douban.com
   
4. http://www.zhihu.com
   
5. http://www.taobao.coms

复制代码

最佳答案

月排行榜 / 总排行榜

大马强

2022-3-21 22:28:42

加请求头

1. s = ["http://www.fishc.com",
   
2.      "http://www.baidu.com",
   
3.      "http://www.douban.com",
   
4.      "http://www.zhihu.com",
   
5.      "http://www.taobao.com"
   
6.      ]
   
7. headers = {
   
8.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'
   
9. }
   
10. 
    
11. # with open("urls.txt",mode="r",encoding="utf-8") as url:
    
12. #     list_url = url.read().split()
    
13. for i in s:
    
14.     request = urllib.request.Request(url=i, headers=headers)  # 避免反爬
    
15.     url_ = urllib.request.urlopen(request).read()
    
16.     print(chardet.detect(url_)["encoding"])

复制代码

跳转到最佳答案楼层

大马强

加请求头

1. s = ["http://www.fishc.com",
   
2.      "http://www.baidu.com",
   
3.      "http://www.douban.com",
   
4.      "http://www.zhihu.com",
   
5.      "http://www.taobao.com"
   
6.      ]
   
7. headers = {
   
8.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36'
   
9. }
   
10. 
    
11. # with open("urls.txt",mode="r",encoding="utf-8") as url:
    
12. #     list_url = url.read().split()
    
13. for i in s:
    
14.     request = urllib.request.Request(url=i, headers=headers)  # 避免反爬
    
15.     url_ = urllib.request.urlopen(request).read()
    
16.     print(chardet.detect(url_)["encoding"])

复制代码

isdkz

可以把代码放上来吗？

yixinwenxin

isdkz 发表于 2022-3-21 22:31
可以把代码放上来吗？

我大概查了原因是  反爬....   具体解决办法还没研究   
现在只是慌的一批,上来吐槽下...