[已解决]爬虫问题求解：URLError: <urlopen error [WinError 10060]

熊猫打字

下载妹子图那个视频，因为煎蛋的图片网页地址变了，所以我摘了几个网页做测试，改了获取网页的代码，同时删除了创建文件夹，w如下：

1. 
   
2. import urllib.request as ur
   
3. from bs4 import BeautifulSoup
   
4. import urllib.parse
   
5. import random
   
6. 
   
7. def url_open(url):
   
8.     req = ur.Request(url)
   
9.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.113 Safari/537.36')
   
10.    
    
11.     response = ur.urlopen(url)
    
12.     html = response.read()
    
13.     print(html)
    
14.    
    
15. def get_page(url):
    
16.     html = url_open(url).decode('utf-8')
    
17.     a = html.find('current-comment-page')+23
    
18.     b = html.find(']',a)
    
19.     print(a,b)
    
20.     return html[a:b]
    
21. 
    
22.    
    
23. def find_imgs(url):
    
24.     html = url_open(url)
    
25.     img_addrs = []
    
26.     a = html.find('img src=')
    
27.     while a != -1:
    
28.         b = html.find('.jpg',a,a+255)
    
29.         if b!= -1:
    
30.             img_addrs.append(html[a+9:b+4])
    
31.         else:
    
32.             b=a+9
    
33.         a = html.find('img src=',b)
    
34.     print(img_addrs)
    
35.     return img_addrs
    
36.         
    
37.         
    
38. def saveimgs(img_addrs):
    
39.     for each in img_addrs:
    
40.         filename = each.split('/'[-1])
    
41.         with open(filename,'wb') as f:
    
42.             img = url_url(each)
    
43.             f.write(img)
    
44. 
    
45. def download_mm():
    
46.     url = [
    
47.         'http://jiandan.net/ooxx/MjAyMDA0MjAtMTkw#comments',
    
48.         'http://jiandan.net/ooxx/MjAyMDA0MjAtMTky#comments',
    
49.         'http://jiandan.net/ooxx/MjAyMDA0MjAtMTkx#comments',
    
50.         'http://jiandan.net/ooxx/MjAyMDA0MjAtMTg5#comments',
    
51.         'http://jiandan.net/ooxx/MjAyMDA0MjAtMTg4#comments',
    
52.         'http://jiandan.net/ooxx/MjAyMDA0MjAtMTg3#comments'        
    
53.         ]
    
54.     for page_url in url:
    
55.         img_addrs = find_imgs(page_url)
    
56.         save_imgs(img_addrs)
    
57.    
    
58. if __name__ =='__main__':
    
59.     download_mm()
    

复制代码

为什么运行报错：URLError: <urlopen error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。>

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-4-20 16:55:13

第11行有问题，之前定义了req对象，然而没有调用，所以get时没带自己的头，所以被服务器403了。

1. response = ur.urlopen(req)

复制代码

不过你的其他函数有问题，你自己慢慢改吧。

跳转到最佳答案楼层

qiuyouzhi

第11行，应该是url.Request

suchocolate

第11行有问题，之前定义了req对象，然而没有调用，所以get时没带自己的头，所以被服务器403了。

1. response = ur.urlopen(req)

复制代码

不过你的其他函数有问题，你自己慢慢改吧。