[已解决]帮忙看个问题

代码小白liu

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import time
   
4. url = "https://www.umei.cc/tupiandaquan/dongwutupian/"
   
5. headers = {
   
6.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36"
   
7. }
   
8. 
   
9. resp = requests.get(url,headers = headers)
   
10. resp.encoding = "utf-8"
    
11. # print(resp.text)
    
12. main_page = BeautifulSoup(resp.text,"html.parser")
    
13. main_list = main_page.find("div",class_="TypeList").find_all("a") #图片一级页面地址
    
14. # print(main_list)
    
15. for list1 in main_list:
    
16.     href = list1.get("href")
    
17.     child_resp = requests.get(href)
    
18.     child_resp.encoding = "utf-8"
    
19.     child_page = BeautifulSoup(child_resp.text,"html.parser")
    
20.     child_list = child_page.find("p",align="center").find("img")
    
21.     img = child_list.get("src")
    
22.     img_name = child_page.get("alt")
    
23.     img_resp = requests.get(img)
    
24.     img_resp.content
    
25.     with open("F:\\img"+img_name,mode="wb") as f:
    
26.         f.write(img_resp.content)
    
27.         print("over",img_name)
    
28.         time.sleep(2)
    
29. 
    
30. 
    
31. 
    
32. 运行报错：requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))  我百度了下说是IP被封了，但是我换了IP还是不行那

复制代码

最佳答案

月排行榜 / 总排行榜

591821661

2021-4-6 20:56:19

1. # -*- coding: utf-8 -*-
   
2. """
   
3. @Time    : 2021/4/6 20:31
   
4. @Author  : 591821661
   
5. @File    : Pyhelper.py
   
6. @Software: PyCharm
   
7. @Version : 0.0.1
   
8. @Comments:
   
9. 
   
10. 
    
11. """
    
12. 
    
13. import requests
    
14. import socket
    
15. import urllib.request
    
16. from bs4 import BeautifulSoup
    
17. import time
    
18. url = "https://www.umei.cc/tupiandaquan/dongwutupian/"
    
19. headers = {
    
20.     "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"
    
21. }
    
22. 
    
23. resp = requests.get(url,headers = headers)
    
24. resp.encoding = "utf-8"
    
25. # print(resp.text)
    
26. main_page = BeautifulSoup(resp.text,"html.parser")
    
27. main_list = main_page.find("div",class_="TypeList").find_all("a") #图片一级页面地址
    
28. # print(main_list)
    
29. for list1 in main_list:
    
30.     time.sleep(0.2)
    
31.     href = list1.get("href")
    
32.     child_resp = requests.get(href,headers = headers)
    
33.     child_resp.encoding = "utf-8"
    
34.     child_page = BeautifulSoup(child_resp.text,"html.parser")
    
35.     child_list = child_page.find("p",align="center").find("img")
    
36.     img = child_list.get("src")
    
37.     img_name = "Picture_Num_%d.jpg" % main_list.index(list1)
    
38.     time.sleep(0.2)
    
39.     try:
    
40.         socket.setdefaulttimeout(15)  # 设置15秒连接超时
    
41.         urllib.request.urlretrieve(img, img_name)
    
42.     except:
    
43.         continue
    
44. 
    

复制代码

问题解决，原因可能是你没有设置time_out的值 .下载图片超时了。

跳转到最佳答案楼层

私はり

这种有可能是网的问题

591821661

这种情况下大概率就是IP问题。我也碰到好多次 使用小飞机~
另外我推荐别使用requests下载图片。。
用urllib.request.urlretrieve(img_url,image_file_name)直接一步到位。
而且后续多线程爬图片也很方便

1. 
   
2. proxies={
   
3.         'http':'127.0.0.1:1080',
   
4.         'https':'127.0.0.1:1080'
   
5.     }
   
6. resp = requests.get(url,headers = headers,proxies= proxies)

复制代码

还有换个Header也是个不错的主意，你可以在看下自己浏览器是什么header 然后复制进去

591821661

很奇怪 我也跑出来也是这个问题 应该可以排除是网络问题

591821661

1. # -*- coding: utf-8 -*-
   
2. """
   
3. @Time    : 2021/4/6 20:31
   
4. @Author  : 591821661
   
5. @File    : Pyhelper.py
   
6. @Software: PyCharm
   
7. @Version : 0.0.1
   
8. @Comments:
   
9. 
   
10. 
    
11. """
    
12. 
    
13. import requests
    
14. import socket
    
15. import urllib.request
    
16. from bs4 import BeautifulSoup
    
17. import time
    
18. url = "https://www.umei.cc/tupiandaquan/dongwutupian/"
    
19. headers = {
    
20.     "User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"
    
21. }
    
22. 
    
23. resp = requests.get(url,headers = headers)
    
24. resp.encoding = "utf-8"
    
25. # print(resp.text)
    
26. main_page = BeautifulSoup(resp.text,"html.parser")
    
27. main_list = main_page.find("div",class_="TypeList").find_all("a") #图片一级页面地址
    
28. # print(main_list)
    
29. for list1 in main_list:
    
30.     time.sleep(0.2)
    
31.     href = list1.get("href")
    
32.     child_resp = requests.get(href,headers = headers)
    
33.     child_resp.encoding = "utf-8"
    
34.     child_page = BeautifulSoup(child_resp.text,"html.parser")
    
35.     child_list = child_page.find("p",align="center").find("img")
    
36.     img = child_list.get("src")
    
37.     img_name = "Picture_Num_%d.jpg" % main_list.index(list1)
    
38.     time.sleep(0.2)
    
39.     try:
    
40.         socket.setdefaulttimeout(15)  # 设置15秒连接超时
    
41.         urllib.request.urlretrieve(img, img_name)
    
42.     except:
    
43.         continue
    
44. 
    

复制代码

问题解决，原因可能是你没有设置time_out的值 .下载图片超时了。

591821661

另外补充一句哈  你爬的这种高清图 建议timeout 设为30 不然下载不完。
我这边 能够在15秒内下完的图 30张里面只有12张。

代码小白liu

591821661 发表于 2021-4-6 20:56
问题解决，原因可能是你没有设置time_out的值 .下载图片超时了。

这个程序也是只能下载三张就报错了，和我代码报错的一样

591821661

代码小白liu 发表于 2021-4-7 21:52
这个程序也是只能下载三张就报错了，和我代码报错的一样

因为添加了try语句，就算报错也会继续运行。
如果需要把所有图片都下载下来，可以把延时设为30s，但这也不能保证都下载，和你本机的网络环境有关。