大哥们帮忙看看呀，爬取妹子图出现未知bug

我龙哟

使用requests和bs4爬取meizitu
运行结果：将近一半图片未下载成功
再次运行：未下载成功的图片也有可能下载成功
网络连接无问题，直接浏览器访问图片源地址可以访问
求救……

1. import requests
   
2. import os
   
3. from bs4 import BeautifulSoup
   
4. import re
   
5. 
   
6. def openurl(url):
   
7.     try:
   
8.         headers = {'Host':'www.meizitu.com','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'}
   
9.         res = requests.get(url,headers=headers)
   
10.         res.raise_for_status()
    
11.         return res
    
12.     except:
    
13.         pass
    
14. 
    
15. def findimgurl(url):
    
16.     res = openurl(url)#print(res.text[:100])
    
17.     soup = BeautifulSoup(res.text,"html.parser")
    
18.     data = soup.find_all(name='div',attrs={'class':"pic"})
    
19.     data2 = []
    
20.     for each in data:
    
21.         data2.append(each.find_all(name='a',attrs={'target':"_blank"}))
    
22.     imgurl = []#print(len(data2))
    
23.     for each2 in data2:
    
24.         a = re.search(r'src.+jpg',str(each2))#print(a.group(0)[5:])
    
25.         imgurl.append(a.group(0)[5:])
    
26.     return imgurl#print(imgurl)
    
27. 
    
28. def save(url):
    
29.     #print(url)
    
30.     try:
    
31.         path = url.split('/')[-4]+url.split('/')[-3]+url.split('/')[-2]+url.split('/')[-1]         
    
32.         if not os.path.exists(path):
    
33.             print(path)
    
34.             headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'}
    
35.             img = requests.get(url,headers=headers,timeout=30)
    
36.             print('状态码为'+str(img.status_code)+'，准备下载...')   
    
37.             with open(path,"wb") as f:
    
38.                 f.write(img.content)
    
39.                 f.close()
    
40.                 print("保存成功\n")
    
41.         else:
    
42.             print(path)
    
43.             print("文件已存在\n")
    
44.     except:
    
45.         print("保存出现异常\n")
    
46.    
    
47. def main():
    
48.     i = input('下载页数：')
    
49.     floder = 'meizitu_limg'#设置图片存储文件夹
    
50.     if not os.path.exists(floder):
    
51.         os.mkdir(floder)
    
52.         print('\n文件夹'+ floder +'创建完成 ...\n')
    
53.     os.chdir(floder)
    
54.     for x in range(1,int(i)+1):
    
55.         print('\n第'+ str(x) +'页，准备就绪，开始下载 ...\n\n')
    
56.         root = '第'+ str(x) +'页'
    
57.         if not os.path.exists(root):
    
58.             os.mkdir(root)
    
59.             print('\n文件夹'+ root +'创建完成 ...\n')
    
60.         os.chdir(root)
    
61.         url = 'https://www.meizitu.com/a/list_1_'+str(x)+'.html'#第一页https://www.meizitu.com/a/list_1_1.html
    
62.         imgurl = findimgurl(url)#print(imgurl)
    
63.         print('第'+ str(x) +'页，共查询到'+str(len(imgurl))+'张图片，正在下载中 ...\n\n')
    
64.         for eachurl in imgurl:
    
65.             save(eachurl)
    
66.         print('\n第'+ str(x) +'页图片全部下载完成喽 lalala\n\n')
    
67.         os.chdir('..')
    
68.         
    
69. if __name__ == "__main__":
    
70.     main()
    

复制代码

球球大哥们了，帮忙看看
个人感觉不是timeout的问题，30秒够久了

下面是三种情况输出界面：

2016a0742limg.jpg
状态码为200，准备下载...
保存成功

2016a0741limg.jpg
保存出现异常

2016a0740limg.jpg
文件已存在

老八秘制

看看我能不能帮到你
如果觉得有帮助的话，麻烦设个最佳答案，谢谢~

dlnb526

因为有部分图片能爬成功，初步推测是因为服务器限制频率
你试试time sleep()设一个图片爬取的间隔时间

乘号

老八秘制 发表于 2020-4-3 17:53
看看我能不能帮到你
如果觉得有帮助的话，麻烦设个最佳答案，谢谢~

链接真隐蔽

Stubborn

目前妹子图的反扒，包括，请求头的来源Refer参数，IP请求速度。就这俩，报错你别全try了，你知道是因为什么原因才好排查

老八秘制

乘号 发表于 2020-4-3 20:45
链接真隐蔽

蓝的不明显么，那我改一下吧

Pythonnewers

老八秘制 发表于 2020-4-3 17:53
看看我能不能帮到你
如果觉得有帮助的话，麻烦设个最佳答案，谢谢~

我缺的是技术吗，不是网站