[已解决]大佬帮忙看看，这个爬虫程序到底是哪里出了问题，顺便帮忙优化一下？

chenyiyun

一个webdriver动态爬取图片的程序

1. from selenium import webdriver
   
2. from bs4 import BeautifulSoup
   
3. import time
   
4. import requests
   
5. import os
   
6. PATH = os.getcwd()+"\\images\\崩坏：星穹铁道\"
   
7. 
   
8. def init(browser):
   
9.     tmp=int(input("向下刷新几次?(这将会影响到您爬取帖子的数量)(请填写阿拉伯数字)："))
   
10.     # 创建浏览器对象
    
11.    
    
12.     # 打开网页
    
13.     url = 'https://www.miyoushe.com/sr/search?keyword=%E5%90%8C%E4%BA%BA%E5%9B%BE'
    
14.     browser.get(url)
    
15.     time.sleep(5)
    
16.     for i in range(tmp):
    
17.         browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    
18.         time.sleep(1)
    
19.     html=browser.page_source
    
20.     soup=BeautifulSoup(html,'html.parser')
    
21.     webs=soup.find_all('a',{"class": "mhy-router-link mhy-article-card__link"})
    
22.     for i in range(len(webs)):
    
23.         webs[i]='https://www.miyoushe.com'+str(webs[i]['href'])
    
24.     return webs
    
25. #等待加载（错误部分）
    
26. def wait1(browser):
    
27.     try:
    
28.         time.sleep(0.1)
    
29.         html=browser.page_source
    
30.         soup=BeautifulSoup(html,'html.parser')
    
31.         tmp=soup.find('div',{'class':'mhy-layout mhy-main-page mhy-article-page'}).find_all('img',{"class":""})
    
32.         print(tmp)
    
33.         return soup
    
34.     except:
    
35.         print('unaccept')
    
36.         wait1(browser)
    
37.         
    
38. def get_into_each_url(browser,url):
    
39.     browser.get(url)
    
40.     soup=wait1(browser)
    
41.     tmp1=str(soup.find('title').text)
    
42.     #去除非法字符
    
43.     while ':' in tmp1:
    
44.         tmp1=tmp1[:tmp1.find(':')]+'：'+tmp1[tmp1.find(':')+1:]
    
45.     while '<' in tmp1:
    
46.         tmp1=tmp1[:tmp1.find('<')]+'《'+tmp1[tmp1.find('<')+1:]
    
47.     while '>' in tmp1:
    
48.         tmp1=tmp1[:tmp1.find('>')]+'》'+tmp1[tmp1.find('>')+1:]
    
49.     while '?' in tmp1:
    
50.         tmp1=tmp1[:tmp1.find('?')]+'？'+tmp1[tmp1.find('?')+1:]
    
51.     while '|' in tmp1:
    
52.         tmp1=tmp1[:tmp1.find('|')]+'-'+tmp1[tmp1.find('|')+1:]
    
53.     tmp2=str(soup.find('div',{'class':'mhy-article-page-updatetime'}).find_all('span')[0].text)
    
54.     file_name=tmp1[:tmp1.find('-崩坏')]+' '+tmp2[tmp2.find("：")+1:]+'\\'
    
55.     print('正在爬取帖子《'+tmp1[:tmp1.find('-崩坏')]+'》图片')
    
56.     imgs=soup.find_all('img',{"class":""})
    
57.     i=0
    
58.     while i<len(imgs):
    
59.         imgs[i]=imgs[i]['src']
    
60.         if (not("https://upload-bbs.miyoushe.com" in imgs[i])) or (not("?" in imgs[i])):
    
61.             del imgs[i]
    
62.             continue
    
63.         i+=1
    
64.     path=PATH+file_name
    
65.     if not os.path.exists(path):
    
66.         os.makedirs(path)
    
67.     for i in range(len(imgs)):
    
68.         res = requests.get(imgs[i])
    
69.         j=len(imgs[i])-1
    
70.         while imgs[i][j]!=',':
    
71.             j-=1
    
72.         with open(path+str(i+1)+'.'+imgs[i][j+1:],'wb') as img:
    
73.             img.write(res.content)
    
74.             
    
75.             
    
76. 
    
77. def main_script():
    
78.     option=webdriver.ChromeOptions()
    
79.     option.add_argument('--headless')
    
80.     browser = webdriver.Chrome(options=option)
    
81.     urls=init(browser)
    
82.     for i in range(len(urls)):
    
83.         if 'https://www.miyoushe.com/bh3/404' in urls[i]:
    
84.             continue
    
85.         print(urls[i],end=':')
    
86.         get_into_each_url(browser,urls[i])
    
87.     browser.quit()
    
88. if __name__=="__main__":
    
89.     main_script()
    
90.    
    

复制代码

最佳答案

月排行榜 / 总排行榜

isdkz

2023-5-14 21:24:21

这个爬虫程序有几个问题：

1. 在函数 wait1 中，当出现异常时，虽然会递归调用 wait1 函数，但是没有返回值，会导致后面的代码出现错误。应该在递归调用 wait1 函数时，加上 return 语句。

2. 在函数 get_into_each_url 中，对于图片链接的过滤条件写得不够严谨。应该判断链接是否以 https://upload-bbs.miyoushe.com 开头，而不是判断链接中是否包含该字符串。

3. 在函数 get_into_each_url 中，如果下载的图片数量较多，会导致文件夹层级较深，不易管理。应该考虑将文件夹的命名方式改为更加简单明了的方式。

4. 在函数 get_into_each_url 中，下载的图片文件名是按照图片在页面中的顺序来命名的，这样会导致后面下载的图片可能会覆盖前面已经下载的图片。应该考虑使用图片的MD5值来作为文件名，这样可以保证文件名的唯一性。

优化建议：

1. 在爬取页面时，可以使用 requests 库来发送HTTP请求，而不是使用 webdriver 库。这样可以避免使用浏览器的开销，提高爬取效率。

2. 在爬取页面时，可以使用多线程或者异步IO等技术来提高爬取效率。

3. 在下载图片时，可以使用线程池或者协程等技术来提高下载效率。

4. 在下载图片时，可以使用断点续传等技术来提高下载可靠性。

跳转到最佳答案楼层

isdkz

这个爬虫程序有几个问题：

1. 在函数 wait1 中，当出现异常时，虽然会递归调用 wait1 函数，但是没有返回值，会导致后面的代码出现错误。应该在递归调用 wait1 函数时，加上 return 语句。

2. 在函数 get_into_each_url 中，对于图片链接的过滤条件写得不够严谨。应该判断链接是否以 https://upload-bbs.miyoushe.com 开头，而不是判断链接中是否包含该字符串。

3. 在函数 get_into_each_url 中，如果下载的图片数量较多，会导致文件夹层级较深，不易管理。应该考虑将文件夹的命名方式改为更加简单明了的方式。

4. 在函数 get_into_each_url 中，下载的图片文件名是按照图片在页面中的顺序来命名的，这样会导致后面下载的图片可能会覆盖前面已经下载的图片。应该考虑使用图片的MD5值来作为文件名，这样可以保证文件名的唯一性。

优化建议：

1. 在爬取页面时，可以使用 requests 库来发送HTTP请求，而不是使用 webdriver 库。这样可以避免使用浏览器的开销，提高爬取效率。

2. 在爬取页面时，可以使用多线程或者异步IO等技术来提高爬取效率。

3. 在下载图片时，可以使用线程池或者协程等技术来提高下载效率。

4. 在下载图片时，可以使用断点续传等技术来提高下载可靠性。

chenyiyun

isdkz 发表于 2023-5-14 21:24
这个爬虫程序有几个问题：

1. 在函数 wait1 中，当出现异常时，虽然会递归调用 wait1 函数，但是没有返回 ...

可以用requests库吗？
网站是用javascript动态刷新页面的，webdriver应该是最简便的——吧？

多线程不会……（菜鸟一个爬虫，涉猎不深，只是突然想写一个爬虫而已）

chenyiyun

isdkz 发表于 2023-5-14 21:24
这个爬虫程序有几个问题：

1. 在函数 wait1 中，当出现异常时，虽然会递归调用 wait1 函数，但是没有返回 ...

返回值本来应该是变量soup，但不知道为什么返回不了？NopeType……
是要改成global吗？

sfqxx

币

sfqxx

嘿嘿

歌者文明清理员

币

Threebody1

币

歌者文明清理员

币

歌者文明清理员

币

Threebody1

报错代码捏

歌者文明清理员

应该是找不到.Find_all(div,{'class':''})
然后递归，还是报错
最大递归次数错误

落花盈满绣！

18975173112

学习中

chenyiyun

歌者文明清理员 发表于 2023-5-14 22:51
应该是找不到.Find_all(div,{'class':''})
然后递归，还是报错
最大递归次数错误

敢问大佬说的是哪一句？

歌者文明清理员

chenyiyun 发表于 2023-5-15 18:58
敢问大佬说的是哪一句？

line 31

chenyiyun

chenyiyun 发表于 2023-5-14 21:44
返回值本来应该是变量soup，但不知道为什么返回不了？NopeType……
是要改成global吗？

呃，是我唐突了，居然忘加了

woshizhangpengp

woshizhangpengp

sfqxx

币