[已解决]python 爬虫问题

51Arduino32

在爬取美桌壁纸图片，运行到一半时候报错:


这个路劲错误很奇怪，我的e盘下明明创建了这个文件夹....求大佬指点一二
这个是 url: http://www.win4000.com/wallpaper_0_0_10_1.html
下面是我的代码

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import os
   
4. 
   
5. url = 'http://www.win4000.com/wallpaper_0_0_10_1.html'
   
6. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
   
7. j = 0
   
8. # 获取网页源代码
   
9. html = requests.get(url=url,headers=headers).text
   
10. soup = BeautifulSoup(html, 'html.parser')
    
11. # 查找缩略图对应的网址
    
12. new_soup = soup.find('div',class_="tab_box")
    
13. # print(type(new_soup)) <class 'bs4.element.Tag'>
    
14. for link in new_soup.find_all('a'):
    
15.    
    
16.     # print(link.get("href"))
    
17.     #
    
18.     new_link = link.get("href")
    
19.     new_html = requests.get(url=new_link,headers=headers).text
    
20.     img_page = BeautifulSoup(new_html, 'html.parser').find('div',class_="ptitle")
    
21.     first_page = int(img_page.find('span').text) #图片的起始页数
    
22.     last_page = int(img_page.find('em').text)    #图片的末尾页数
    
23.     folder_name = img_page.find('h1').text
    
24.     # 创建分类文件夹
    
25.     os.mkdir('e:/meizitu/'+folder_name)
    
26.     #print(first_page,last_page)
    
27.     for i in range(first_page,last_page+1):
    
28.         page_html = requests.get(url=new_link,headers=headers).text
    
29.         soup_1 = BeautifulSoup(page_html, 'html.parser').find('img',class_="pic-large")
    
30.         # 查找下一张大图的URL
    
31.         next_page_html = BeautifulSoup(page_html, 'html.parser').find('div',class_="pic-meinv")
    
32.         new_link = next_page_html.find('a').get("href")
    
33.         #提取图片的链接和标题
    
34.         img_url = soup_1.get('src')
    
35.         img_title = soup_1.get('alt')
    
36. 
    
37.         img_data =  requests.get(url=img_url,headers=headers).content
    
38.         print("正在保存...",img_title)
    
39.         with open('E:\\meizitu\\'+ folder_name + '\\' + str(j) +'.jpg','wb') as f:
    
40.             f.write(img_data)
    
41.         j = j+1

复制代码

最佳答案

月排行榜 / 总排行榜

疾风怪盗

2020-9-28 17:50:15

文件名可能会有空格，加个去除空格试试

1. folder_name = img_page.find('h1').text.strip()

复制代码

其他代码除了路径改了下，都没动，运行正常

跳转到最佳答案楼层

疾风怪盗

文件名可能会有空格，加个去除空格试试

1. folder_name = img_page.find('h1').text.strip()

复制代码

其他代码除了路径改了下，都没动，运行正常

bonst

你可以加一个容错机制

1. try:
   
2.     with open('E:\\meizitu\\'+ folder_name + '\\' + str(j) +'.jpg','wb') as f:
   
3.             f.write(img_data)
   
4.         j = j+1
   
5. except:
   
6.     j +=1
   
7.     continue

复制代码

Stubborn

使用标准的os模块去合成路径，使程序更标准。
path = os.path.join(os.getcwd(), file)

最多就用字符加一下文件后缀，fiile_name +'.jpg' 。 其他的都用os.path.join去合成

51Arduino32

疾风怪盗 发表于 2020-9-28 17:50
文件名可能会有空格，加个去除空格试试

非常感谢您的回答，修改后确实没错误了，话说windows文件命名是可以有空格的吧

51Arduino32

Stubborn 发表于 2020-9-28 19:03
使用标准的os模块去合成路径，使程序更标准。
path = os.path.join(os.getcwd(), file)

非常感谢谢，这点非常好

51Arduino32

bonst 发表于 2020-9-28 18:15
你可以加一个容错机制

谢谢您的建议

疾风怪盗

51Arduino32 发表于 2020-9-29 09:39
非常感谢您的回答，修改后确实没错误了，话说windows文件命名是可以有空格的吧

创建文件时好像有点限制的，我之前爬一个一个网站时，也是这样，而且文件名中还有斜杠之类的字符，都要去除的，反正报啥错，就去除啥呗