[已解决]谁帮我看看这个爬虫代码哪里出错了？如何修改

549663844

1. 
   
2. import urllib.request
   
3. import requests
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def getpic(page):
   
7.         url = 'http://www.budejie.com/pic/%s' %page
   
8.         req = urllib.request.Request(url)
   
9.         req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')
   
10.         res = requests.get(url)
    
11.         res.encoding = 'utf-8'
    
12.         soup = BeautifulSoup(res.text, 'html.parser')
    
13.         for imgs in soup.select('.j-r-list-c-img'):
    
14.                 a =[imgs.select('img')[0]['data-original']]
    
15.                 print(a)
    
16.         for i in a:
    
17.                 filename = i.split('/')[-1]
    
18.                 print('正在下载%s' %filename)
    
19.                 urllib.request.urlretrieve(i,'pic/%s' %filename)
    
20. 
    
21. 
    
22. for x in range(1,5):
    
23.         getpic(x)
    
24. 
    
25. 
    
26.         
    
27. 
    
28.       
    

复制代码

最佳答案

月排行榜 / 总排行榜

小甲鱼的二师兄

2024-11-28 01:22:22

变量 a 在第一个循环中被不断覆盖，最终只会保留最后一个图片的 URL。

导致第二个循环中只会下载最后一张图片。

以下是修复后的代码：

1. import os
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def getpic(page):
   
6.     # 设置目标网站的 URL
   
7.     url = f'http://www.budejie.com/pic/{page}'
   
8.    
   
9.     # 模拟浏览器的请求头
   
10.     headers = {
    
11.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    
12.     }
    
13.    
    
14.     # 发起 GET 请求
    
15.     try:
    
16.         res = requests.get(url, headers=headers)
    
17.         res.raise_for_status()  # 检查 HTTP 请求是否成功
    
18.     except requests.RequestException as e:
    
19.         print(f"无法访问页面 {page}：{e}")
    
20.         return
    
21. 
    
22.     # 设置编码并解析 HTML
    
23.     res.encoding = 'utf-8'
    
24.     soup = BeautifulSoup(res.text, 'html.parser')
    
25.    
    
26.     # 查找所有图片元素
    
27.     images = soup.select('.j-r-list-c-img img')
    
28.     if not images:
    
29.         print(f"页面 {page} 未找到任何图片")
    
30.         return
    
31. 
    
32.     # 确保保存图片的文件夹存在
    
33.     save_dir = 'pic'
    
34.     if not os.path.exists(save_dir):
    
35.         os.makedirs(save_dir)
    
36. 
    
37.     # 循环处理每张图片
    
38.     for img in images:
    
39.         try:
    
40.             # 获取图片 URL
    
41.             img_url = img.get('data-original')  # 从 data-original 属性中获取图片的完整 URL
    
42.             if not img_url:
    
43.                 continue  # 如果 URL 为空，跳过
    
44.             
    
45.             filename = os.path.join(save_dir, img_url.split('/')[-1])  # 从 URL 中提取文件名
    
46.             print(f"正在下载 {filename}，来源：{img_url}...")
    
47.             
    
48.             # 下载并保存图片
    
49.             img_data = requests.get(img_url).content
    
50.             with open(filename, 'wb') as f:
    
51.                 f.write(img_data)
    
52.             print(f"保存成功：{filename}")
    
53.         except Exception as e:
    
54.             print(f"下载图片失败：{e}")
    
55. 
    
56. # 循环处理第 1 到 4 页
    
57. for x in range(1, 5):
    
58.     getpic(x)

复制代码

跳转到最佳答案楼层

549663844

这是报错

549663844

不知道那个a要怎么修改

549663844

求大神

549663844

怎么没人

小甲鱼的二师兄

变量 a 在第一个循环中被不断覆盖，最终只会保留最后一个图片的 URL。

导致第二个循环中只会下载最后一张图片。

以下是修复后的代码：

1. import os
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def getpic(page):
   
6.     # 设置目标网站的 URL
   
7.     url = f'http://www.budejie.com/pic/{page}'
   
8.    
   
9.     # 模拟浏览器的请求头
   
10.     headers = {
    
11.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    
12.     }
    
13.    
    
14.     # 发起 GET 请求
    
15.     try:
    
16.         res = requests.get(url, headers=headers)
    
17.         res.raise_for_status()  # 检查 HTTP 请求是否成功
    
18.     except requests.RequestException as e:
    
19.         print(f"无法访问页面 {page}：{e}")
    
20.         return
    
21. 
    
22.     # 设置编码并解析 HTML
    
23.     res.encoding = 'utf-8'
    
24.     soup = BeautifulSoup(res.text, 'html.parser')
    
25.    
    
26.     # 查找所有图片元素
    
27.     images = soup.select('.j-r-list-c-img img')
    
28.     if not images:
    
29.         print(f"页面 {page} 未找到任何图片")
    
30.         return
    
31. 
    
32.     # 确保保存图片的文件夹存在
    
33.     save_dir = 'pic'
    
34.     if not os.path.exists(save_dir):
    
35.         os.makedirs(save_dir)
    
36. 
    
37.     # 循环处理每张图片
    
38.     for img in images:
    
39.         try:
    
40.             # 获取图片 URL
    
41.             img_url = img.get('data-original')  # 从 data-original 属性中获取图片的完整 URL
    
42.             if not img_url:
    
43.                 continue  # 如果 URL 为空，跳过
    
44.             
    
45.             filename = os.path.join(save_dir, img_url.split('/')[-1])  # 从 URL 中提取文件名
    
46.             print(f"正在下载 {filename}，来源：{img_url}...")
    
47.             
    
48.             # 下载并保存图片
    
49.             img_data = requests.get(img_url).content
    
50.             with open(filename, 'wb') as f:
    
51.                 f.write(img_data)
    
52.             print(f"保存成功：{filename}")
    
53.         except Exception as e:
    
54.             print(f"下载图片失败：{e}")
    
55. 
    
56. # 循环处理第 1 到 4 页
    
57. for x in range(1, 5):
    
58.     getpic(x)

复制代码