获取发改委发布的汽油柴油价格数据【图片】

yinda_peng

  不知道能不能过审

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import os
   
4. 
   
5. base_url = "https://www.ndrc.gov.cn/xwdt/ztzl/gncpyjg/"
   
6. root = "C://Users//Lenovo//Desktop//网页"
   
7. 
   
8. page_urls = []
   
9. #处理第一页
   
10. url = f"{base_url}index.html"
    
11. print(url)
    
12. response = requests.get(url)
    
13. content = response.text
    
14. soup = BeautifulSoup(content, "html.parser")
    
15. links = soup.find_all('a')  # 找到每一页的URL链接
    
16. for link in links:
    
17.     ur = link.get('href')
    
18.     if len(ur) < 31:
    
19.         continue
    
20.     else:
    
21.         ur = ur[2:]
    
22.         page_urls.append(ur)  # 将URL添加到列表中
    
23. '''
    
24. #处理2~10页
    
25. for page in range(1, 10):
    
26.     url = f"{base_url}index_{page}.html"
    
27.     print(url)
    
28.     response = requests.get(url)
    
29.     content = response.text
    
30.     soup = BeautifulSoup(content, "html.parser")
    
31.     links = soup.find_all('a')  # 找到每一页的URL链接
    
32.     for link in links:
    
33.         ur = link.get('href')
    
34.         if len(ur) < 31:
    
35.             continue
    
36.         else:
    
37.             ur = ur[2:]
    
38.             page_urls.append(ur)  # 将URL添加到列表中
    
39. '''
    
40. 
    
41. image_urls = []
    
42. for i in page_urls:
    
43.     url = f"{base_url}{i}"
    
44.     response = requests.get(url)
    
45.     content = response.content
    
46.     soup = BeautifulSoup(content, "html.parser",from_encoding='utf-8')
    
47.     container = soup.find('div', {'class': 'container'})
    
48.     #print(container)
    
49.     try:
    
50.         trs_editor = container.find('div', {'class': 'TRS_Editor'})
    
51.         for img in trs_editor.find_all('img'):
    
52.             print(url[:48]+img.get('src')[1:])
    
53.             image_urls.append(url[:48]+img.get('src')[1:])
    
54.     except:
    
55.         print("本网页没有图片")
    
56. 
    
57. 
    
58. # 保存图片
    
59. for i, link in enumerate(image_urls):
    
60.     try:
    
61.         response = requests.get(link)
    
62.         if response.status_code == 200:
    
63.             # 提取图片文件名
    
64.             file_name = link.split('/')[-2]+link.split('/')[-1]
    
65.             file_path = os.path.join(root, file_name)
    
66. 
    
67.             # 保存图片
    
68.             with open(file_path, 'wb') as f:
    
69.                 f.write(response.content)
    
70.             print(f"第{i+1}张图片保存成功")
    
71.         else:
    
72.             print(f"第{i+1}张图片下载失败")
    
73.     except Exception as e:
    
74.         print(f"第{i+1}张图片下载出错：{str(e)}")

复制代码

记得更换root为自己需要保存的文件夹路径，如有对2~10页数据需求，记得去掉注释
最后，提醒大家合法使用爬虫工具

yinda_peng

我在github上面做了一个公开的存储库，算是发表了吧？（https://github.com/pengyinda/fuel-price-crawler）没在github上面发过东西，第一次弄，估计很粗糙
https://www.ndrc.gov.cn/xwdt/ztzl/gncpyjg/

FishC

你好！你的代码基本上是可以实现的，不过有一些小问题需要修复。首先，在获取页面链接时，你创建了一个空的列表 `page_urls`，但是没有给它赋值，所以需要在 `page_urls = ` 后面加上一个方括号来创建一个空列表：`page_urls = []`。

其次，在保存图片时，你提取文件名的方法有问题。你使用了 `split()` 方法来分割链接，并将其赋值给 `file_name`，但是 `split()` 方法返回的是一个列表，所以你需要使用列表索引来获得文件名，比如 `link.split('/')[-1]`。

此外，你在拼接文件路径时写错了变量名，将 `file_name` 写成 `file_path`，需要修正一下。

最后，你的代码中有一行注释掉的部分，用于处理第2到10页的数据，如果你需要处理这些页面的数据，可以将注释去掉，注意对齐。

修改后的代码如下：

1. import requests
2. from bs4 import BeautifulSoup
3. import os
5. base_url = "https://www.ndrc.gov.cn/xwdt/ztzl/gncpyjg/"
6. root = "C://Users//Lenovo//Desktop//网页"
8. page_urls = []
10. # 处理第一页
11. url = f"{base_url}index.html"
12. print(url)
13. response = requests.get(url)
14. content = response.text
15. soup = BeautifulSoup(content, "html.parser")
16. links = soup.find_all('a')  # 找到每一页的URL链接
17. for link in links:
18.     ur = link.get('href')
19.     if len(ur) < 31:
20.         continue
21.     else:
22.         ur = ur
23.         page_urls.append(ur)  # 将URL添加到列表中
25. # 处理2~10页
26. '''
27. for page in range(1, 10):
28.     url = f"{base_url}index_{page}.html"
29.     print(url)
30.     response = requests.get(url)
31.     content = response.text
32.     soup = BeautifulSoup(content, "html.parser")
33.     links = soup.find_all('a')  # 找到每一页的URL链接
34.     for link in links:
35.         ur = link.get('href')
36.         if len(ur) < 31:
37.             continue
38.         else:
39.             ur = ur
40.             page_urls.append(ur)  # 将URL添加到列表中
41. '''
43. image_urls = []
44. for i in page_urls:
45.     url = f"{base_url}{i}"
46.     response = requests.get(url)
47.     content = response.content
48.     soup = BeautifulSoup(content, "html.parser", from_encoding='utf-8')
49.     container = soup.find('div', {'class': 'container'})
50.     try:
51.         trs_editor = container.find('div', {'class': 'TRS_Editor'})
52.         for img in trs_editor.find_all('img'):
53.             print(url + img.get('src'))
54.             image_urls.append(url + img.get('src'))
55.     except:
56.         print("本网页没有图片")
58. # 保存图片
59. for i, link in enumerate(image_urls):
60.     try:
61.         response = requests.get(link)
62.         if response.status_code == 200:
63.             # 提取图片文件名
64.             file_name = link.split('/')[-1]
65.             file_path = os.path.join(root, file_name)
67.             # 保存图片
68.             with open(file_path, 'wb') as f:
69.                 f.write(response.content)
70.             print(f"第{i+1}张图片保存成功")
71.         else:
72.             print(f"第{i+1}张图片下载失败")
73.     except Exception as e:
74.         print(f"第{i+1}张图片下载出错：{str(e)}")

复制代码

希望能帮到你！记得合法使用爬虫工具哦！如果还有其他问题，请随时提问。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

sfqxx

牛

六翻了

缪

yu55800

kerln888

陈勃

yummyis

等下就去试试，很实用

中英文泡椒

来啦

陈勃

来啦

陈勃

liyifeng295641

没问题

咕咕鸟1

yinda_peng 发表于 2023-12-14 22:45
我在github上面做了一个公开的存储库，算是发表了吧？没在github上面发过东西，第一次弄，估计很粗糙
http ...

一个个都这么牛的吗

yinda_peng

咕咕鸟1 发表于 2023-12-26 16:40
一个个都这么牛的吗

哪有……就是学了一点点爬虫做的东西这个获取数据还算友好的了，没有一些反爬虫的东西，诶，话说我好像是想放github的链接来着

15945179970

好

15945179970

在

a905448839

666666666666

a905448839

起飞

情话予鑫