鱼C论坛

 找回密码
 立即注册
查看: 1011|回复: 5

[已解决]爬虫问题,每页的图片名字是一样的,怎么才能做到保存不覆盖?

[复制链接]
发表于 2020-4-14 19:34:23 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
  1. import requests
  2. import re
  3. import os

  4. if __name__ == "__main__":
  5.     # 创建一个文件夹,保存所有图片
  6.     if not os.path.exists('./海报'):
  7.         os.mkdir('./海报')
  8.     url = 'http://www.jkl.com.cn/cn/phoLis.aspx?id=697'
  9.     for i in range(1,5):
  10.         data = {'__EVENTARGUMENT':'i'}
  11.         headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
  12.         # 使用通过爬虫对url对应的一整张页面进行爬取
  13.         page_text = requests.get(url=url,params=data,headers=headers).text
  14.         # 使用聚焦爬虫将页面中所有的图片进行解析/提取
  15.         a = '(?<=\<img src\=").+?(?=" width\="165" height\="117")'
  16.         img_src_list = re.findall(a,page_text)
  17.         for src in img_src_list:
  18.             # 拼接出一个完整的图片地址
  19.             src ='http://www.jkl.com.cn'+src
  20.             # 请求到了图片的二进制数据
  21.             img_data = requests.get(url=src,params=data,headers=headers).content
  22.             # 生成图片名称
  23.             img_name = src.split('/')[-1]
  24.             # 图片存储的路径
  25.             imgPath = './海报/'+img_name
  26.             # 持久化存储
  27.             with open(imgPath,'wb') as fp:
  28.                 fp.write(img_data)
  29.                 print(img_name,'下载成功!!!')
复制代码


网站图片有4页,每页12张左右,但是,有个问题,他每页这12张图片和下一页的12张图表都是相同名字的,下载后就自动覆盖了,请问怎么处理好
最佳答案
2020-4-14 19:38:04
修改文件名:
比如
x=1
filename="xxxx"+str(x)
x+=1
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2020-4-14 19:38:04 | 显示全部楼层    本楼为最佳答案   
修改文件名:
比如
x=1
filename="xxxx"+str(x)
x+=1
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-4-14 19:39:36 | 显示全部楼层
wp231957 发表于 2020-4-14 19:38
修改文件名:
比如
x=1

不行呀,他的url这四页是同一个url  是那种不变化的
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-4-14 19:43:35 | 显示全部楼层
jjxx2005 发表于 2020-4-14 19:39
不行呀,他的url这四页是同一个url  是那种不变化的

咋能不行呢,初始值放在最外层循环之外
自增部分放在最内循环
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-4-14 19:47:33 | 显示全部楼层
写文件的时候自己加个序号
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-4-14 19:48:32 | 显示全部楼层
wp231957 发表于 2020-4-14 19:43
咋能不行呢,初始值放在最外层循环之外
自增部分放在最内循环

懂了 谢谢您 弄好了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-14 15:56

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表