jjxx2005 发表于 2020-4-14 19:34:23

爬虫问题,每页的图片名字是一样的,怎么才能做到保存不覆盖?

import requests
import re
import os

if __name__ == "__main__":
    # 创建一个文件夹,保存所有图片
    if not os.path.exists('./海报'):
      os.mkdir('./海报')
    url = 'http://www.jkl.com.cn/cn/phoLis.aspx?id=697'
    for i in range(1,5):
      data = {'__EVENTARGUMENT':'i'}
      headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
      # 使用通过爬虫对url对应的一整张页面进行爬取
      page_text = requests.get(url=url,params=data,headers=headers).text
      # 使用聚焦爬虫将页面中所有的图片进行解析/提取
      a = '(?<=\<img src\=").+?(?=" width\="165" height\="117")'
      img_src_list = re.findall(a,page_text)
      for src in img_src_list:
            # 拼接出一个完整的图片地址
            src ='http://www.jkl.com.cn'+src
            # 请求到了图片的二进制数据
            img_data = requests.get(url=src,params=data,headers=headers).content
            # 生成图片名称
            img_name = src.split('/')[-1]
            # 图片存储的路径
            imgPath = './海报/'+img_name
            # 持久化存储
            with open(imgPath,'wb') as fp:
                fp.write(img_data)
                print(img_name,'下载成功!!!')


网站图片有4页,每页12张左右,但是,有个问题,他每页这12张图片和下一页的12张图表都是相同名字的,下载后就自动覆盖了,请问怎么处理好

wp231957 发表于 2020-4-14 19:38:04

修改文件名:
比如
x=1
filename="xxxx"+str(x)
x+=1

jjxx2005 发表于 2020-4-14 19:39:36

wp231957 发表于 2020-4-14 19:38
修改文件名:
比如
x=1


不行呀,他的url这四页是同一个url是那种不变化的

wp231957 发表于 2020-4-14 19:43:35

jjxx2005 发表于 2020-4-14 19:39
不行呀,他的url这四页是同一个url是那种不变化的

咋能不行呢,初始值放在最外层循环之外
自增部分放在最内循环

suchocolate 发表于 2020-4-14 19:47:33

写文件的时候自己加个序号

jjxx2005 发表于 2020-4-14 19:48:32

wp231957 发表于 2020-4-14 19:43
咋能不行呢,初始值放在最外层循环之外
自增部分放在最内循环

懂了 谢谢您 弄好了
页: [1]
查看完整版本: 爬虫问题,每页的图片名字是一样的,怎么才能做到保存不覆盖?