鱼C论坛

 找回密码
 立即注册
查看: 444|回复: 2

为什么只能爬取第一页的图片就停滞了

[复制链接]
发表于 2020-4-20 22:53:57 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import os
baseurl = "http://sc.chinaz.com/tupian/renwutupian"
headers = {
     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
# 获取整页数据
for i in range(1,30):
    if i ==1:
        url=baseurl+'.html'
    else:
        url=baseurl+'_'+str(i)+'.html'
    response = requests.get(url=url,headers=headers)
    page_text = response.text
    print(url)
    # 获取网页中的图片
    path = os.getcwd()
    tree = etree.HTML(page_text)
    img_list  = tree.xpath('//*[@id="container"]/div')
    for i in img_list:
        img = i.xpath('./div/a/img/@src2')  # 图片懒加载,src2为实际地址,这个在有些地方需要注意
        img_url = "".join(img)
        img_data = requests.get(url=img_url,headers=headers).content  # 生成图片
        # 生成图片名称
        img_name = img_url.split('/')[-1]  # 以图片链接最后的部分作为名字
        print(img_name)
         # 图片存储的路径
        img_path = path+'\\mm\\'+img_name
        with open(img_path,'wb')  as fp:
            fp.write(img_data)
            print(img_name,"下载成功")
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-4-21 08:53:16 | 显示全部楼层
试试把28行的写入模式 'wb' 改成 'ab' ,即追加写入。
'wb' 模式会让你循环一次覆盖一次之前的文件,所以实际上你获取的应该是最后一页的图片。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-4-21 14:21:04 From FishC Mobile | 显示全部楼层
动态加载网页,只有一页
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-11-26 18:25

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表