鱼C论坛

 找回密码
 立即注册
12
返回列表 发新帖
楼主: 二农戏猪`

[已解决]【求助】煎蛋爬妹子图程序出现不知名错误

[复制链接]
 楼主| 发表于 2020-8-11 21:55:33 | 显示全部楼层
1q23w31 发表于 2020-8-11 21:35
把写完的发一下

为什么我一发代码它就审核
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-8-11 21:57:49 | 显示全部楼层
二农戏猪` 发表于 2020-8-11 21:55
为什么我一发代码它就审核

不知道,审核机制搞不懂
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-8-11 22:09:32 | 显示全部楼层
1q23w31 发表于 2020-8-11 21:57
不知道,审核机制搞不懂

我发了个新帖
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-8-15 11:22:56 | 显示全部楼层    本楼为最佳答案   
本帖最后由 suchocolate 于 2020-8-15 11:53 编辑

不用xpath或bs太低效了
import requests
from lxml import etree
import os


def ck_dir():
    # Please fill in the name of the path where you want to save the images
    pic_dir = 'mm'
    if not os.path.exists(pic_dir):
        os.mkdir(pic_dir)
    os.chdir(pic_dir)


def get_pic_url(act_url):
    r = requests.get(act_url, headers=headers)
    html = etree.HTML(r.text)
    # pic list
    result = html.xpath('//img/@src')
    # last pic is not mm pic
    result.pop()
    # next page url
    act_nx_pg = html.xpath('//a[contains(text(),"99")]/@href')[0]
    return result, act_nx_pg


def main():
    # pic counter
    n = 1
    # check pic directory
    ck_dir()
    # pic url list
    pic_list = []
    # next page url
    nx_pg_url = ''
    # get pics urls
    for item in range(100, 98, -1):
        if item == 100:
            pic_url, nx_pg = get_pic_url(url)
        else:
            pic_url, nx_pg = get_pic_url(nx_pg_url)
        nx_pg_url = f'{url}/{nx_pg}#comments'
        pic_list.extend(pic_url)
    # download pics
    for item in pic_list:
        r = requests.get('http:' + item, headers=headers)
        pic_name = item.split('/')[-1]
        with open(pic_name, 'wb') as f:
            f.write(r.content)
            print(f'{pic_name} has been downloaded. total number: {n}')
            n = n + 1


if __name__ == '__main__':
    # global variables
    url = 'http://jandan.net/ooxx'
    headers = {'User-agent': 'firefox'}
    # main func
    main()
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-19 11:04

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表