鱼C论坛

 找回密码
 立即注册
查看: 2617|回复: 3

[已解决]爬百度贴吧图片,为啥只生成一个文件夹

[复制链接]
发表于 2022-3-24 18:37:45 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import urllib.request
import re
import os
def open_url(url):
    req =urllib.request.Request(url)
    req.add_header('User-Agent',' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36 Edg/99.0.1150.46')
    page = urllib.request.urlopen(req)
    html = page.read().decode('utf-8')
    return html

def get_img(html):
    p = r'<img class="BDE_Image".*?src="([^"]*\.jpg)".*?>'
    imglist = re.findall(p,html)

    try:
        os.mkdir('NewPics')
    except FileExistsError:
        pass
    os.chdir("NewPics")
    for each in imglist:
        filename = each.split("/")[-1]
        urllib.request.urlretrieve(each,filename,None)

if __name__ == '__main__':
    url = 'https://tieba.baidu.com/p/7766911770'
    get_img(open_url(url))

最佳答案
2022-3-24 18:59:38
正则表达式不对:
import urllib.request
import re
import os
def open_url(url):
    req =urllib.request.Request(url)
    req.add_header('User-Agent',' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36 Edg/99.0.1150.46')
    page = urllib.request.urlopen(req)
    html = page.read().decode('utf-8')
    return html

def get_img(html):
    p = r'<img class="BDE_Image".*?src="([^"]*\.jpg)[^"]*".*?>'        # 修改了正则表达式
    imglist = re.findall(p,html)

    try:
        os.mkdir('NewPics')
    except FileExistsError:
        pass
    os.chdir("NewPics")
    for each in imglist:
        filename = each.split("/")[-1]
        urllib.request.urlretrieve(each,filename,None)

if __name__ == '__main__':
    url = 'https://tieba.baidu.com/p/7766911770'
    get_img(open_url(url))
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2022-3-24 18:59:38 | 显示全部楼层    本楼为最佳答案   
正则表达式不对:
import urllib.request
import re
import os
def open_url(url):
    req =urllib.request.Request(url)
    req.add_header('User-Agent',' Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36 Edg/99.0.1150.46')
    page = urllib.request.urlopen(req)
    html = page.read().decode('utf-8')
    return html

def get_img(html):
    p = r'<img class="BDE_Image".*?src="([^"]*\.jpg)[^"]*".*?>'        # 修改了正则表达式
    imglist = re.findall(p,html)

    try:
        os.mkdir('NewPics')
    except FileExistsError:
        pass
    os.chdir("NewPics")
    for each in imglist:
        filename = each.split("/")[-1]
        urllib.request.urlretrieve(each,filename,None)

if __name__ == '__main__':
    url = 'https://tieba.baidu.com/p/7766911770'
    get_img(open_url(url))
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2022-3-24 19:19:56 | 显示全部楼层
isdkz 发表于 2022-3-24 18:59
正则表达式不对:

老哥我那个悬赏是跟这个题一样的,你能去答一下,悬赏结算给你吗?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2022-3-24 19:23:53 | 显示全部楼层
起风了番茄 发表于 2022-3-24 19:19
老哥我那个悬赏是跟这个题一样的,你能去答一下,悬赏结算给你吗?

那谢谢啦!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-12-28 03:51

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表