Kevin520Alex 发表于 2018-10-9 23:25:58

零基础学Python第60课下载贴吧妹子图片遇到的问题

代码根据小甲鱼老师视频讲解所写：
import urllib.request
import re

def open_url(url):
        req = urllib.request.Request(url)
        req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36')
        page = urllib.request.urlopen(req)
        html = page.read().decode('utf-8')
        return html
       
def get_img(html):
        p = r'<img class="BDE_Image" src="([^"]+\.jpg)"'
        imglist = re.findall(p,html)
       
        for each in imglist:
                filename = each.split('/')[-1][:-4]
                urllib.request.urlretrieve(each,filename,None)
               
if __name__ == '__main__':
        url = "https://tieba.baidu.com/p/3563409202"
        get_img(open_url(url))

最终一张图片都没有爬下来，并且没有返回任何错误。如下图：

为什么或出现这种情况？弄了很久没搞明白。

1005204767 发表于 2018-10-10 00:01:07

貌似没什么问题

1005204767 发表于 2018-10-10 00:07:11

我用你的代码可以，但是下载的图片没加后缀名所以打不开,
你可以在get_img函数中修改filename
另外之所以那样显示是因为你没有任何输出啊
如果你想看看自己是否下载成功同样可以修改get_img函数，在后面加个print("success")
import urllib.request
import re


def open_url(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent',
                   'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.4094.1 Safari/537.36')
    page = urllib.request.urlopen(req)
    html = page.read().decode('utf-8')
    return html


def get_img(html):
    p = r'<img class="BDE_Image" src="([^"]+\.jpg)"'
    imglist = re.findall(p, html)
    for each in imglist:
      filename = each.split('/')[-1][:-4]+'.jpeg'
      urllib.request.urlretrieve(each, filename, None)
      print("success")

if __name__ == '__main__':
    url = "https://tieba.baidu.com/p/3563409202"
    get_img(open_url(url))

Kevin520Alex 发表于 2018-10-10 09:14:36

1005204767 发表于 2018-10-10 00:07
我用你的代码可以，但是下载的图片没加后缀名所以打不开,
你可以在get_img函数中修改filename
另外之所以 ...

在get_img函数最后添加了print(filename)和print("success")后，显示下载成功了，但是存放运行代码的文件夹是空的，不是说下载的图片会直接保存在存放运行文件的文件夹中码？
请看下图

Kevin520Alex 发表于 2018-10-10 09:15:16

1005204767 发表于 2018-10-10 00:07
我用你的代码可以，但是下载的图片没加后缀名所以打不开,
你可以在get_img函数中修改filename
另外之所以 ...

在get_img函数最后添加了print(filename)和print("success")后，显示下载成功了，但是存放运行代码的文件夹是空的，不是说下载的图片会直接保存在存放运行文件的文件夹中码？
请看下图

Kevin520Alex 发表于 2018-10-10 09:18:07

上面图片看这里

Kevin520Alex 发表于 2018-10-10 09:29:06

1005204767 发表于 2018-10-10 00:07
我用你的代码可以，但是下载的图片没加后缀名所以打不开,
你可以在get_img函数中修改filename
另外之所以 ...

看视频写代码的当天都可以下载图片，昨天我把它换了个网页下载新的图片就下载不了，然后我再改回原来的网页就出现上面的情况了，郁闷{:10_247:}

1005204767 发表于 2018-10-10 12:12:06

Kevin520Alex 发表于 2018-10-10 09:14
在get_img函数最后添加了print(filename)和print("success")后，显示下载成功了，但是存放运行代码的文件 ...

我下载的图片在存放代码的上一层文件中，可能和urlretrieve()的调用参数有关，我没用过，你可以查查

1005204767 发表于 2018-10-10 12:12:40

Kevin520Alex 发表于 2018-10-10 09:29
看视频写代码的当天都可以下载图片，昨天我把它换了个网页下载新的图片就下载不了，然后我再改回原来的网 ...

浏览器会定期清理cookie值

Kevin520Alex 发表于 2018-10-10 13:14:29

1005204767 发表于 2018-10-10 12:12
浏览器会定期清理cookie值

上一层文件夹没有，之前下载了都是存放在当前文件夹下面的，搞不明白
页: [1]
查看完整版本: 零基础学Python第60课下载贴吧妹子图片遇到的问题