Python可以爬到图片链接，保存时却报错

wu1996

可以爬到图片链接
但是保存图片是却报错403
是怎么回事
有些网站的图片可以爬到，有些却爬不下来……

风丶少

403是因为你的爬虫被网站识别为非人工操作，所以被他拒绝了。
可以加代理或者time.sleep()延长访问时间。

wu1996

风丶少 发表于 2019-5-24 12:26
403是因为你的爬虫被网站识别为非人工操作，所以被他拒绝了。
可以加代理或者time.sleep()延长访问时间。

引入了time  依旧报错

wu1996

#!/usr/bin/env python3
import urllib.request
import re
import os
import time


def open_url(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36')
    page = urllib.request.urlopen(req)
    html = page.read().decode('utf-8')

    return html

def get_img(html):
    pic = r'<img class="alignnone" src="([^"]+\.jpg)"'
    img_list = re.findall(pic, html)
    for each in img_list:
        print(each)
        time.sleep(5)


    for each in img_list:

        filename = each.split("/")[-1]
        urllib.request.urlretrieve(each, filename, None)
        time.sleep(5)


def plmm(folder='周二珂'):
    os.mkdir(folder)
    os.chdir(folder)
    url = "http://zhainanba.net/21049.html"
    get_img(open_url(url))

if __name__ == '__main__':
    plmm()

风丶少

wu1996 发表于 2019-5-24 18:23
#!/usr/bin/env python3
import urllib.request
import re

那就试试代理呗

害怕型全嘲豪

直接GET该图片URL能否看见图片？
能：用with open保存文件（二进制模式）。

湖心残雪

最好不要用urlretrieve下载，很多图片下载打不开  用write写入本地吧