[已解决]这是怎么情况勒？

linkais

urllib.error.HTTPError: HTTP Error 403: Forbidden
如题

最佳答案

月排行榜 / 总排行榜

小甲鱼的铁粉

2020-11-1 09:43:43

使用 UserAgent，以妹子图为例吧

import urllib.request
def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','https://www.mzitu.com/static/pc/style.css?0424')
    req.add_header('Referer','https://www.mzitu.com/hot/')
    response = urllib.request.urlopen(req)
    html = response.read()
    return html
url = 'https://www.mzitu.com/hot/'
url_open(url)

跳转到最佳答案楼层

okkboss

发下代码呗

linkais

okkboss 发表于 2020-11-1 09:30
发下代码呗

就是爬取一个网页的图片，代码通不过审核好像

Hello.

这种错误，服务器端只会收到该页面访问的请求,可能被认为是爬虫，
有些网站为了防止这种非正常的访问,
会验证请求信息中的 UserAgent
如果 UserAgent 存在异常或者是不存在,那么这次请求将会被拒绝
所以可以尝试在请求中加入 UserAgent 的信息

小甲鱼的铁粉

使用 UserAgent，以妹子图为例吧

import urllib.request
def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','https://www.mzitu.com/static/pc/style.css?0424')
    req.add_header('Referer','https://www.mzitu.com/hot/')
    response = urllib.request.urlopen(req)
    html = response.read()
    return html
url = 'https://www.mzitu.com/hot/'
url_open(url)

linkais

小甲鱼的铁粉 发表于 2020-11-1 09:43
使用 UserAgent，以妹子图为例吧

为啥你这个我run之后什么都出不来呢

linkais

linkais 发表于 2020-11-1 12:13
为啥你这个我run之后什么都出不来呢

行了行了，这个好像要在shell中调用一下方法才行

小甲鱼的铁粉

linkais 发表于 2020-11-1 12:13
为啥你这个我run之后什么都出不来呢

当然什么都没有了，因为我写的这个没输出
你再加一个print(html)

linkais

小甲鱼的铁粉 发表于 2020-11-1 15:12
当然什么都没有了，因为我写的这个没输出
你再加一个print(html)

def find_imgs(url):
    html = url_open(url).decode('GBK')
    img_addrs = []
    a = r'http://d-pic-image.yesky.com/185x247/uploadImages/2018/(\d){3}/(\d){2}/(.)+_H.JPG'
    pagelist2 = re.findall(a,html)
   
    print(pagelist2)


find_imgs('http://pic.yesky.com/c/6_20491_1.shtml')
大哥为啥我这个函数输出的是这么个玩意
[('3', '7', '8'), ('5', '0', 'X'), ('4', '3', 'J'), ('9', '6', 'W'), ('4', '8', 'A'), ('8', '8', 'X'), ('5', '9', '8'), ('8', '5', 'U'), ('7', '3', 'B'), ('5', '2', '0'), ('4', '0', '8'), ('0', '2', '8'), ('9', '1', '7'), ('5', '3', 'F'), ('7', '4', '8'), ('7', '8', 'S'), ('7', '6', '2'), ('7', '2', 'G'), ('7', '0', '6'), ('7', '8', 'U'), ('0', '0', '6'), ('8', '3', 'E'), ('7', '1', 'I'), ('7', '5', 'N'), ('6', '5', '4'), ('4', '9', '2'), ('1', '7', 'Q'), ('7', '4', '0'), ('3', '9', 'D')]