关于403错误

绊axs · 发表于 2018-9-2 22:45:01

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

萌新最近想试着爬 p站里的图片，就先用了小甲鱼视频中最开始下载猫的图的简单爬虫试试。但是出现了403错误无法解决，换User-Agent的方法已经用过了，仍然无法使用，之前怀疑是没登陆所以不能爬，但我看了一些别人写的爬虫貌似也没有登陆？？另外我试着同样要登陆的人人网也没有任何问题，，，附上图片，，求解啊啊啊啊，被这403折腾死了

ba21 · 发表于 2018-9-2 22:45:44

上代码

绊axs · 发表于 2018-9-2 22:48:30

ba21 发表于 2018-9-2 22:45
上代码

import urllib.request

url = 'https://i.pximg.net/img-master/img/2018/08/29/00/15/36/70434228_p0_master1200.jpg'

req = urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36')
response = urllib.request.urlopen(req)
img = response.read()

with open('1.jpg','wb')as f:
f.write(img)

冬雪雪冬 · 发表于 2018-9-2 22:50:46

直接在浏览器中输入地址 https://i.pximg.net/img-master/i ... 8_p0_master1200.jpg 也是403

绊axs · 发表于 2018-9-2 22:54:16

冬雪雪冬发表于 2018-9-2 22:50
直接在浏览器中输入地址 https://i.pximg.net/img-master/img/2018/08/29/00/15/36/70434228_p0_master1200 ...

我可以进去，，，哦，p站被软墙了。我改了host才可以上去的，，可能是这个原因

绊axs · 发表于 2018-9-2 22:57:12

冬雪雪冬发表于 2018-9-2 22:50
直接在浏览器中输入地址 https://i.pximg.net/img-master/img/2018/08/29/00/15/36/70434228_p0_master1200 ...

这种被软墙的网站能爬吗，大佬

冬雪雪冬 · 发表于 2018-9-2 23:00:42

绊axs 发表于 2018-9-2 22:57
这种被软墙的网站能爬吗，大佬

用代理应该能爬

拉了盏灯 · 发表于 2018-9-3 05:32:57

绊axs 发表于 2018-9-2 22:57
这种被软墙的网站能爬吗，大佬

P站不登录好像爬不了吧，我就好奇楼主这么看懂审查元素里面图片的标签。

绊axs · 发表于 2018-9-3 12:37:50

拉了盏灯发表于 2018-9-3 05:32
P站不登录好像爬不了吧，我就好奇楼主这么看懂审查元素里面图片的标签。

一开始我也觉得，尝试了一些方法后就不觉得了。。。图片标签是啥？链接地址？

waitforlove · 发表于 2018-9-4 13:29:45

那个网站上能显示图片,就能爬取

绊axs · 发表于 2018-9-4 22:36:37

waitforlove 发表于 2018-9-4 13:29
那个网站上能显示图片,就能爬取

呃，这个情况有点特殊？？我不清楚python上网原理，，这个网站被墙了，我电脑改了hosts游览器才能打开，别人的电脑和python打开就是403错误，在苦恼该怎么解决，vpn也不是很想用。。。。

账号		自动登录	找回密码
密码			立即注册