鱼C论坛

 找回密码
 立即注册
查看: 2434|回复: 7

求救,urllib.request下载ooxx的问题

[复制链接]
发表于 2016-5-14 17:41:32 | 显示全部楼层 |阅读模式
5鱼币
403403.png 永远的403error.png
求求各路大神,各位好心的鱼油,帮帮我这个彩笔
在零基础入门学习python课程的“网络爬虫XXOO”课时中,出现了下载妹子图的教学案例。
我认真反复看懂后,自己敲出了这一段代码,却无论如何都报http 403 Forbidden错误。
同样的代码,小甲鱼在课程视频里就可以运行成功,总不至于是后来目标网站增加了ip访问频率的监测吧。
请各位鱼油相救,究竟为什么这段代码会引发这个报错。
在线急等

最佳答案

查看完整内容

煎蛋网现在加强了爬虫检测了, Python不支持js, 很容易被检测出来
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-5-14 17:41:33 | 显示全部楼层
煎蛋网现在加强了爬虫检测了, Python不支持js, 很容易被检测出来
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-5-14 21:36:53 | 显示全部楼层
原来如此啊,确认了不是我代码出错之后安心多了,但还是特别想弄明白问题的原理,可否请教一下,js是指Jason吗,是不是说通过提交的数据形式检测出来了,那python有可能解决这个问题吗
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-5-14 21:48:01 | 显示全部楼层
CasUal000 发表于 2016-5-14 21:36
原来如此啊,确认了不是我代码出错之后安心多了,但还是特别想弄明白问题的原理,可否请教一下,js是指Jaso ...

js是JavaScript, 是一门语言, 有兴趣可以去看看哦
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-5-16 08:54:51 | 显示全部楼层
加油
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-5-16 09:22:53 | 显示全部楼层
CasUal000 发表于 2016-5-14 21:36
原来如此啊,确认了不是我代码出错之后安心多了,但还是特别想弄明白问题的原理,可否请教一下,js是指Jaso ...

def url_open(url):
    req=urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36')

    proxies=['112.80.59.190:8000']
    proxy=random.choice(proxies)
   
    proxy_support=urllib.request.ProxyHandler({'http':proxy})
    opener=urllib.request.build_opener(proxy_support)
    urllib.request.install_opener(opener)
   
    response=urllib.request.urlopen(req)
    html=response.read()

    return html

试一下将代码改成这样的代理,应该就可以了,搞定了给我鱼币哦~
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-5-16 09:41:35 | 显示全部楼层
来学习的
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-11-4 21:37:32 | 显示全部楼层
怪盗①⒋Ⅻ號 发表于 2016-5-16 09:22
def url_open(url):
    req=urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/ ...

n你的代理是哪里找的啊
为什么我找的代理都不能访问豆瓣!!!!!!!!!!!
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-21 01:21

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表