关于小甲鱼老师python爬虫问题

Flower_dancing

这两天看小甲鱼老师的python爬取煎蛋MM的视频，然后运行老师的程序，总是出现：
urllib.error.HTTPError: HTTP Error 403: Forbidden

这是因为煎蛋网站禁止爬虫访问么？程序里添加了文件头add_header(add_header('User-Agent', 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36'))，而且是用的代理，但是还是这个问题，有没有同学遇到这个问题的，交流一下，谢谢

hldh214

如果练手的话可以爬一些更友善的网站
一般提示403意味着你是爬虫访问被服务器发现了,解决方法一般是继续添加合适的headers, 伪造合理的cookies, 必要时挂上代理也是极好的

Flower_dancing

hldh214 发表于 2016-1-23 11:18
如果练手的话可以爬一些更友善的网站
一般提示403意味着你是爬虫访问被服务器发现了,解决方法一 ...

那为什么小甲鱼老师在视频中就可以爬煎蛋这个网站的图片呀~~他就是添加的User-Agent这个headers

hldh214

Flower_dancing 发表于 2016-1-23 11:24
那为什么小甲鱼老师在视频中就可以爬煎蛋这个网站的图片呀~~他就是添加的User-Agent这个headers{:10_277: ...

老师当时的情况是, 那个网站还没有这么多爬虫访问, 自然网站那边的运维就没管的这么严
当视频放出来的那一刻起, 这网站访问量陡增, 全都是爬虫, 网站的运维没办法只好严打爬虫了

Flower_dancing

hldh214 发表于 2016-1-23 11:27
老师当时的情况是, 那个网站还没有这么多爬虫访问, 自然网站那边的运维就没管的这么严
当视频放出来的那 ...

哈哈哈哈，原来罪魁祸首是小甲鱼老师，我懂了.....