第56课，论一只爬虫的自我修养4：OOXX，代码报错，请指导，谢谢。
本帖最后由 ff174422523 于 2018-3-4 23:53 编辑大家好，现我按照小甲鱼老师的方法下载妹子图时报错，报错内容与代码如下，还请指导，谢谢。，视频课程“第56课，论一只爬虫的自我修养4：OOXX”，
现在执行代码时报错如下
Traceback (most recent call last):
File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 54, in <module>
download_mm()
File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 45, in download_mm
page_num = int(get_page(url))
File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 13, in get_page
html = url_open(url).decode('utf-8')
File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 7, in url_open
response = urllib.request.urlopen(url)
File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 223, in urlopen
return opener.open(url, data, timeout)
File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 532, in open
response = meth(req, response)
File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 642, in http_response
'http', request, response, code, msg, hdrs)
File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 570, in error
return self._call_chain(*args)
File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 504, in _call_chain
result = func(*args)
File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 650, in http_error_default
raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
我的代码如下
import urllib.request
import os
def url_open(url):
req = urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0')
response = urllib.request.urlopen(url)
html = response.read()
return html
def get_page(url):
html = url_open(url).decode('utf-8')
a = html.find('current-comment-page') + 23
b = html.find(']',a)
return html
def find_imgs(url):
html = url_open(url).decode('utf-8')
img_addrs = []
a = html.find('img src=')
while a != -1:
b = html.find('.jpg',a,a+255)
if b != -1:
img_addrs.append(html)
else:
b = a + 9
a = html.find('img src=',b)
def save_imgs(folder,img_addrs):
pass
def download_mm(folder='ooxx',pages=10):
os.mkdir(folder)
os.chdir(folder)
url = "http://jandan.net/ooxx/"
page_num = int(get_page(url))
for i in range(pages):
page_num -= i
page_url = url + 'page-' + str(page_num) + '#comments'
img_addrs = find_imgs(page_url)
save_imgs(folder,img_addrs)
if __name__ == '__main__':
download_mm()
妹子图人家网站资源挂了，你换个地方试试 塔利班 发表于 2018-3-5 00:03
妹子图人家网站资源挂了，你换个地方试试
。。。。。。。这么霉，，，，上来就遇到这种事。。。。{:10_277:} 塔利班 发表于 2018-3-5 00:03
妹子图人家网站资源挂了，你换个地方试试
不对呀，兄弟，，我刚进去看了，，图能显示，我感觉报错的原因应该是网站设定了该问频率的检查，，代我用了代理后也不行，所以搞不懂了。 原因是没加headers
【真·原因是你给了headers但是没用上去】
把url_open(url)里的response = urllib.request.urlopen(url)改成response = urllib.request.urlopen(req)即可解决现在的报错
然而就算你解决了这个报错也爬不到图片地址 chakyam 发表于 2018-3-5 09:10
原因是没加headers
【真·原因是你给了headers但是没用上去】
把url_open(url)里的response = urllib.req ...
兄弟，我的代码还没写完，就差保存图片那一段了，我想问一下，为何解决了headers也无法爬取到？ 煎蛋网设置了反爬虫，网站加密了，非人类访问需要知道他的加密方法才能顺利访问，加个headers已经不能解决问题了。你可以看看我主页上的爬取妹子图的代码 snail:) 发表于 2018-3-5 09:55
煎蛋网设置了反爬虫，网站加密了，非人类访问需要知道他的加密方法才能顺利访问，加个headers已经不能解决 ...
晕，好郁闷，。。。。。刚看了你主页上的妹子图代码，正则表达式我还没学完，很多不理解的，我先继续学习，，谢谢了 snail:) 发表于 2018-3-5 09:55
煎蛋网设置了反爬虫，网站加密了，非人类访问需要知道他的加密方法才能顺利访问，加个headers已经不能解决 ...
你的主页在哪里？ dahua123333 发表于 2018-4-20 17:31
你的主页在哪里？
http://bbs.fishc.com/thread-105718-1-1.html 煎蛋网被大家爬的都加密反爬虫了{:10_247:}，哈哈哈 chakyam 发表于 2018-3-5 09:10
原因是没加headers
【真·原因是你给了headers但是没用上去】
把url_open(url)里的response = urllib.req ...
感谢，这个问题解决了
页:
[1]