第56课，论一只爬虫的自我修养4：OOXX，代码报错，请指导，谢谢。

ff174422523

大家好，现我按照小甲鱼老师的方法下载妹子图时报错，报错内容与代码如下，还请指导，谢谢。，视频课程“第56课，论一只爬虫的自我修养4：OOXX”，
现在执行代码时报错如下
Traceback (most recent call last):
  File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 54, in <module>
    download_mm()
  File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 45, in download_mm
    page_num = int(get_page(url))
  File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 13, in get_page
    html = url_open(url).decode('utf-8')
  File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 7, in url_open
    response = urllib.request.urlopen(url)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 532, in open
    response = meth(req, response)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 642, in http_response
    'http', request, response, code, msg, hdrs)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 570, in error
    return self._call_chain(*args)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 650, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
我的代码如下

1. import urllib.request
   
2. import os
   
3. 
   
4. def url_open(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0')
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read()
   
9. 
   
10.     return html
    
11. 
    
12. def get_page(url):
    
13.     html = url_open(url).decode('utf-8')
    
14. 
    
15.     a = html.find('current-comment-page') + 23
    
16.     b = html.find(']',a)
    
17. 
    
18.     return html[a:b]
    
19.    
    
20. 
    
21. def find_imgs(url):
    
22.     html = url_open(url).decode('utf-8')
    
23.     img_addrs = []
    
24. 
    
25.     a = html.find('img src=')
    
26. 
    
27.     while a != -1:
    
28.         b = html.find('.jpg',a,a+255)
    
29.         if b != -1:
    
30.             img_addrs.append(html[a+9:b+4])
    
31.         else:
    
32.             b = a + 9
    
33.         a = html.find('img src=',b)
    
34. 
    
35.    
    
36. 
    
37. def save_imgs(folder,img_addrs):
    
38.     pass
    
39. 
    
40. def download_mm(folder='ooxx',pages=10):
    
41.     os.mkdir(folder)
    
42.     os.chdir(folder)
    
43. 
    
44.     url = "http://jandan.net/ooxx/"
    
45.     page_num = int(get_page(url))
    
46.    
    
47.     for i in range(pages):
    
48.         page_num -= i
    
49.         page_url = url + 'page-' + str(page_num) + '#comments'
    
50.         img_addrs = find_imgs(page_url)
    
51.         save_imgs(folder,img_addrs)
    
52.         
    
53. if __name__ == '__main__':
    
54.     download_mm()
    

复制代码

塔利班

妹子图人家网站资源挂了，你换个地方试试

ff174422523

塔利班 发表于 2018-3-5 00:03
妹子图人家网站资源挂了，你换个地方试试

。。。。。。。这么霉，，，，上来就遇到这种事。。。。

ff174422523

塔利班 发表于 2018-3-5 00:03
妹子图人家网站资源挂了，你换个地方试试

不对呀，兄弟，，我刚进去看了，，图能显示，我感觉报错的原因应该是网站设定了该问频率的检查，，代我用了代理后也不行，所以搞不懂了。

chakyam

原因是没加headers
【真·原因是你给了headers但是没用上去】
把url_open(url)里的response = urllib.request.urlopen(url)改成response = urllib.request.urlopen(req)即可解决现在的报错

然而就算你解决了这个报错也爬不到图片地址

ff174422523

chakyam 发表于 2018-3-5 09:10
原因是没加headers
【真·原因是你给了headers但是没用上去】
把url_open(url)里的response = urllib.req ...

兄弟，我的代码还没写完，就差保存图片那一段了，我想问一下，为何解决了headers也无法爬取到？

snail:)

煎蛋网设置了反爬虫，网站加密了，非人类访问需要知道他的加密方法才能顺利访问，加个headers已经不能解决问题了。你可以看看我主页上的爬取妹子图的代码

ff174422523

snail:) 发表于 2018-3-5 09:55
煎蛋网设置了反爬虫，网站加密了，非人类访问需要知道他的加密方法才能顺利访问，加个headers已经不能解决 ...

晕，好郁闷，。。。。。刚看了你主页上的妹子图代码，正则表达式我还没学完，很多不理解的，我先继续学习，，谢谢了

dahua123333

snail:) 发表于 2018-3-5 09:55
煎蛋网设置了反爬虫，网站加密了，非人类访问需要知道他的加密方法才能顺利访问，加个headers已经不能解决 ...

你的主页在哪里？

snail:)

dahua123333 发表于 2018-4-20 17:31
你的主页在哪里？

http://bbs.fishc.com/thread-105718-1-1.html

Kevin520Alex

煎蛋网被大家爬的都加密反爬虫了，哈哈哈

wenwen001

chakyam 发表于 2018-3-5 09:10
原因是没加headers
【真·原因是你给了headers但是没用上去】
把url_open(url)里的response = urllib.req ...

感谢，这个问题解决了