第56课，论一只爬虫的自我修养4：OOXX，代码报错，请指导，谢谢。

ff174422523

大家好，现我按照小甲鱼老师的方法下载妹子图时报错，报错内容与代码如下，还请指导，谢谢。，视频课程“第56课，论一只爬虫的自我修养4：OOXX”，
现在执行代码时报错如下
Traceback (most recent call last):
  File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 54, in <module>
    download_mm()
  File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 45, in download_mm
    page_num = int(get_page(url))
  File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 13, in get_page
    html = url_open(url).decode('utf-8')
  File "C:/Users/Misq/AppData/Local/Programs/Python/Python36/jiandan.py", line 7, in url_open
    response = urllib.request.urlopen(url)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 532, in open
    response = meth(req, response)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 642, in http_response
    'http', request, response, code, msg, hdrs)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 570, in error
    return self._call_chain(*args)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Users\Misq\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 650, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
我的代码如下

import urllib.request
import os

def url_open(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0')
    response = urllib.request.urlopen(url)
    html = response.read()

    return html

def get_page(url):
    html = url_open(url).decode('utf-8')

    a = html.find('current-comment-page') + 23
    b = html.find(']',a)

    return html[a:b]
    

def find_imgs(url):
    html = url_open(url).decode('utf-8')
    img_addrs = []

    a = html.find('img src=')

    while a != -1:
        b = html.find('.jpg',a,a+255)
        if b != -1:
            img_addrs.append(html[a+9:b+4])
        else:
            b = a + 9
        a = html.find('img src=',b)

    

def save_imgs(folder,img_addrs):
    pass

def download_mm(folder='ooxx',pages=10):
    os.mkdir(folder)
    os.chdir(folder)

    url = "http://jandan.net/ooxx/"
    page_num = int(get_page(url))
    
    for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) + '#comments'
        img_addrs = find_imgs(page_url)
        save_imgs(folder,img_addrs)
        
if __name__ == '__main__':
    download_mm()

塔利班

妹子图人家网站资源挂了，你换个地方试试

ff174422523

塔利班 发表于 2018-3-5 00:03
妹子图人家网站资源挂了，你换个地方试试

。。。。。。。这么霉，，，，上来就遇到这种事。。。。

ff174422523

塔利班 发表于 2018-3-5 00:03
妹子图人家网站资源挂了，你换个地方试试

不对呀，兄弟，，我刚进去看了，，图能显示，我感觉报错的原因应该是网站设定了该问频率的检查，，代我用了代理后也不行，所以搞不懂了。

chakyam

原因是没加headers
【真·原因是你给了headers但是没用上去】
把url_open(url)里的response = urllib.request.urlopen(url)改成response = urllib.request.urlopen(req)即可解决现在的报错

然而就算你解决了这个报错也爬不到图片地址

ff174422523

chakyam 发表于 2018-3-5 09:10
原因是没加headers
【真·原因是你给了headers但是没用上去】
把url_open(url)里的response = urllib.req ...

兄弟，我的代码还没写完，就差保存图片那一段了，我想问一下，为何解决了headers也无法爬取到？

snail:)

煎蛋网设置了反爬虫，网站加密了，非人类访问需要知道他的加密方法才能顺利访问，加个headers已经不能解决问题了。你可以看看我主页上的爬取妹子图的代码

ff174422523

snail:) 发表于 2018-3-5 09:55
煎蛋网设置了反爬虫，网站加密了，非人类访问需要知道他的加密方法才能顺利访问，加个headers已经不能解决 ...

晕，好郁闷，。。。。。刚看了你主页上的妹子图代码，正则表达式我还没学完，很多不理解的，我先继续学习，，谢谢了

dahua123333

snail:) 发表于 2018-3-5 09:55
煎蛋网设置了反爬虫，网站加密了，非人类访问需要知道他的加密方法才能顺利访问，加个headers已经不能解决 ...

你的主页在哪里？

snail:)

dahua123333 发表于 2018-4-20 17:31
你的主页在哪里？

http://bbs.fishc.com/thread-105718-1-1.html

Kevin520Alex

煎蛋网被大家爬的都加密反爬虫了，哈哈哈

wenwen001

chakyam 发表于 2018-3-5 09:10
原因是没加headers
【真·原因是你给了headers但是没用上去】
把url_open(url)里的response = urllib.req ...

感谢，这个问题解决了