鱼C论坛

 找回密码
 立即注册
查看: 12374|回复: 2

[已解决]爬虫下载妹子图,访问网址失败

[复制链接]
发表于 2016-3-13 17:22:01 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
这个是我写的代码,还只是做了一半:
import urllib.request
import os


def get_page(url):
    req = urllib.request.Request(url)
    req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0')
    response = urllib.request.urlopen(url)
    html = response.read().decode('utf-8')

    a = html.find('current-comment-page') + 23
    b = html.find(']',a)

    print(html[a:b])

def find_imgs(page_url):
    pass

def save_img(img_addrs):
    pass
   

def download_mm(folder = 'OOXX',pages = 10):
    if not os.path.exists(folder):
        os.mkdir(folder)
   
    os.chdir(folder)

    url = 'http://jandan.net/ooxx'
    page_name = get_page(url)

    for i in range(pages):
        page_num -= i
        page_url = url + 'page-' + str(page_num) +'#comments'
        img_addrs = find_imgs(page_url)
        save_img(folder,img_addrs)

if __name__ == '__main__':
    download_mm()


报错的信息是这样的:
Traceback (most recent call last):
  File "D:/python/代码/jiandan_net_mm.py", line 39, in <module>
    download_mm()
  File "D:/python/代码/jiandan_net_mm.py", line 30, in download_mm
    page_name = get_page(url)
  File "D:/python/代码/jiandan_net_mm.py", line 8, in get_page
    response = urllib.request.urlopen(url)
  File "D:\python\lib\urllib\request.py", line 162, in urlopen
    return opener.open(url, data, timeout)
  File "D:\python\lib\urllib\request.py", line 471, in open
    response = meth(req, response)
  File "D:\python\lib\urllib\request.py", line 581, in http_response
    'http', request, response, code, msg, hdrs)
  File "D:\python\lib\urllib\request.py", line 503, in error
    result = self._call_chain(*args)
  File "D:\python\lib\urllib\request.py", line 443, in _call_chain
    result = func(*args)
  File "D:\python\lib\urllib\request.py", line 686, in http_error_302
    return self.parent.open(new, timeout=req.timeout)
  File "D:\python\lib\urllib\request.py", line 471, in open
    response = meth(req, response)
  File "D:\python\lib\urllib\request.py", line 581, in http_response
    'http', request, response, code, msg, hdrs)
  File "D:\python\lib\urllib\request.py", line 509, in error
    return self._call_chain(*args)
  File "D:\python\lib\urllib\request.py", line 443, in _call_chain
    result = func(*args)
  File "D:\python\lib\urllib\request.py", line 589, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

请教各位大声这是怎么回事呢,我自己的电脑访问www.jiandan.net这个网址是没有问题的
最佳答案
2016-3-13 17:55:37
http://bbs.fishc.com/forum.php?m ... peid%26typeid%3D392
你可以看这个网址,有人解决了
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-3-13 17:52:03 | 显示全部楼层
HTTPError: HTTP Error 403: Forbidden
说明你ip被网站拉黑了,可能原因之一是:你在一定时间内访问网站次数过多。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2016-3-13 17:55:37 | 显示全部楼层    本楼为最佳答案   
http://bbs.fishc.com/forum.php?m ... peid%26typeid%3D392
你可以看这个网址,有人解决了

评分

参与人数 1荣誉 +3 鱼币 +5 收起 理由
~风介~ + 3 + 5 感谢楼主无私奉献!

查看全部评分

小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-20 04:08

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表