论一只爬虫的自我修养第56讲

kuangkuang

在56讲中出现的两个问题：
1. 在程序使用代理时，总是出现这样的错误提示：
Traceback (most recent call last):
  File "D:\2MyFiles\2Study\Python\E056.py", line 72, in <module>
    download_mm()
  File "D:\2MyFiles\2Study\Python\E056.py", line 63, in download_mm
    page_num = int(get_page(url))
  File "D:\2MyFiles\2Study\Python\E056.py", line 24, in get_page
    html = url_open(url).decode('utf-8')
  File "D:\2MyFiles\2Study\Python\E056.py", line 17, in url_open
    response = urllib.request.urlopen(url)
  File "D:\1ProgramFiles\Python\lib\urllib\request.py", line 153, in urlopen
    return opener.open(url, data, timeout)
  File "D:\1ProgramFiles\Python\lib\urllib\request.py", line 461, in open
    response = meth(req, response)
  File "D:\1ProgramFiles\Python\lib\urllib\request.py", line 571, in http_response
    'http', request, response, code, msg, hdrs)
  File "D:\1ProgramFiles\Python\lib\urllib\request.py", line 499, in error
    return self._call_chain(*args)
  File "D:\1ProgramFiles\Python\lib\urllib\request.py", line 433, in _call_chain
    result = func(*args)
  File "D:\1ProgramFiles\Python\lib\urllib\request.py", line 579, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

请问，这是代理的问题吗？
2. 即使不使用代理，程序运行时，为什总是只能下载第一个页面的图片。错误提示如下：Traceback (most recent call last):
  File "D:\2MyFiles\2Study\Python\E056.py", line 72, in <module>
    download_mm()
  File "D:\2MyFiles\2Study\Python\E056.py", line 69, in download_mm
    save_imgs(folder, img_addrs)
  File "D:\2MyFiles\2Study\Python\E056.py", line 53, in save_imgs
    with open(filename, 'wb') as f:
OSError: [Errno 22] Invalid argument: 'script><!-- 56fanli -->\r\n<script>\r\nvar str=new Array("01.jpg'
这是什么问题呀？不知道大家遇到这种现象了没有？

hongchh

建议楼主看下这篇，切换代理这个思路还是值得学习的
自动抓取代理IP并智能更换IP爬妹子图
http://bbs.fishc.com/thread-61650-1-1.html
(出处: 鱼C论坛)

Reed

1， 403 forbidden，猜测可能是你没有加header，就是User-Agent: Mozilla/5.0
2， with open出错了，有可能是你第二页匹配上的地址不是一个jpg图片，所以写入的时候错了

kuangkuang

Reed 发表于 2015-6-1 00:28
1， 403 forbidden，猜测可能是你没有加header，就是User-Agent: Mozilla/5.0
2， with open出错了，有可 ...

首先，十分感谢你的回复。我是个python的初学者，好多东西都不懂。这一讲完全是按小甲鱼老师的视频里的程序码，可是运行结果却跟小甲鱼老师的很不一样，具体就是上面说的情况。刚开始，以为我码的程序有问题，对着视频看了几遍，依然是这样。最后，购买了vip权限，用小甲鱼老师给的程序依旧是这个出现了上面的问题。所以，最终真的不知道怎么办了，就来第一次发帖求助。谢谢！

Reed

kuangkuang 发表于 2015-6-1 08:12
首先，十分感谢你的回复。我是个python的初学者，好多东西都不懂。这一讲完全是按小甲鱼老师的视频里的程 ...

如果代码一模一样的话，那我就不知道了，
但是你需要知道的是，肯定是人错了，计算机不会错

kuangkuang

好的，非常感谢你的回答。我猜测第一个问题是不是代理Ip有问题，对于第二个问题，我是一点都摸着头脑。希望你有时间能运行一下这节课当中小甲鱼老师的视频，看在你那里能运行不？非常感谢！

xia125602

和楼主一样的菜鸟，第56集，爬煎蛋网妹子图，最后用上代理以后爬下来的图片和妹子图没关系，这是什么原因照成的。。知道的大神麻烦讲解下谢谢啦

kuangkuang

xia125602 发表于 2015-6-1 16:32
和楼主一样的菜鸟，第56集，爬煎蛋网妹子图，最后用上代理以后爬下来的图片和妹子图没关系，这是什么原因照 ...

请问你能用代理吗？还有我的程序怎么能下载第一页的图片呢？

ww2010

我也遇到了第二个问题，请问你解决了吗

hongchh

应该是煎蛋网现在有防爬虫了

莫名其

第一个是没有加user-angent
第二个是因为找图片地址的时候，b查找范围太大，把一些前面没img src的图片加了进去，把b的查找范围改成a+140就可以了

词汇族

我也碰到一样的问题，求解答，顶楼主！！！！