关于一只爬虫的自我修养的bug疑问

纯洁老中医

最近买了小甲鱼老师的书籍看到爬虫这一章节时有一个例子，我觉得有一个bug，但是不知道怎么解决（自认为有bug）：
题目：爬取  http://jandan.net/ooxx/ 这个网站的jpg图片时出现的一个bug。
先贴程序：

1. #!/usr/bin/env python
   
2. #coding:utf-8
   
3. import urllib.request
   
4. import os
   
5. 
   
6. def url_open(url):
   
7.     req = urllib.request.Request(url)
   
8.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36')
   
9.     res = urllib.request.urlopen(req)
   
10.     html = res.read()
    
11.     return html
    
12. 
    
13. def get_page(url):
    
14.     html = url_open(url).decode('utf-8')
    
15.     a = html.find('current-comment-page') + 23
    
16.     b = html.find(']',a)
    
17.     # print(html[a:b])
    
18.     return html[a:b]
    
19. 
    
20. def find_image(url):
    
21.     html = url_open(url).decode('utf-8')
    
22.     img_addr = []
    
23.     a = html.find('img src=')
    
24.     while  a != -1:
    
25.         b = html.find('.jpg',a,a+255)
    
26.         if b != -1:
    
27.             img_addr.append(html[a+11:b+4])
    
28.         else:
    
29.             b = a + 9
    
30.         a = html.find('img src=//',b)
    
31.     return img_addr
    
32. 
    
33. def save_img(img_addr):
    
34.     for each in img_addr:
    
35.         filename = each.split('/')[-1]
    
36.         print(filename)
    
37.         with open(filename,'wb') as f:
    
38.             url = 'http://' + each
    
39.             img = url_open(url)
    
40.             f.write(img)
    
41. 
    
42. def download_mm(folder='C:\\Users\\Pictures\\network_picture',pages=30):
    
43.     if not os.path.exists(folder):
    
44.         os.mkdir(folder)
    
45.     os.chdir(folder)
    
46.     url = 'http://jandan.net/ooxx/'
    
47.     page_num = int(get_page(url))
    
48.     for i in range(pages):
    
49.         page_num -= i
    
50.         page_url = url + 'page-' + str(page_num) + '#comments'
    
51.         img_addr = find_image(page_url)
    
52.         save_img(img_addr)
    
53. 
    
54. if __name__ == '__main__':
    
55.     download_mm()

复制代码

执行报错：
.....
  File "C:\Python\Python36\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Python\Python36\lib\urllib\request.py", line 650, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
  urllib.error.HTTPError: HTTP Error 404: Not Found


上面的报错是基于pages 出现的。
根据断点调试以后，发现，当pages 小于15的时候就不会报错。

由于自己才学，经过不断的推敲，发现是 page_num -= i 这里有误，为什么呢?
假如 初始page_num = 208 ，range开始循环的时候，0,1，2,3,4，
那么page_num 的值是，208，207,205,202，198 193，......,-2 -23
但是 页的 pagesize  不存在 负数因此会报错。
所以应该是： page_num -= 1，而pages 只是用来循环访问多少个页面的次数。
（注释：前面一直报错没有想出来，但是后面在自己慢慢提问题，然后去研究的时候发现就是这里的问题，因此，分享出来给大家看看）

纯洁老中医

还有，我发现，每一页只能爬取一张图片..，我的感觉是要计算这一页有多少个img src  然后计算出总的以后，然后再去循环取出来，现在还不会

gopythoner

翻页一般有2中方式
第一种是知道有多少页，也就是能直接得到总页数，然后去循环
第二种是不知道总页数，但是能够得到下一页的url，使用递归去翻页

tich

试了一下，代码放到github了，保存了所有图片的原图链接
至于下载图片，正如我在README中写的，还不如放到迅雷来下
https://github.com/LewisTian/Crawler/blob/master/fishC/jandan.py

纯洁老中医

gopythoner 发表于 2017-10-20 11:30
翻页一般有2中方式
第一种是知道有多少页，也就是能直接得到总页数，然后去循环
第二种是不知道总页数， ...

嗯呢，就是要 get 到总的页数！

纯洁老中医

tich 发表于 2017-10-20 22:42
试了一下，代码放到github了，保存了所有图片的原图链接
至于下载图片，正如我在README中写的，还不如放到 ...

一会去看看！