感谢鱼c，终于爬到煎蛋妹妹图呢!（附源码）

有谁懂

按照旧版教程，终于爬到煎蛋的妹妹图了！
但由于新的煎蛋网站改变了page的格式以及图片url缺少http：，可能有的鱼油按老师的方法爬不到。
我把自己的源码给大家分享下，注意就是解决上面2个问题。
希望大家都能爬到自己喜欢的妹妹！

1. import urllib.request
   
2. import os
   
3. import base64
   
4. import time
   
5. 
   
6. #读取网站源码
   
7. def url_open(url):
   
8.     req = urllib.request.Request(url)
   
9.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')
   
10.     response = urllib.request.urlopen(req)
    
11.     html = response.read()
    
12.     return html
    
13. 
    
14. #读取页码url
    
15. def get_page(url):
    
16.     html = url_open(url).decode('utf-8')
    
17.     a = html.find("current-comment-page") + 23
    
18.     b = html.find(']', a)
    
19.     return html[a:b]
    
20. 
    
21. #读取图片url
    
22. def find_imgs(url):
    
23.     html = url_open(url).decode('utf-8')
    
24.     imgs_addrs = []
    
25.     a = html.find('img src=')
    
26.     while a != -1:
    
27.         b = html.find('.jpg', a, a+255)
    
28.         if b != -1:
    
29.             imgs_addrs.append("http:" + html[a+9:b+4])
    
30.         else:
    
31.             b = a + 9
    
32.         a = html.find('img src=', b)
    
33.     return imgs_addrs
    
34. 
    
35. #保存图片
    
36. def save_imgs(folder, img_addrs):
    
37.     i = 0
    
38.     for each in img_addrs:
    
39.         i += 1
    
40.         filename = each.split('/')[-1]
    
41.         with open(filename, 'wb') as f:
    
42.             img = url_open(each)
    
43.             f.write(img)
    
44. 
    
45. #将页码和日期加密为base64
    
46. def de_page(page_num):
    
47.     page_num = '20' + time.strftime('%y%m%d') + '-' + str(page_num)
    
48.     result = base64.b64encode(page_num.encode())
    
49.     result = result.decode('utf_8')
    
50.     return result
    
51. 
    
52. #爬取前pages页的.jpg文件
    
53. def download_mm(folder='ooxx', pages=10):
    
54.     os.mkdir(folder)
    
55.     os.chdir(folder)
    
56. 
    
57.     url = 'http://jandan.net/ooxx/'
    
58.     page_num = int(get_page(url))
    
59. 
    
60.     for each in range(pages):
    
61.         page_num -= each
    
62.         t_page = de_page(page_num)
    
63.         page_url = url + '%s#comments' % t_page
    
64.         img_addrs = find_imgs(page_url)
    
65.         save_imgs(folder, img_addrs)
    
66.         print(page_url)
    
67. 
    
68. if __name__ == '__main__':
    
69.     download_mm()

复制代码

有谁懂

但好像爬不完前10页呀，可能只有前2页，不知道哪里出问题了。
最后发现网站的page_url好像采用的动态base64转码，解码出来的格式为“20200514-xxx”
所以源码修改加密方法后终于正常了。

Chrisma

解决了吗？我也是只能爬前两页，不知道为啥。。。。

mbwsmdd

按楼主的方法终于爬成了，强迫症一本满足，谢谢楼主