One Day

黑盒子

1. import urllib.request
   
2. import os
   
3. import re
   
4. import base64
   
5. 
   
6. def url_open(url):
   
7.     # 添加文件头
   
8.     req = urllib.request.Request(url)
   
9.     req.add_header('User-Agent',
   
10.                    'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36')
    
11.     # 访问页面
    
12.     response = urllib.request.urlopen(req)
    
13.     html = response.read()
    
14.     return html
    
15. 
    
16. # 获取页码
    
17. def get_page(url):
    
18.     html = url_open(url).decode('utf-8')
    
19.     a = r'<span class="current-comment-page">\[(\d+)]'
    
20.     num = re.findall(a,html)
    
21.     return num[0]
    
22. 
    
23. # 获取图片地址
    
24. def find_imgs(url):
    
25.     html = url_open(url).decode('utf-8')
    
26.     a = r'<img src="([^"]+\.jpg)"'
    
27.     img_urls = re.findall(a,html)
    
28.     return img_urls
    
29. 
    
30. # 保存图片
    
31. def save_imgs(folder, img_addrs):
    
32.     for each in img_addrs:
    
33.         filename = each.split('/')[-1]
    
34.         with open(filename,'wb') as f:
    
35.             each_url = 'http:' + each
    
36.             img = url_open(each_url)
    
37.             f.write(img)
    
38. 
    
39. def download_mm(folder='ooxx', pages=20):
    
40.     # 创建文件夹
    
41.     os.mkdir(folder)
    
42.     # 保存文件夹
    
43.     os.chdir(folder)
    
44. 
    
45.     url = 'http://jandan.net/ooxx/'
    
46.     # 获取页码
    
47.     page_num = int(get_page(url))
    
48. 
    
49.     for i in range(pages):
    
50.         page_num -= 1
    
51.         # 进行base64加密
    
52.         num = '20200901-' + str(page_num)
    
53.         bytes_num = num.encode('utf-8')
    
54.         str_num = base64.b64encode(bytes_num).decode('utf-8')
    
55.         # 获取下一页地址
    
56.         page_url = url + str_num + '#comments'
    
57.         # 获取页面内图片地址
    
58.         img_addrs = find_imgs(page_url)
    
59.         # 保存页面到指定的文件夹
    
60.         save_imgs(folder, img_addrs)
    
61.         # 完毕
    
62.         print("煎蛋网第%d页爬取完毕！" % page_num)
    
63.     print("结束退出！^_^")
    
64. 
    
65. # 调用主函数
    
66. if __name__ == '__main__':
    
67.     download_mm()

复制代码

主题：煎蛋网随手拍
方法：re正则表达式、os模块文件的函数、base64解加密
问题1：如何用xpath方法来摹写正则表达式的代码部分呢？
问题2：还可以再进行优化！

每次回帖奖励: 1鱼币, 奖励 10次, 每人最多可获得 1次, 中奖率 50%

黑盒子

hey tui

开心小傻猪

鱼币

心驰神往

hornwong

fall_bernana

真有渔币。。。

1336069416

HLIA

风过无痕1989

鱼币？

cabo

心驰神往

支持

wzdr

wzdr

Chysial

一群为了鱼币的家伙，我只是本着批判的眼光来看待问题，如果楼主给个鱼币，我也会说一句真香。

哎呦喂喂

学习学习

芒果鹏

鱼币