爬虫煎蛋的无聊图

麻麦皮

学习了小甲鱼爬虫OOXX，由于年代久远，爬取煎蛋有一定的变化。不过煎蛋的妹子图被和谐了，变成了随手拍，那么我就随便爬取隔壁的无聊图吧。
提供给看视频看到爬虫篇想爬煎蛋的同学。
暴力观察煎蛋图网址，发现页数和网址的变化有以下规律

1. #煎蛋网无聊图网址：'http://jandan.net/pic/MjAyMDA0MTUtM'+list0+list1+list2+'#comments'
   
2. list0 = ['D', 'T', 'j', 'z']
   
3. list1 = ['A', 'E', 'I', 'M', 'Q', 'U', 'Y', 'c', 'g', 'k']
   
4. list2 = ['w', 'x', 'y', 'z', '0', '1', '2', '3', '4', '5']
   
5. #例如页数为197，那么197的1为list0[1]，197的9为list1[9]，197的7为list2[7]，那么页数197的网址为http://jandan.net/pic/MjAyMDA0MTUtMTk3#comments
   

复制代码

新用户上传不了图片...
既然如此，那么就动手吧

1. import urllib.request
   
2. import os
   
3. 
   
4. list0 = ['D', 'T', 'j', 'z']
   
5. list1 = ['A', 'E', 'I', 'M', 'Q', 'U', 'Y', 'c', 'g', 'k']
   
6. list2 = ['w', 'x', 'y', 'z', '0', '1', '2', '3', '4', '5']
   
7. 
   
8. def url_open(url):
   
9.     req = urllib.request.Request(url)
   
10.     req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36')
    
11. 
    
12.     response = urllib.request.urlopen(req)
    
13.     html = response.read()
    
14. 
    
15.     #print(html)    #测试用
    
16. 
    
17.     return html
    
18. 
    
19. def get_page(url):
    
20.     html = url_open(url).decode('utf-8')
    
21.    
    
22.     a = html.find('current-comment-page')+23
    
23.     b = html.find(']', a)
    
24.    
    
25.     #print(html[a: b])   #测试用
    
26. 
    
27.     return html[a: b]
    
28. 
    
29. def find_imgs(url):
    
30.     html = url_open(url).decode('utf-8')
    
31.     img_addrs = []
    
32. 
    
33.     a = html.find('img src=')
    
34.     while a != -1:
    
35.         b = html.find('.jpg', a, a+255)
    
36.         if b != -1:
    
37.             img_addrs.append('http:' + html[a + 9: b + 4])        #Chrome会屏蔽http，自己加上
    
38.         else:
    
39.             b = a + 9
    
40.         a = html.find('img src=', b)
    
41. 
    
42.     #for each in img_addrs: #测试用
    
43.         #print(each)
    
44. 
    
45.     return img_addrs
    
46. 
    
47. def save_imgs(folder, img_addrs):
    
48.     for each in img_addrs:
    
49.         filename = each.split('/')[-1]
    
50.         with open(filename, 'wb') as f:
    
51.             img = url_open(each)
    
52.             f.write(img)
    
53. 
    
54. def download(folder = 'pic', start = 0, pages = 10):    #新增功能开始爬的页数，注意爬取顺序是从后往前爬
    
55.     os.mkdir(folder)
    
56.     os.chdir(folder)
    
57.    
    
58.     url='http://jandan.net/pic/'
    
59. 
    
60.     if start<pages:
    
61.         return '错误，爬取页数太多'
    
62.     elif start>0:
    
63.         page_num = int(start)
    
64.     else:
    
65.         page_num = int(get_page(url))
    
66. 
    
67.     for i in range(pages):
    
68.         page_num -= i
    
69.         page_url = url+'MjAyMDA0MTUtM' + str(list0[page_num//100%10%4]) + str(list1[page_num//10%10]) + str(list2[page_num%10]) + '#comments'        #取百位数字+取十位数字+取个位数字
    
70.         img_addrs = find_imgs(page_url)
    
71.         save_imgs(folder, img_addrs)
    

复制代码

运行起来，输入download()，默认爬取最新页数往前的10页。
输入download(start=50,pages=3)，爬取50、49、48页。

将军床上请

厉害 谢谢！