最新煎蛋网妹子图爬虫

阿匠

刚接触爬虫，写的很粗糙。但是还是要纪念一下
大佬路过请指点迷津（有啥不足改进的地方）

1. import requests
   
2. import os
   
3. import base64
   
4. import datetime
   
5. def url_open(url):
   
6.     headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
   
7.     response=requests.get(url=url,headers=headers)
   
8.     html=response.content
   
9.     return html
   
10. #获取第一个加密后的地址
    
11. def get_page(url):
    
12.     html=url_open(url).decode()
    
13.     a=html.find('current-comment-page')+23
    
14.     b=html.find(']',a)
    
15.     num= html[a:b]
    
16.     now=datetime.date.today()
    
17.     if now.month<10:
    
18.         now=str(now.year)+'0'+str(now.month)+str(now.day)
    
19.     else:
    
20.         now=str(now.year)+str(now.month)+str(now.day)
    
21.     num=now+'-'+num
    
22.     first_url='http://jandan.net/ooxx/'+base64.b64encode(num.encode('utf-8')).decode()+'#comments'
    
23.     return first_url
    
24. 
    
25. #获取所有图片的真实地址
    
26. def get_img_url(url):
    
27.     html=url_open(url).decode()
    
28.     img_list=[]
    
29.     a=html.find('img src=')
    
30.     while a!=-1:
    
31.         b=b=html.find('.jpg',a,a+255)
    
32.         if b!=-1:
    
33.             img_url='http://'+html[a+11:b+4]
    
34.             img_list.append(img_url)
    
35.         else:
    
36.             b=a+11
    
37.         a=html.find('img src=',b)
    
38.         
    
39.     return img_list
    
40. 
    
41. #根据第一个加密地址获取下一个加密地址
    
42. def ch_url(url):
    
43.     temp=url.split('/')[4].split('#')[0]
    
44.     page=base64.b64decode(temp.encode('utf-8'))
    
45.     #
    
46.     now=datetime.date.today()
    
47.     if now.month<10:
    
48.         now=str(now.year)+'0'+str(now.month)+str(now.day)
    
49.     else:
    
50.         now=str(now.year)+str(now.month)+str(now.day)
    
51.     next_page=int(page.decode().split('-')[1])-1
    
52.     new_page=now+'-'+str(next_page)
    
53.     #
    
54.     new_page=base64.b64encode(new_page.encode('utf-8')).decode()
    
55.     new_url='http://jandan.net/ooxx/'+new_page+'#comments'
    
56.     return new_url
    
57. #获取所有加密地址并储存在列表中
    
58. def get_all(url,pages):
    
59.     url_list=[]
    
60.     first_url=get_page(url=url)
    
61.     url_list.append(first_url)
    
62.     for i in range(pages-1):
    
63.         new_url=ch_url(url=first_url)
    
64.         url_list.append(new_url)
    
65.         first_url=new_url
    
66.     return url_list
    
67. #储存图片
    
68. def save_img(img_list):
    
69.     for each in img_list:
    
70.         html=url_open(each)
    
71.         filename=each.split('/')[-1]
    
72.         with open(filename,'wb')as f:
    
73.             f.write(html)
    
74. #主函数
    
75. def download_mm(folder='ooxx',pages=10):
    
76.     os.mkdir(folder)
    
77.     os.chdir(folder)
    
78.     url='http://jandan.net/ooxx'
    
79.     url_list=get_all(url=url,pages=pages)
    
80.     for each in url_list:
    
81.         img_list=get_img_url(each)
    
82.         save_img(img_list)   
    
83. if __name__=='__main__':
    
84.     download_mm(folder=input('请输入要保存的文件夹名'),pages=int(input('请输入需要爬取的页数')))
    
85. 
    
86. 
    
87. 
    
88. 
    

复制代码