新手爬取妹子图，绝对领域！

littlev

1. #导入爬虫所需要的模块
   
2. from bs4 import BeautifulSoup
   
3. import requests
   
4. import os
   
5. import time
   
6. #获取网页信息
   
7. def get_page(url):
   
8.         try:
   
9.                 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36'
   
10.                 }
    
11.                 response = requests.get(url,headers=headers)
    
12.                 if response.status_code == 200:
    
13.                         return response.text
    
14.                 return None
    
15.         except RequestException:
    
16.                 return None
    
17. 
    
18. #解析主页，返回所有套图标题和链接
    
19. def parse_page(html):
    
20.         soup = BeautifulSoup(html,'lxml')
    
21.         title = soup.find_all('a',{'rel':'bookmark'})
    
22.         for t in title:
    
23.                         yield [t.get_text(),t.get('href')]#生成一个列表
    
24. 
    
25. #解析主页套图内图片链接                       
    
26. def parse_title(html):
    
27.         soup = BeautifulSoup(html,'lxml')
    
28.         allimg = soup.find_all('img',{'border':'0'})
    
29.         for img in allimg:
    
30.                         yield img.get('src')
    
31. 
    
32. def main(pagenumber):       
    
33.         url = 'https://www.jdlingyu.mobi/collection/meizitu/page/1' + str(pagenumber)
    
34.         html = get_page(url)
    
35.         for p in parse_page(html):
    
36.                 imageurl = get_page(p[1])
    
37.                 folder_path = './photo/' + p[0] + '/'#以标题命名文件夹民称
    
38.                 if os.path.exists(folder_path) == False:  # 判断文件夹是否已经存在
    
39.                         os.makedirs(folder_path)
    
40.                 for index,i in enumerate(parse_title(imageurl)):
    
41.                         down = requests.get(i)
    
42.                         img_name = folder_path + str(index) +'.png'
    
43.                         with open(img_name, 'wb') as file:  # 以byte形式将图片数据写入
    
44.                                 file.write(down.content)
    
45.                                 file.flush()
    
46.                         file.close()  # 关闭文件
    
47. 
    
48. if __name__ == '__main__':
    
49.         for i in range(2):#多少页自己决定
    
50.                 main(i)
    
51.                 time.sleep(1)

复制代码

刚入坑不久，尝试写了一个妹子图的爬虫。已经实现了翻页多页爬取，分标题存放图片文件。思路是先爬主页上套图的标题和链接，再解析链接中的图片，利用生成的列表为下载图片过程中创建以标题命名文件。爬单页速度55-60s左右，感觉代码可以优化，求指点。