requests+beautifulsoup 使用select/ccs选择器爬取

加冰青柠檬

                        新人第一次发帖，跟着甲鱼老师学习了这么久，刚开始只是为了参加大学生数学建模比赛学习python爬虫，入坑之后跟着甲鱼老师复习了一下C语言，后来又跟着小甲鱼学习数据结构与算法，然后又跟了零基础入门学习python，现在终于开始了我一开始的目的，爬取了妹子图的网站推荐图片，这也是第一次我自主的完成爬虫实战，妹子什么的不重要，主要就是和大家交流交流技术，有什么不到位还请大家指点指点
模块清单：
        requests
        BeautifulSoup
        lxml

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import lxml
   
4. import os
   
5. 
   
6. 
   
7. 
   
8. def get_home_url(home_url):
   
9.     headers={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36"}
   
10.     res=requests.get(home_url,headers=headers)
    
11.     soup=BeautifulSoup(res.text,"lxml")
    
12.     soup_mm_url=soup.select(".postlist #pins .lazy  ")
    
13.     return soup_mm_url
    
14. 
    
15. 
    
16. 
    
17. def get_mm_url(soup_mm_url):
    
18.     load_url = {}
    
19.     for count in soup_mm_url:
    
20.         # print(count.get("data-original"))
    
21.         load_url[count.get("alt")]=count.get("data-original")
    
22.         # print(count.get("alt"))
    
23.     save_img(load_url)
    
24. 
    
25. def os_op():
    
26.     os.mkdir("XXOO_max")
    
27.     os.chdir("XXOO_max")
    
28. 
    
29. # print(load_url)
    
30. def save_img(load_url):
    
31.     for i in load_url:
    
32.         url=load_url[i]
    
33.         headers_mm={"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.100 Safari/537.36",
    
34.             "referer": "https://www.mzitu.com/"}
    
35.         resp=requests.get(url,headers=headers_mm)
    
36.         filename=i+".jpg"
    
37.         # print(filename)
    
38.         with open(filename,"wb") as fp:
    
39.             fp.write(resp.content)
    
40. 
    
41. def main():
    
42.     os_op()
    
43.     for page in range(2,10):
    
44.         home_url = "https://www.mzitu.com/page/"
    
45.         home_url=home_url+str(page)
    
46.         print("开始爬取第%d页图片"%page)
    
47.         print(home_url)
    
48.         soup_mm_url=get_home_url(home_url)
    
49.         get_mm_url(soup_mm_url)
    
50. 
    
51. if __name__ == "__main__":
    
52.     main()

复制代码

另外爬完之后我笔记本的网断了，？？？，不会是我家路由器担心的身体吧，，，现在我用的是手机热点，各位鱼油有什么好办法吗