煎蛋网爬妹子图

白two

刚学了煎蛋网爬图片，由于煎蛋网改了，所以很多东西和小甲鱼录视频的时候不一样，就没按小甲鱼的来，感觉模块化还是没做好
代理ip就自己找了，因为只用了一个ip，所以加了个time模块防止被封

1. import requests
   
2. import bs4
   
3. import time
   
4. import os
   
5. 
   
6. #请求头
   
7. headers ={}
   
8. headers['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'
   
9. 
   
10. #代理IP
    
11. proxies = {'https':'175.146.211.249:9999'}
    
12. 
    
13. #初始网址
    
14. url = 'http://i.jandan.net/ooxx'
    
15. 
    
16. #现在的煎蛋网址里面的页码不是page=多少了
    
17. #获得下一页网址，每一页网页源代码里面都有有下一页地址
    
18. def get_site(url):
    
19.     response = requests.get(url,headers =headers,proxies = proxies)
    
20.     soup = bs4.BeautifulSoup(response.text,'html.parser')
    
21.     item = soup.find('a',title='Older Comments')
    
22.     link = item.get('href')
    
23.     return 'http:'+link
    
24.    
    
25. #下载每一页的图片，图片地址在网页源代码里面
    
26. def download_mm(url,):
    
27.     response = requests.get(url,headers =headers,proxies = proxies)
    
28.     soup = bs4.BeautifulSoup(response.text,'html.parser')
    
29.     items = soup.select('div.commenttext a')
    
30.     for each in items:
    
31.         link = each['href']
    
32.         res = requests.get('http:'+link)
    
33.         mm_img = res.content
    
34.         with open('mm-{}.jpg'.format(link[-9:-5]),'wb') as f:
    
35.             f.write(mm_img)
    
36. 
    
37. folder=input('请输入文件名：')
    
38. os.mkdir(folder)
    
39. os.chdir(folder)
    
40. 
    
41. n = int(input('请输入要爬取多少页图片：'))
    
42. 
    
43. for i in range(n):
    
44.     download_mm(url)
    
45.     url = get_site(url)
    
46.     time.sleep(1)

复制代码