MMJPG 爬取全部妹子图片

xule1111

1. import requests
   
2. from lxml import etree
   
3. from bs4 import BeautifulSoup
   
4. import random
   
5. import string
   
6. import os
   
7. import time
   
8. for a in range(2,102):
   
9.     html = 'http://www.mmjpg.com/home/'+str(a)
   
10.     #print (html)
    
11.     headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36','Referer': "http://www.mmjpg.com"}
    
12. 
    
13.     html = requests.get(html,headers=headers)
    
14.     data = etree.HTML(html.content)
    
15.     img_url = data.xpath('//li/a')
    
16.     for a in img_url[0:len(img_url)]:#len(img_url)
    
17.         
    
18.         url1=a.get('href')
    
19.         
    
20.         #print (url1)
    
21.         
    
22.         
    
23.         for b in range(2,50):
    
24.             jpg_url = url1+'/'+str(b)
    
25.             #print (jpg_url)
    
26.             html = requests.get(jpg_url,headers=headers)
    
27.             data = etree.HTML(html.content)
    
28.             img_url = data.xpath('//img')
    
29.             for c in img_url[0:1]:
    
30.                 jpg_url = c.get('data-img')
    
31.                 name =c.get('alt')
    
32.                 name=name.split()[0]
    
33.                 #print (jpg_url)
    
34.                 #print (name)
    
35.                 isExists = os.path.exists(name) #设置目录名判断是否已有目录
    
36. 
    
37.                 if isExists:
    
38.                     pass
    
39.                    #print('名字叫做', title, '的文件夹已经存在了')
    
40.                 else:
    
41.                     os.makedirs(name)#建立目录
    
42.                     #print('建一个名字叫做', title, '的文件夹')
    
43. 
    
44.                 jpg_name =('./')+name+'/'+jpg_url.split('/')[-1]#random.choice('abcdefghijklmnopqrstuvwxyz')str(random.randint(1,100000))+
    
45.                 #print (jpg_name)
    
46.                 img = requests.get(jpg_url,headers=headers)
    
47.                 with open(jpg_name, 'wb') as f:#必须加b二进制打开
    
48.                     f.write(img.content) #写入图片或文件加上content，普通文本不加
    
49.                     f.close()
    
50.                     time.sleep(0.1)
    
51.                        
    
52. #爬一段时间会出错，可能需要验证，待验证
    
53. #稍微修改一下可以爬取第一页妹子
    

复制代码