python爬取小姐姐的图片

小菜鸟FLY

1. import urllib.request
   
2. import re
   
3. import os
   
4. 
   
5. folder = 'photo_pa_chong_mm2'
   
6. os.mkdir(folder)#创建当前目录
   
7. os.chdir(folder)#修改当前文件夹，变为当前工作目录
   
8. 
   
9. 
   
10. 
    
11. for num in range(17):
    
12.     if num>0:
    
13.         url = "https://www.jpxgmn.top/MiiTao/MiiTao13958_"+str(num)+".html"
    
14. 
    
15.         req = urllib.request.Request(url)
    
16.         req.add_header('User_Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3868.400 QQBrowser/10.8.4394.400')
    
17.         page = urllib.request.urlopen(req)
    
18.         html = page.read().decode('UTF-8')
    
19. 
    
20.         #/uploadfile/202005/4/4121555610.jpg
    
21.         p = r'/uploadfile/.+?jpg'
    
22.         name = re.findall(p,html)
    
23.         for i in name:
    
24.             site = "https://jp.plmn5.com"+str(i)
    
25. 
    
26.             req2 = urllib.request.Request(site)
    
27.             req2.add_header('User_Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3868.400 QQBrowser/10.8.4394.400')
    
28.             page2= urllib.request.urlopen(req2)
    
29.             photo = page2.read()
    
30.             filename = i.split("/")[-1]
    
31.             with open(filename,'wb') as f:
    
32.                 f.write(photo)
    
33. 
    

复制代码

代码美中不足的是对于不同页只能找规律去下载，用正则表达式能够找到地址，但是无法再次获得网页的源代码，大神来优化优化，直接从网址的第一页下载不同的小姐姐。

wsndc

为什么我没报错，但也没执行成功

chenduanyun

小菜鸟FLY 发表于 2021-8-16 17:20
我还是一个小萌新，请大佬提出宝贵的意见！

了解一下asyncio和aiohttp，异步爬取，速度直接翻百倍~

小菜鸟FLY

我还是一个小萌新，请大佬提出宝贵的意见！

小菜鸟FLY

这个可以直接用