异步协程爬妹子—效率真的提高了亿点点！

1589895304

异步协程爬妹子，下载速度杠杠滴！内容我就不多说了，祝大伙身体健康

1. 
   
2. import requests
   
3. from lxml import etree
   
4. import os
   
5. import aiofiles
   
6. import aiohttp
   
7. import asyncio
   
8. import re
   
9. from bs4 import BeautifulSoup
   
10. import os.path
    
11. 
    
12. jpg = re.compile(r'https.*?jpg',re.S)
    
13. div = re.compile(r'div class=.*?div class="clear"',re.S)
    
14. #jpg = re.compile(r'div class="single-content".*?(?P<jpg>https.*{0,}jpg)div class="clear"',re.S)
    
15. 
    
16. async def dowload(url ):
    
17.     async with aiohttp.ClientSession() as session:
    
18.         async with session.get(url) as resp:
    
19.             response = await resp.text()
    
20.             html = BeautifulSoup(response,"html.parser")
    
21.             div = html.find('div',class_="single-content")
    
22.             jp = div.find_all("p")
    
23.             for i in jp:
    
24.                 img = i.find("img")
    
25.                 jpg = img.get("src")
    
26.                 name = jpg.split("/")[-2]+jpg.split("/")[-1]
    
27.                 async with session.get(jpg) as res:
    
28.                     async with aiofiles.open(name,"wb")as f:
    
29.                         await f.write(await res.content.read())
    
30.                
    
31. 
    
32. 
    
33. 
    
34. def callback(future):
    
35.     print(future.result())
    
36. 
    
37. 
    
38. async def geturl():
    
39.    
    
40.     resp = requests.get(url)
    
41.     tree = etree.HTML(resp.text)
    
42.     lis = tree.xpath('//*[@id="main"]/article')
    
43.     tasks = []
    
44.     for li in lis:
    
45.         link = li.xpath('./div/figure/span/a/@href')[0]
    
46.         name = li.xpath('./div/figure/span/a/img/@alt')[0]
    
47.         #拿到所有的url 开始准备异步任务
    
48.         task = asyncio.create_task(dowload(link))
    
49.         task.add_done_callback(callback)
    
50.         tasks.append(task)
    
51. 
    
52.     await asyncio.wait(tasks)
    
53. 
    
54. 
    
55. if __name__ == '__main__':
    
56. 
    
57.    
    
58.     y_url = "http://www.liangtulaile.com"
    
59.     dic = {"性感": "/xinggan/", "尤物": "/youwu/", "制服": "/zhifu/", "丝袜": "/siwa/",
    
60.        "清纯": "/qingchun/", "Cosplay": "/cosplay/"}
    
61.     while True:
    
62.         print("输入“q” 退出")
    
63.         guss = input("你想下载的类型（性感 尤物 制服 丝袜 清纯 Cosplay)：")
    
64.                     
    
65.         if guss == 'q':
    
66.             break
    
67.         else:
    
68.             
    
69.             namber = input("你想下载第几页：")
    
70.             print("开始下载，请稍等...")
    
71.             name = dic[guss]
    
72.             url = y_url + name + 'page/' + namber
    
73.             
    
74.             dir_name = guss + namber
    
75.             if os.path.exists(dir_name):
    
76.                 os.chdir(dir_name)
    
77.             else:   
    
78.                 os.mkdir(dir_name)
    
79.                 os.chdir(dir_name)
    
80.                
    
81.             loop=asyncio.get_event_loop()
    
82.             loop.run_until_complete(geturl())
    
83.     print("感谢使用！！")
    

复制代码

°蓝鲤歌蓝

没有完全异步。

1589895304

°蓝鲤歌蓝 发表于 2021-4-30 15:26
没有完全异步。

刚学异步，有哪里需要改进的麻烦帮我标一下

°蓝鲤歌蓝

1.

1. resp = requests.get(url)

复制代码

python里异步是“一处异步，处处异步”，这里的 requests 本身不是异步的，所以在这里会阻塞。

2. while 循环里不是异步的，是依次把用户输入的 gues 对应的 url 传入到 getUrl 里的。

3. 真正异步的地方只有 taks 里的 url[/b]， 还是分批异步的。打个比方，你有5个车间（dic），每个车间里各有 20 条生产线(tasks)，你这程序就相当于先运行了 a车间 的 20 条线（异步运行），等 a 车间完成后再去 b 车间，依次 c, d, e。 所以还是有阻塞。真正的异步应该是 5 个车间所有的 生100条 生产线一起运行（异步执行）。

1589895304

感谢提醒
下次再加上去

一坨屎吖

协程中怎么加上异常处理呢！！！！