[已解决]异步爬取文件写入问题

specail

异步的写法应该没有问题。已经能创建文件了，但是应该是写入部分出了问题。创建的文件没有写入操作，里面内容是空，写入时有报错。请指导。附源码

1. 
   
2. import requests
   
3. from bs4 import BeautifulSoup
   
4. import aiohttp
   
5. import aiofiles
   
6. import asyncio
   
7. import bs4
   
8. import re
   
9. from lxml import html
   
10. 
    
11. def getHtml(url,headers):
    
12.     try:
    
13.         r = requests.get(url,headers)
    
14.         r.raise_for_status()
    
15.         r.encoding = r.apparent_encoding
    
16.         return r.text
    
17.     except Exception as e:
    
18.         print("访问页面有误！",e)
    
19.         return ""
    
20. 
    
21. def getChater(html):
    
22.     domain = "https://www.bbiquge.net/book_84680/"
    
23.     resultls = {}
    
24.     gcbs = BeautifulSoup(html,"html.parser")
    
25.     for dd in  gcbs.find('div',class_="zjbox").dl:  #章节内容对应的标签
    
26.         if isinstance(dd,bs4.element.Tag):
    
27.             if dd.name == "dd" and dd.string != None:
    
28.                 #print(dd.a.string,dd.a.get("href"))   
    
29.                 resultls[dd.a.string]=domain + dd.a.get("href")      #返回章节名及链接
    
30.     return resultls
    
31. 
    
32. 
    
33.             
    
34. async def getContent(url,filename):   #传过来的字典是 章节名：链接
    
35.     async with aiohttp.ClientSession() as session:
    
36.         async with session.get(url) as resp:
    
37.             html =await resp.text()
    
38.             # bs = BeautifulSoup(html,"html.parser").find("div",id="content")
    
39.             # content = bs.find("div",id="content")
    
40.             async with open(filename+".txt","w",encoding="utf-8") as f:
    
41.                 await f.write(BeautifulSoup(html,"html.parser").find("div",id="content").text.replace('\xa0'*4,'\n\n       '))  #处理符号，整理格式
    
42.             print("done!"+filename)
    
43.             
    
44.       
    
45.             
    
46. 
    
47. async def main():
    
48.     url = "https://www.bbiquge.net/book_84680/"
    
49.     headers = {
    
50.         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36 Edg/96.0.1054.53"
    
51.     }
    
52.     html = getHtml(url,headers)
    
53.     #获得 章节名及链接
    
54.     resultls = getChater(html)
    
55.     # 异步下载章节内容
    
56.     tasks = []
    
57.     for item in resultls.items():
    
58.         tasks.append(asyncio.create_task(getContent(item[1],item[0])))
    
59.     await asyncio.wait(tasks)   
    
60.    
    
61. if __name__ == "__main__":
    
62.     loop =  asyncio.new_event_loop()
    
63.     asyncio.set_event_loop(loop)
    
64.     loop.run_until_complete(main())
    

复制代码

最佳答案

月排行榜 / 总排行榜

wp231957

2021-12-14 11:38:45

specail 发表于 2021-12-15 08:46

python 本身就是同步的，并不擅长处理异步问题，（异步我也不懂）

所以，很想知道你的动机   是练习用吗 否则 同步爬取就可以啦

跳转到最佳答案楼层

specail

open时改用，aiofiles.open  解决了
但是新的问题是爬到后面好像有编码问题无法解析，估计是aiohttp库的问题

wp231957

specail 发表于 2021-12-15 08:46

python 本身就是同步的，并不擅长处理异步问题，（异步我也不懂）

所以，很想知道你的动机   是练习用吗 否则 同步爬取就可以啦

specail

自顶

specail

specail

wp231957 发表于 2021-12-15 10:04
python 本身就是同步的，并不擅长处理异步问题，（异步我也不懂）

所以，很想知道你的动机   是练习用 ...

异步爬取的效率更高，更多情况需要异步协程跟多线程结合，这个我自己发现问题了。是我导了包忘记用了

z5560636

specail 发表于 2021-12-15 10:07
异步爬取的效率更高，更多情况需要异步协程跟多线程结合，这个我自己发现问题了。是我导了包忘记用了{:10 ...

我还以为是异步往同一个文件里面写，脑海中重在构思上次看到的资料，python目前不支持文件锁。