[已解决]异步爬虫

哈岁NB

请问各位大佬，这个爬虫怎样改为异步

1. 
   
2. 
   
3. import requests
   
4. import logging
   
5. from lxml import html
   
6. etree = html.etree
   
7. from os import makedirs
   
8. from os.path import exists
   
9. 
   
10. RESULT = 'doutu'
    
11. exists(RESULT) or makedirs(RESULT)
    
12. 
    
13. logging.basicConfig(level=logging.INFO,format = '%(asctime)s - %(levelname)s: %(message)s')
    
14. index_url = 'https://www.doutub.com/img_lists/new/{}'
    
15. header = {
    
16.    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
    
17.     "Referer":"https://www.doutub.com/"
    
18. }
    
19. PAGE = 2
    
20. 
    
21. #发起请求
    
22. def scrape_url(url):
    
23.     logging.info('正在爬取{}'.format(url))
    
24.     try:
    
25.         response = requests.get(url=url,headers=header)
    
26.         if response.status_code == 200:
    
27.             return response
    
28.         logging.error('出现错误，错误代码{}'.format(response.status_code))
    
29.     except requests.RequestException:
    
30.         logging.error('爬取{}出现错误'.format(url))
    
31. 
    
32. 
    
33. 
    
34. #拼接url并发起请求
    
35. def scrape_page(page):
    
36.     url = index_url.format(page)
    
37.     return scrape_url(url).text
    
38. 
    
39. 
    
40. #解析表情包url
    
41. def parse_url(html):
    
42.     href_dic = []
    
43.     tree = etree.HTML(html)
    
44.     href_list = tree.xpath('//*[@id="__layout"]/div/div/div[2]/div[1]/div[1]/div')
    
45.     for href in href_list:
    
46.         title = str(href.xpath('./a/@title')[0]).replace('表情包详情','').replace('点击进入','')
    
47.         src = href.xpath('./a/img/@data-src')[0]
    
48.         href_dic.append({'title':title,'src':src})
    
49.     return href_dic
    
50. 
    
51. #对图片地址发起请求
    
52. def parse_tu(src):
    
53.     return scrape_url(src).content
    
54. 
    
55. 
    
56. def save_data(title,data):
    
57.     title_path = f'{RESULT}/{title}.jpg'
    
58.     with open(title_path,'wb') as fp:
    
59.         fp.write(data)
    
60. 
    
61. 
    
62. 
    
63. def main(page):
    
64.     for page in range(1,PAGE+1):
    
65.         html = scrape_page(page)
    
66.         href_dic = parse_url(html)
    
67.         for t in href_dic:
    
68.             title = t.get('title')
    
69.             src = t.get('src')
    
70.             data = parse_tu(src)  
    
71.             save_data(title,data)
    
72. 
    
73. 
    
74. if __name__ == '__main__':
    
75.     main()
    

复制代码

最佳答案

月排行榜 / 总排行榜

陶远航

2023-7-11 16:20:54

要将该爬虫改为异步爬虫，你可以使用aiohttp库实现异步请求。下面是修改后的代码示例：

1. import asyncio
2. import aiohttp
3. import logging
4. from lxml import html
5. from os import makedirs
6. from os.path import exists
8. RESULT = 'doutu'
9. exists(RESULT) or makedirs(RESULT)
11. logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
13. index_url = 'https://www.doutub.com/img_lists/new/{}'
14. header = {
15.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
16.     "Referer": "https://www.doutub.com/"
17. }
19. PAGE = 2
22. async def scrape_url(session, url):
23.     logging.info('正在爬取{}'.format(url))
24.     try:
25.         async with session.get(url=url, headers=header) as response:
26.             if response.status == 200:
27.                 return await response.text()
28.             else:
29.                 logging.error('出现错误，错误代码{}'.format(response.status))
30.     except aiohttp.ClientError:
31.         logging.error('爬取{}出现错误'.format(url))
34. def scrape_page(session, page):
35.     url = index_url.format(page)
36.     return scrape_url(session, url)
39. def parse_url(html_text):
40.     href_dic = []
41.     tree = html.fromstring(html_text)
42.     href_list = tree.xpath('//*[@id="__layout"]/div/div/div[2]/div[1]/div[1]/div')
43.     for href in href_list:
44.         title = str(href.xpath('./a/@title')[0]).replace('表情包详情', '').replace('点击进入', '')
45.         src = href.xpath('./a/img/@data-src')[0]
46.         href_dic.append({'title': title, 'src': src})
47.     return href_dic
50. async def parse_tu(session, src):
51.     async with session.get(src) as response:
52.         if response.status == 200:
53.             return await response.read()
56. def save_data(title, data):
57.     title_path = f'{RESULT}/{title}.jpg'
58.     with open(title_path, 'wb') as fp:
59.         fp.write(data)
62. async def main():
63.     async with aiohttp.ClientSession() as session:
64.         tasks = []
65.         for page in range(1, PAGE + 1):
66.             html_text = await scrape_page(session, page)
67.             href_dic = parse_url(html_text)
68.             for t in href_dic:
69.                 title = t.get('title')
70.                 src = t.get('src')
71.                 tasks.append(asyncio.create_task(parse_tu(session, src)))
72.                 tasks.append(asyncio.create_task(save_data(title, data)))
73.         await asyncio.gather(*tasks)
76. if __name__ == '__main__':
77.     asyncio.run(main())

复制代码

这里使用asyncio来驱动异步任务，aiohttp库用于发送异步HTTP请求。scrape_url()和scrape_page()函数改为异步函数，并使用ClientSession管理HTTP会话。parse_tu()函数也改为异步函数，使用await关键字进行异步等待。main()函数中的请求和保存图片的任务被包装成异步任务列表，最后使用asyncio.gather()来并发执行这些任务。

请注意，由于涉及到IO操作，所以爬虫代码本身的运行速度可能没有明显的提升，但是使用异步可以充分利用并发性能，提高整体效率。

跳转到最佳答案楼层

陶远航

要将该爬虫改为异步爬虫，你可以使用aiohttp库实现异步请求。下面是修改后的代码示例：

1. import asyncio
2. import aiohttp
3. import logging
4. from lxml import html
5. from os import makedirs
6. from os.path import exists
8. RESULT = 'doutu'
9. exists(RESULT) or makedirs(RESULT)
11. logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s')
13. index_url = 'https://www.doutub.com/img_lists/new/{}'
14. header = {
15.     "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",
16.     "Referer": "https://www.doutub.com/"
17. }
19. PAGE = 2
22. async def scrape_url(session, url):
23.     logging.info('正在爬取{}'.format(url))
24.     try:
25.         async with session.get(url=url, headers=header) as response:
26.             if response.status == 200:
27.                 return await response.text()
28.             else:
29.                 logging.error('出现错误，错误代码{}'.format(response.status))
30.     except aiohttp.ClientError:
31.         logging.error('爬取{}出现错误'.format(url))
34. def scrape_page(session, page):
35.     url = index_url.format(page)
36.     return scrape_url(session, url)
39. def parse_url(html_text):
40.     href_dic = []
41.     tree = html.fromstring(html_text)
42.     href_list = tree.xpath('//*[@id="__layout"]/div/div/div[2]/div[1]/div[1]/div')
43.     for href in href_list:
44.         title = str(href.xpath('./a/@title')[0]).replace('表情包详情', '').replace('点击进入', '')
45.         src = href.xpath('./a/img/@data-src')[0]
46.         href_dic.append({'title': title, 'src': src})
47.     return href_dic
50. async def parse_tu(session, src):
51.     async with session.get(src) as response:
52.         if response.status == 200:
53.             return await response.read()
56. def save_data(title, data):
57.     title_path = f'{RESULT}/{title}.jpg'
58.     with open(title_path, 'wb') as fp:
59.         fp.write(data)
62. async def main():
63.     async with aiohttp.ClientSession() as session:
64.         tasks = []
65.         for page in range(1, PAGE + 1):
66.             html_text = await scrape_page(session, page)
67.             href_dic = parse_url(html_text)
68.             for t in href_dic:
69.                 title = t.get('title')
70.                 src = t.get('src')
71.                 tasks.append(asyncio.create_task(parse_tu(session, src)))
72.                 tasks.append(asyncio.create_task(save_data(title, data)))
73.         await asyncio.gather(*tasks)
76. if __name__ == '__main__':
77.     asyncio.run(main())

复制代码

这里使用asyncio来驱动异步任务，aiohttp库用于发送异步HTTP请求。scrape_url()和scrape_page()函数改为异步函数，并使用ClientSession管理HTTP会话。parse_tu()函数也改为异步函数，使用await关键字进行异步等待。main()函数中的请求和保存图片的任务被包装成异步任务列表，最后使用asyncio.gather()来并发执行这些任务。

请注意，由于涉及到IO操作，所以爬虫代码本身的运行速度可能没有明显的提升，但是使用异步可以充分利用并发性能，提高整体效率。

哈岁NB

陶远航 发表于 2023-7-11 16:20
要将该爬虫改为异步爬虫，你可以使用aiohttp库实现异步请求。下面是修改后的代码示例：

好的，感谢感谢