[已解决]异步爬虫问题

我不是第一个

这个requests 我怎么携带 header  cookies等参数
loop.run_in_executor(None, requests.get, data)



报错代码1：
loop.run_in_executor(None, requests.get, url, headers=headers, cookies=cookies, verify=False, timeout=5)

报错代码2：
kwargs = {'headers': {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}, 'cookies': {'session_id': '12345'}, 'verify': False, 'timeout': 5}
    response = await loop.run_in_executor(None, requests.get, url, **kwargs)

这两个都是网上找的答案，都不行，不知道怎么写了。

最佳答案

月排行榜 / 总排行榜

isdkz

2023-4-7 11:37:37

我不是第一个 发表于 2023-4-7 11:19
好的，搞定记得告诉我啊

requests 的 headers 和 cookies 得用关键字参数的形式来传，但是 run_in_executor 没有办法传关键字参数

这时候得配合偏函数解决了，以下是示例代码：

1. import asyncio
   
2. import requests
   
3. from functools import partial                                      # 注意这里
   
4. 
   
5. 
   
6. async def main():
   
7.     url = 'http://httpbin.org/get'
   
8.     headers = {
   
9.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
   
10.     }
    
11.     cookies = {'session_id': '12345'}
    
12.     loop = asyncio.get_running_loop()
    
13.     get = partial(requests.get, headers=headers, cookies=cookies)                                     # 注意这里
    
14.     response = await loop.run_in_executor(None, get, url)                                                 # 注意这里
    
15.     print(response.json())
    
16. 
    
17. loop = asyncio.get_event_loop()
    
18. loop.run_until_complete(main())
    

复制代码

跳转到最佳答案楼层

isdkz

你的代码在使用 run_in_executor 方法时，尝试将关键字参数传递给 requests.get 函数。

但是 run_in_executor 只接受位置参数，而不能直接接受关键字参数。

为了解决这个问题，你可以创建一个简单的包装函数，将关键字参数传递给 requests.get，然后将这个包装函数传递给 run_in_executor。

这是一个示例：

1. import asyncio
   
2. import requests
   
3. 
   
4. async def main():
   
5.     async def fetch(url, **kwargs):
   
6.         loop = asyncio.get_running_loop()
   
7.         return await loop.run_in_executor(None, requests.get, url, **kwargs)
   
8. 
   
9.     headers = {
   
10.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
    
11.     }
    
12.     cookies = {'session_id': '12345'}
    
13.     url = 'https://example.com'
    
14.    
    
15.     response = await fetch(url, headers=headers, cookies=cookies, verify=False, timeout=5)
    
16.     print(response.text)
    
17. 
    
18. loop = asyncio.get_event_loop()
    
19. loop.run_until_complete(main())

复制代码

在这个示例中，我们定义了一个名为 fetch 的异步函数，它可以接受关键字参数并在内部将它们传递给 requests.get。

然后我们将 fetch 函数传递给 run_in_executor，这样就可以异步地执行 HTTP 请求并传递我们需要的参数。

我不是第一个

isdkz 发表于 2023-4-7 10:13
你的代码在使用 run_in_executor 方法时，尝试将关键字参数传递给 requests.get 函数。

但是 run_in_exe ...

我贴不了图片，不过好像不行哦。和我遇到的问题一样。  我的是python3.79 我google类似问题，说是python版本不够，必须大于3.5  可我的是3.7的啊。。
问题：unexpected argument
报错代码：
    return await loop.run_in_executor(None, requests.get, url, **kwargs)
TypeError: run_in_executor() got an unexpected keyword argument 'headers'

isdkz

异步你为什么不用aiohttp呢？

我不是第一个

isdkz 发表于 2023-4-7 10:41
异步你为什么不用aiohttp呢？

一个是不太熟练，二是我项目里面有些库不支持异步，所以用这个方法先用着。

isdkz

我不是第一个 发表于 2023-4-7 10:46
一个是不太熟练，二是我项目里面有些库不支持异步，所以用这个方法先用着。

requests应该不支持异步操作的吧，支持异步操作的就 httpx和 asyncio 这两个库了，貌似 asyncio 更多人用

我不是第一个

isdkz 发表于 2023-4-7 10:49
requests应该不支持异步操作的吧，支持异步操作的就 httpx和 asyncio 这两个库了，貌似 asyncio 更多人 ...

requests 是不支持，看视频 好像用线程池可以转换啥的，你上面的代码不加 header cookies等参数应该是可以跑的，但是怕被反扒，想加参数进去，不知道怎么搞

isdkz

我不是第一个 发表于 2023-4-7 10:54
requests 是不支持，看视频 好像用线程池可以转换啥的，你上面的代码不加 header cookies等参数应该是可 ...

上面的不管他，就是机器人理解错了，那个跟你原来的也没什么区别，就是封装一下而已

你看的什么视频？

我不是第一个

isdkz 发表于 2023-4-7 10:58
上面的不管他，就是机器人理解错了，那个跟你原来的也没什么区别，就是封装一下而已

你看的什么视频？

B站的  可以发链接吗   bilibili.com拼一下/video/BV1Ke411W71L
应该在10章节左右

我不是第一个

isdkz 发表于 2023-4-7 10:58
上面的不管他，就是机器人理解错了，那个跟你原来的也没什么区别，就是封装一下而已

你看的什么视频？

上面的代码不是你贴的啊，用的chatgpt ？？？

isdkz

我不是第一个 发表于 2023-4-7 11:14
上面的代码不是你贴的啊，用的chatgpt ？？？

对呀，我去研究一下，看看用 run_in_executor 怎么实现

我不是第一个

isdkz 发表于 2023-4-7 11:17
对呀，我去研究一下，看看用 run_in_executor 怎么实现

好的，搞定记得告诉我啊

isdkz

我不是第一个 发表于 2023-4-7 11:19
好的，搞定记得告诉我啊

requests 的 headers 和 cookies 得用关键字参数的形式来传，但是 run_in_executor 没有办法传关键字参数

这时候得配合偏函数解决了，以下是示例代码：

1. import asyncio
   
2. import requests
   
3. from functools import partial                                      # 注意这里
   
4. 
   
5. 
   
6. async def main():
   
7.     url = 'http://httpbin.org/get'
   
8.     headers = {
   
9.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
   
10.     }
    
11.     cookies = {'session_id': '12345'}
    
12.     loop = asyncio.get_running_loop()
    
13.     get = partial(requests.get, headers=headers, cookies=cookies)                                     # 注意这里
    
14.     response = await loop.run_in_executor(None, get, url)                                                 # 注意这里
    
15.     print(response.json())
    
16. 
    
17. loop = asyncio.get_event_loop()
    
18. loop.run_until_complete(main())
    

复制代码

我不是第一个

isdkz 发表于 2023-4-7 11:37
requests 的 headers 和 cookies 得用关键字参数的形式来传，但是 run_in_executor 没有办法传关键字参 ...

谢谢了， 可以跑