[已解决]关于fake_useragent

jump_p

1. import requests, os
   
2. from lxml import etree
   
3. from fake_useragent import UserAgent
   
4. import time
   
5. 
   
6. url = "http://www.cbaigui.com/?paged=1"
   
7. ua = UserAgent(verify_ssl=False)
   
8. for i in range(1, 50):
   
9.     headers = {
   
10.                 'User-Agent': ua.random,
    
11.                 'Host': 'www.cbaigui.com',
    
12.                 'Referer': 'http://www.cbaigui.com /?paged={}'
    
13.             }
    
14. 
    
15. res = requests.get(url=url, headers=headers)

复制代码

代码如上
问题0. ua = UserAgent(verify_ssl=False)是实例化一个UserAgent对象的意思吗，verify_ssl=False又是什么意思？
问题1. for i in range(1, 50) 是构造49个Refer的意思？这样就有49个请求头？

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-6-10 17:02:48

是实例化一个UserAgent对象的意思吗？

是的，你可以在你请求头那这样写：

1. headers = {
   
2.     'User-Agent': UserAgent().chrome
   
3. }

复制代码

这样就是随机 谷歌的 UA头 你也可以改成 ie  或者 火狐的拼写

verify_ssl=False又是什么意思？

是否跳过证书验证，有些网站需要验证才能访问，但你跳过验证就可以正常访问

for i in range(1, 50) 是构造49个Refer的意思？这样就有49个请求头？

你代码可能 漏了个 i ：

1. for i in range(1, 50):
   
2.     headers = {
   
3.                 'User-Agent': ua.random,
   
4.                 'Host': 'www.cbaigui.com',
   
5.                 'Referer': f'http://www.cbaigui.com /?paged={i}'
   
6.             }

复制代码

没错 ，49 个请求头，Referer 是说明你从哪个网站跳转过来的，如果这样做出头，伪装人为更加真实，就是像人一页一页的翻一样

跳转到最佳答案楼层

Twilight6

是实例化一个UserAgent对象的意思吗？

是的，你可以在你请求头那这样写：

1. headers = {
   
2.     'User-Agent': UserAgent().chrome
   
3. }

复制代码

这样就是随机 谷歌的 UA头 你也可以改成 ie  或者 火狐的拼写

verify_ssl=False又是什么意思？

是否跳过证书验证，有些网站需要验证才能访问，但你跳过验证就可以正常访问

for i in range(1, 50) 是构造49个Refer的意思？这样就有49个请求头？

你代码可能 漏了个 i ：

1. for i in range(1, 50):
   
2.     headers = {
   
3.                 'User-Agent': ua.random,
   
4.                 'Host': 'www.cbaigui.com',
   
5.                 'Referer': f'http://www.cbaigui.com /?paged={i}'
   
6.             }

复制代码

没错 ，49 个请求头，Referer 是说明你从哪个网站跳转过来的，如果这样做出头，伪装人为更加真实，就是像人一页一页的翻一样

Stubborn

不缓存数据：
ua = UserAgent(cache=False)

忽略ssl验证：
ua = UserAgent(verify_ssl=False)

禁用服务器缓存：
ua = UserAgent(use_cache_server=False)


问题1. for i in range(1, 50) 是构造49个Refer的意思？这样就有49个请求头？
是的，不过你写的有问题，没有格式化到字符串里面去。可以使用fomart 或者 f"{i}"

jump_p

Stubborn 发表于 2020-6-10 17:09
不缓存数据：
ua = UserAgent(cache=False)

嗯,谢谢