[已解决]关于爬虫的疑问

wrpython

大家好，

我在尝试写一个从网页https://www.sec.gov/cgi-bin/current?q1=0&q2=2&q3=144里读取当天的144文件的爬虫，这个网页允许爬虫读取，但是有限制条件，最主要的一条限制是发送的请求不能超过10次/秒，因为我对读取速度没有要求，所以就把速度限制在1次/秒，但是在读取了一部分内容之后还会被网站拒绝，给出的信息显示我的读取超过了读取率限制——Request Rate Threshold Exceeded，麻烦大家看看这是怎么回事？？下面是我的代码：

这里代码贴不全，完整的代码我贴在二楼了

第一个for循环是可以正常运行的，也可以读取到页面里的所有链接，但是第二个for循环不能正常运行，总是在读取了前几个链接后就中断，给出的错误信息截图如下：



我在第二个for循环里增加了一行代码，打印了soup2的内容，发现这个爬虫被限制访问了，给出的信息如下，我把觉得重要的部分标记了出来：


我觉得我的爬虫请求频率那么低，应该不是这个原因，另一个可能的原因就是对方要求我澄清自己的流量来源，Please declare your traffic by updating your user agent to include company specific information. 也就是第二个红框里的最后一句话，我不知道怎么在user-agent里添加公司信息，于是又去官网找了下，找到了这些内容，网址：SEC.gov | Accessing EDGAR Data：


但是看完以后更加一头雾水了.....完全不知道怎么改user-agent, 网上也没找到什么解决方案，所以前来这里问一下，麻烦各位大佬帮忙看看。谢谢！

最佳答案

月排行榜 / 总排行榜

bba-vw

2024-7-5 02:43:44

看了下代码逻辑，就是一个单线程1S频率的请求，逻辑没有问题。
你的第二个推测是合理的，该网站要求你在请求头中提供你的身份
可以尝试参照网站实例，包装一个假的公司信息到请求头。

headers = {'User-Agent':'FishC Xiaojiaoyu@fishc.com.cn',Accept-Encoding:"gzip, deflate",Host:"www.sec.gov"}

这里我捏造的鱼C的数据进去，网站应该不会进行验证，即便验证，鱼C的域名也是存在的

跳转到最佳答案楼层

bba-vw

看了下代码逻辑，就是一个单线程1S频率的请求，逻辑没有问题。
你的第二个推测是合理的，该网站要求你在请求头中提供你的身份
可以尝试参照网站实例，包装一个假的公司信息到请求头。

headers = {'User-Agent':'FishC Xiaojiaoyu@fishc.com.cn',Accept-Encoding:"gzip, deflate",Host:"www.sec.gov"}

这里我捏造的鱼C的数据进去，网站应该不会进行验证，即便验证，鱼C的域名也是存在的

wrpython

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. import time
   
4. 
   
5. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0'}
   
6. content = requests.get('https://www.sec.gov/cgi-bin/current?q1=0&q2=2&q3=144', headers = headers).text
   
7. 
   
8. soup = BeautifulSoup(content, 'html.parser')
   
9. test = soup.findAll('a')
   
10. 
    
11. n = 1        #计数，只读取偶数标签对应的链接
    
12. ls = []       #用于存储读取到的链接
    
13. n1 = 0      #统计总共有多少条链接
    
14. 
    
15. #先在原始页面读取今天所有的链接然后存入列表中
    
16. 
    
17. for i in test[:-1]:
    
18.     n = n + 1
    
19.     if n % 2 == 0:
    
20.         link = 'https://www.sec.gov/'+i['href']
    
21.         print(link)
    
22.         ls.append(link)
    
23.         n1 = n1+1
    
24.         
    
25. ls2 =[]    #用来存从ls列表的链接里读到的新链接
    
26. n2 = 1     #用来计数，记录当前都到第几个链接
    
27. 
    
28. for i in ls:
    
29.     time.sleep(1)
    
30.     content2 = requests.get(i, headers = headers).text
    
31.     soup2 = BeautifulSoup(content2, 'html.parser')
    
32.     print(soup2)
    
33.     test2 = soup2.findAll('tr')
    
34.     link2 = 'https://www.sec.gov/' + test2[1].a['href']
    
35.     ls2.append(link2)
    
36.     print('%d/%d'%(n2,n1))
    
37.     n2 = n2+1

复制代码

wrpython

bba-vw 发表于 2024-7-5 02:43
看了下代码逻辑，就是一个单线程1S频率的请求，逻辑没有问题。
你的第二个推测是合理的，该网站要求你在请 ...

谢谢！更换user-agent以后，代码就可以正常运行了！