爬取鱼C论坛按关键字搜索的帖子标题跟链接异常

lengyue869

在r=requests.get(url)这里直接报异常了,请问下是什么原因,tks!

def Get_Html(url):
    try:
        # header={'user-agent':'mozilla/5.0'}
        r=requests.get(url)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ''

1. import requests
   
2. import re
   
3. 
   
4. def Get_Html(url):
   
5.     try:
   
6.         # header={'user-agent':'mozilla/5.0'}
   
7.         r=requests.get(url)
   
8.         r.raise_for_status()
   
9.         r.encoding=r.apparent_encoding
   
10.         return r.text
    
11.     except:
    
12.         return ''
    
13. 
    
14. 
    
15. def Get_Info(info_list,html):
    
16.     try:
    
17.         str1=html.split('<h3 class="xs3">')(1)
    
18. 
    
19.     except:
    
20.         print('get_info error')
    
21. 
    
22. 
    
23. def Show_Info(info_list):
    
24.     pass
    
25. 
    
26. 
    
27. if __name__ == '__main__':
    
28.     keyword='tkinter'
    
29.     page=2
    
30.     original_url='https://fishc.com.cn/search.php?mod=forum&searchsubmit=yes&searchid=112&kw='+keyword
    
31.     info_list=[]
    
32.     for i in range(page):
    
33.         try:
    
34.             url=original_url+'&page='+str(i+1)
    
35.             html=Get_Html(url)
    
36.             Get_Info(info_list,html)
    
37.             Show_Info(info_list)
    
38.         except:
    
39.             print('異常')
    

复制代码

kogawananari

估计是403或者30几  鱼C访问有IP频次限制 你得用IP池

lengyue869

kogawananari 发表于 2020-11-4 15:28
估计是403或者30几  鱼C访问有IP频次限制 你得用IP池

異常: HTTPSConnectionPool(host='fishc.com.cn', port=443): Max retries exceeded with url: /forum-173-1.html (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x000001CA81927E20>: Failed to establish a new connection: [WinError 10060] 連線嘗試失敗，因為連線對象有一段時間並未正確回應，或是連線建立失敗，因為連線的主機無法回應。'))

kogawananari

lengyue869 发表于 2020-11-4 16:19
異常: HTTPSConnectionPool(host='fishc.com.cn', port=443): Max retries exceeded with url: /forum-17 ...

就是这个访问 频率太高了的 要换IP

suchocolate

没cookie，或者说没有登陆。得先登陆，保持session才能使用论坛的搜索功能。

bonst

楼上正解

lengyue869

家里的网络就没问题,可能是因为公司用了代理导致的