爬虫ConnectionError问题

937135952

部分代码如下

1. import requests  
   
2. from bs4 import BeautifulSoup
   
3. from lxml import etree
   
4. from cnsenti import Sentiment
   
5. import jieba
   
6. import smtplib
   
7. from email.mime.text import MIMEText
   
8. import os
   
9. import time
   
10. 
    
11. 
    
12. def get_and_save(url):
    
13.     global save_txt
    
14.     headers = {
    
15.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
    
16.     'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    
17.     'Accept-Language':'en-US,en;q=0.5',
    
18.     'Accept-Encoding':'gzip',
    
19.     'DNT':'1',
    
20.     'Connection':'close'
    
21.     }
    
22. 
    
23.    
    
24.    
    
25.     r = requests.get(url, headers=headers)
    
26.     r.encoding = 'utf-8'
    
27.     html = etree.HTML(r.text)#etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。
    
28.     result = html.xpath('//div[contains(@id,"zw_body")]/p/text()')#('//div[@id="mainNewsContent"]/p/text()')
    
29. 
    
30. #处理文本   
    
31.     result = str(result)
    
32.     result2 = result.replace('\\u3000','')
    
33.     #print(result2)
    
34. 
    
35.    
    
36. 
    
37. def get_url():
    
38. 
    
39.     #xunhuan=[1]
    
40.     xunhuan=[1,2,3,4,5,6,7,8,9]
    
41.     liebiao=[]
    
42.    
    
43.     for k in xunhuan:
    
44.         print (k)
    
45.         html = 'http://guba.eastmoney.com/default,1_'+str(k)+'.html'
    
46.    
    
47.         headers = {
    
48.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
    
49.         'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    
50.         'Accept-Language':'en-US,en;q=0.5',
    
51.         'Accept-Encoding':'gzip',
    
52.         'DNT':'1',
    
53.         'Connection':'close'
    
54.         }
    
55.    
    
56.         page = requests.get(html,headers=headers)
    
57.         
    
58.         soup_obj=BeautifulSoup(page.content,'html.parser')
    
59.         
    
60.         #print(soup_obj.prettify())
    
61.         
    
62.         for link in soup_obj.findAll('a'):#含a
    
63.             if "href" in link.attrs:#且以href作为特征..href在link的特征里
    
64.                 #print(link.attrs['href'])
    
65.                
    
66.                 a = 'http://guba.eastmoney.com'+link.attrs['href']#href=‘/news,000762,954300722.html’
    
67.                
    
68.                
    
69.                 if 'news' in a:
    
70. 
    
71.                     liebiao.append(a)                     
    
72. 
    
73.            
    
74.     for i in liebiao:      
    
75. 
    
76.         get_and_save(i)               
    
77.         print("——————————————————————————————————————————————————————————————————————————执行了"+i)      
    
78. 
    
79. 
    
80. if __name__ =='__main__':
    
81.     get_url()
    
82.    

复制代码

错误：ConnectionError: HTTPConnectionPool(host='guba.eastmoney.comnews,cjpl,953932572.html', port=80): Max retries exceeded with url: / (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x000001644FDBB948>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed'))

一开始可以爬，爬了一会儿就会出现这个错误。首先我以为是访问过于频繁，加了time.sleep(60)，同样爬一会儿会出现这个错误。
加入异常处理，爬一会儿会出现这个错误，连着好几个都是这个错，接着又能正常爬取，接着又是连着好几个这个错，如此反复。

出现这个错误的原因是服务器把我屏蔽了吗？还是什么原因？有什么解决办法吗？



还有一个问题...是我爬多了被服务器施加了什么神奇的魔法吗，打开链接跳转到的都是同一个内容....不管是手动还是用代码打开链接

937135952

没人了么

937135952