爬百度百科，用代理就报错，不用代理反而能正确响应

thepoy

我的代码如下：

1. import requests
   
2. import re
   
3. from bs4 import BeautifulSoup
   
4. import random
   
5. import urllib.request
   
6. 
   
7. # 设置代理
   
8. def get_ip(ip_url, headers):   # 随机选择一个代理ip
   
9.     web_data = requests.get(ip_url, headers = headers)
   
10.     soup = BeautifulSoup(web_data.text, 'lxml')
    
11.     trs = soup.find_all('tr')
    
12.     ip_list = []    # 所有代理ip
    
13.     for i in range(2, len(trs)):
    
14.         if '服务器地址' not in trs[i].text:
    
15.             ip_info = trs[i]
    
16.             tds = ip_info.find_all('td')
    
17.             ip_list.append(tds[0].text + ':' + tds[1].text)
    
18.     return random.choice(ip_list)
    
19. 
    
20. def set_opener(url, headers):
    
21.     proxy_handler = urllib.request.ProxyHandler({'http':proxy_ip, 'https':proxy_ip})
    
22.     opener = urllib.request.build_opener(proxy_handler)
    
23.     request = urllib.request.Request(url, headers = headers)
    
24.     urllib.request.install_opener(opener)
    
25.     response = urllib.request.urlopen(request)
    
26.     html = response.read().decode('utf-8', 'ignore')
    
27.     response.close()
    
28.     return html
    
29. 
    
30. 
    
31. if __name__ == '__main__':
    
32.     ip_url = 'https://cn-proxy.com/'
    
33.     url = 'https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB'
    
34.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36'}
    
35.     proxy_ip = get_ip(ip_url, headers)
    
36.     print(set_opener(url, headers))
    

复制代码

_谪仙

代理并不是都是可用的，尤其是免费代理

stonejianbu

代理池cookie池user-agent池这些东西，不需要就不要用，在学习阶段，多是自添麻烦，等可用了相关框架，实际需要时再调用下框架的接口