requests中加入proxies参数后无法访问网址，究竟是代理质量不行还是其他地方出错了

xiaochuan8264

1. import requests as r
   
2. from bs4 import BeautifulSoup as bf
   
3. import re
   
4. 
   
5. def getDetails(IpTag):
   
6.      try:
   
7.           ip = IpTag.find(text=re.compile(r'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}'))
   
8.           port = IpTag.find(text=re.compile('^(?!\d{2,3}\.)\d+))
   
9.           protocol = IpTag.find(text=re.compile('(HTTP)|(HTTPS)')).lower()
   
10.           finalIp = {protocol:protocol + '://' + ip + ':' + port}
    
11.      except TypeError:
    
12.           return None
    
13.      return finalIp
    
14. 
    
15. def getIpList(bfObject):
    
16.      targets = bfObject.find_all(name='tr',class_=True)
    
17.      targets2 = bfObject.find_all(name='tr',class_='').pop(0)
    
18.      targets.extend(targets2)
    
19.      ipList = []
    
20.      try:
    
21.            count = 0
    
22.            for each in targets:
    
23.                   ip = getDetails(each)
    
24.                   if ip == None:
    
25.                          print('在解析第 %d 项时出现了错误'% targets.index(each) + 1)
    
26.                          continue
    
27.                   count += 1
    
28.                   ipList.append(ip)
    
29.      except:
    
30.             print('解析出了问题, 共获取了 %d IP地址' % count)
    
31.      finally:
    
32.             return ipList
    
33. 
    
34. def ipAnalyze(ipDict):
    
35.       ip = ipDict.get('http')
    
36.       if ip != None:
    
37.            return ip
    
38.       else:
    
39.            ip = ipDict.get('https')
    
40.            return ip
    
41. 
    
42. def testIp(ip):
    
43.       testUrl = 'https://www.whatismyip.com.tw/'
    
44.       header = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}
    
45.       temp = ipAnalyze(ip)
    
46.       try:
    
47.            web = r.get(url=testUrl, headers=header, proxies=ip, timeout=5)
    
48.       except (r.exceptions.ProxyError, r.exceptions.ConnectTimeout):
    
49.            print('%s === Bad Proxy | 无法连接、超时'% temp)
    
50.       except KeyboardInterrupt:
    
51.            raise
    
52.       except:
    
53.            print('%s === Bad Proxy | 其他'% temp)
    
54.       else:
    
55.            soup = bf(web.text, 'lxml')
    
56.            result = soup.find(name='b', style=True).span['data-ip']
    
57. 
    
58.            if temp.split('//')[1] != result:
    
59.                  print('%s === Bad Proxy | IP地址未改变，现地址 %s'% (temp, result))
    
60.            else:
    
61.                  print('\n%s === Functional Proxy\n'% temp)
    
62. 
    
63. 
    
64. proxyProvider = 'https://www.xicidaili.com/nn/'
    
65. header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}
    
66. web = r.get(url=proxyProvider, headers=header, timeout=20)
    
67. webSoup = bf(web.text, 'lxml')
    
68. ipAcquired = getIpList(webSoup)
    
69. for each in ipAcquired:
    
70.        testIp(each)

复制代码

xiaochuan8264

代码写的比较繁琐，但是能正常运行，在爬ip那有个错误，我直接忽略了，但是也能爬到100个IP，所以先不管了，但是运行下来100个IP全军覆没。。。。
http的IP可以访问网址，但是不能更改IP地址，https的直接就报错....是因为西刺代理的IP不行吗？？？尝试了网上的socks5的方法，就是这种：{'https':'socks5:// host+port'}，但是依然报错。也尝试了关闭自己本地的VPN，还是不行....希望大神版主，或者任何有相关经历或者任何知情人士解答一下。

xiaochuan8264

希望大神版主，或者任何有相关经历或者任何知情人士解答一下，不知道哪里触发了需要审核的词。。。

xiaochuan8264

起因是想爬取豆瓣电影的一些信息，结果爬取了60多个之后就开始无法正常返回页面了，应该是被识别出来是爬虫了，所以想要写个代理。。。结果一个都用不了

937135952

楼主解决了吗，我也是这个问题，不懂怎么回事，到底是ip不行还是我代码有错

wp231957

937135952 发表于 2021-8-21 10:20
楼主解决了吗，我也是这个问题，不懂怎么回事，到底是ip不行还是我代码有错

当然是免费代理不可靠

kerln888

wp231957 发表于 2021-8-21 10:57
当然是免费代理不可靠

谢谢大佬