关于代理ip没用上的问题

937135952

1. import requests  
   
2. from bs4 import BeautifulSoup
   
3. from lxml import etree
   
4. from cnsenti import Sentiment
   
5. import jieba
   
6. import smtplib
   
7. from email.mime.text import MIMEText
   
8. import os
   
9. import time
   
10. 
    
11. #——————————————————————————————————————————————————————————————————————————————————构建自创字典部分
    
12. from selenium import webdriver
    
13. from selenium.webdriver.chrome.options import Options
    
14. import time
    
15. 
    
16. from  selenium.webdriver.common.keys import Keys
    
17. from  selenium.webdriver.common.by import  By
    
18. from selenium.webdriver.support.ui import  WebDriverWait #等待一个元素加载完成
    
19. from  selenium.webdriver.support import  expected_conditions as EC
    
20. 
    
21. from selenium.webdriver.common.action_chains import ActionChains#引入鼠标操作
    
22. 
    
23. import json
    
24. 
    
25. def test2():
    
26.     url='http://guba.eastmoney.com/news,ustsla,962896962.html'
    
27.    
    
28.     proxiess={'https': '100.100.7.100:3000'}
    
29.    
    
30.     headers = {
    
31.     'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.226.188.131:4216 Safari/537.36',
    
32.     'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    
33.     'Accept-Language':'en-US,en;q=0.5',
    
34.     'Accept-Encoding':'gzip',
    
35.     'DNT':'1',
    
36.     'Connection':'close'
    
37.     }
    
38.    
    
39.     #r = requests.get(url, headers=headers)
    
40.     r = requests.get(url,proxies=proxiess)   
    
41.     r.encoding = 'utf-8'
    
42.     html = etree.HTML(r.text)#etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。
    
43.     result = html.xpath('//div[contains(@id,"zw_body")]/p/text()')#('//div[@id="mainNewsContent"]/p/text()')
    
44.    
    
45.     #处理文本   
    
46.     result = str(result)
    
47.     result2 = result.replace('\\u3000','')
    
48.     print(result2)
    
49. 
    
50. 
    
51. def test():
    
52.     url = 'https://www.baidu.com/'
    
53.     #url = 'http://guba.eastmoney.com/default,1_1.html'
    
54.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.226.188.131:4216 Safari/537.36',
    
55.             'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    
56.             'Accept-Language':'en-US,en;q=0.5',
    
57.             'Accept-Encoding':'gzip',
    
58.             'DNT':'1',
    
59.             'Connection':'close'
    
60.             }
    
61.     proxiess={'https': '100.100.7.100:3000'}
    
62.    
    
63.     try:   
    
64.         page = requests.get(url,proxies=proxiess)
    
65.         print(str(proxiess)+"此ip有效")
    
66.     except:
    
67.         print(str(proxiess)+"此ip无效")
    
68.   
    
69.    
    
70. test()  
    
71. test2()

复制代码

由于代理ip是乱打的，所以test（）中无法访问百度
而test2（）中却能正常访问页面，请教各位大佬是什么原因...又应该如何解决呢？

suchocolate

用你的test()下的代码可以访问百度。

不过如果你要访问百度页面获取数据的话，那得加header，和cookie。

937135952

suchocolate 发表于 2020-9-9 11:27
用你的test()下的代码可以访问百度。

不过如果你要访问百度页面获取数据的话，那得加header，和cookie。 ...

为什么我运行的结果就是
ProxyError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by ProxyError('Cannot connect to proxy.', NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x00000173A645EF48>: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。')))

这个ip明显是不可用的，怎么能来访问网页呢...