[已解决]爬虫代理只能访问https网站，不能访问http网站

qwertyuiop1822

在验证http://www.data5u.com/free/gwgn/index.shtml中的代理时
发现访问https的网站正常返回200，而且我写入html发现网页也正常，如百度、新浪，访问http的网站则连接超时。
为什么会出现这种情况呢？求各位大佬指教。

又遇到个不正常的事，不管代理怎么写，就算写成字母，比如"wwww"，访问https://www.baidu.com返回码也是200
也就是说https并不能判断代理是否可用，他总是会返回正常内容。唯一合理的解释就是代理并没有生效，这是为什么？

我又试了http://www.89ip.cn/这个网站的代理
有的可以访问http://www.baidu.com，有的不能

代码如下：

1. import requests
   
2. 
   
3. headers = {
   
4.      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.61 Safari/537.36',
   
5. }
   
6. proxies = {
   
7.   'http':'http://46.45.19.138:8410'
   
8. }
   
9. #url = 'http://45.32.164.128/ip.php'
   
10. url = 'https://www.baidu.com/'
    
11. 
    
12. try:
    
13.     res = requests.get(url, headers=headers, proxies=proxies, timeout=10)
    
14.     print(res.status_code)
    
15. except:
    
16.     pass

复制代码

最佳答案

月排行榜 / 总排行榜

waitforlove

2018-10-10 22:06:44

来来我给你好好讲解下
proxies={'http':'http://46.45.19.138:8410'}#这里意思是访问http类型的网站，就用这个代理，你访问的https，其实就是没用代理，所以https就可以访问，那为什么http还是访问不了，那是这个代理有问题，为了http和https都用这个代理那就加上'https':'http://46.45.19.138:8410'

proxies={'http':'http://46.45.19.138:8410','https':'http://46.45.19.138:8410'

跳转到最佳答案楼层

塔利班

代理格式写错了
proxies = {
  'http':'46.45.19.138:8410'
}

qwertyuiop1822

塔利班 发表于 2018-10-10 17:37
代理格式写错了
proxies = {
  'http':'46.45.19.138:8410'

这是官方文档：http://docs.python-requests.org/ ... vanced.html#proxies

不过我按你的写，发现和现在一样的情况，加不加http://并没有什么影响

塔利班

好吧，你多试几个Ip试试

qwertyuiop1822

塔利班 发表于 2018-10-10 17:50
好吧，你多试几个Ip试试

我试了一整页的ip都是一样的，https能访问，http不能

塔利班

我怎么就行了呢

qwertyuiop1822

塔利班 发表于 2018-10-10 18:21
我怎么就行了呢

因为url是https，你换成http的网站试试

塔利班

还是http代理

qwertyuiop1822

塔利班 发表于 2018-10-10 18:35
还是http代理

看了你的结果，我好像知道问题出在哪里了，

qwertyuiop1822

塔利班 发表于 2018-10-10 18:35
还是http代理

我现在用的是达内的局域网，有一些网络限制。至于限制了什么，我也并不是很清楚。

qwertyuiop1822

塔利班 发表于 2018-10-10 18:35
还是http代理

你试一下将url = 'https://www.baidu.com'
然后代理随便写比如：
proxies = {
'http':'wwwww'
}
看看返回码

塔利班

我觉得不是你理解的那样，你用了个错误的代理当然，不行
你用高匿的代理，网站识别了才不让你爬，
我最后发的是透明代理，还在网站控制范围内，可以识别出你的真实IP
所以就暂且放过了

qwertyuiop1822

塔利班 发表于 2018-10-10 18:51
我觉得不是你理解的那样，你用了个错误的代理当然，不行
你用高匿的代理，网站识别了才不让你爬，
我最后 ...

访问https的网站时，错误的代理却返回了正常的内容，
如果网站能识别出高匿代理，那代理的意义不是没有了。。。
透明代理在自己的ip被封能不能访问网站？如果不能，不就没什么用了。

塔利班

代理的本质是让你可以访问你访问不到的url
有的代理是定向的

透明代理可以识别出你的Ip,如果你的IP出现过多，
如果想反爬。还是可以禁你

高匿代理也不是完全匿的，也不是没什么用，主要是你蒙面做坏事，人家有能力发现不发现的问题

RIXO

呃，不知道是不是因为你代理开放的协议是http的，代理ip是有自身开放的协议的，用http的代理访问https的会报错

waitforlove

来来我给你好好讲解下
proxies={'http':'http://46.45.19.138:8410'}#这里意思是访问http类型的网站，就用这个代理，你访问的https，其实就是没用代理，所以https就可以访问，那为什么http还是访问不了，那是这个代理有问题，为了http和https都用这个代理那就加上'https':'http://46.45.19.138:8410'

proxies={'http':'http://46.45.19.138:8410','https':'http://46.45.19.138:8410'

qwertyuiop1822

waitforlove 发表于 2018-10-10 22:06
来来我给你好好讲解下
proxies={'http':'http://46.45.19.138:8410'}#这里意思是访问http类型的网站，就用 ...

额，原来如此