[爬虫] urllib使用ProxyHandler时可缺省参数不使用代理

591821661

同样的代码

urllib被远程拒绝[10014] (经常抽风，有时又可以，感兴趣的可以试试)

requests一直能用

1. 
   
2. import urllib.request
   
3. import json
   
4. import sys
   
5. import requests
   
6. 
   
7. def useproxy(proxy='127.0.0.1:80'):
   
8.     proxy_support = urllib.request.ProxyHandler({'http': proxy})
   
9.     opener = urllib.request.build_opener(proxy_support)
   
10.     opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36'),
    
11.                          ('Host','ip-api.com'),
    
12.                          ('Connection','keep-alive'),
    
13.                          ('Upgrade-Insecure-Requests',1),
    
14.                          ('Accept','text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9'),
    
15.                          ('Accept-Encoding','gzip, deflate'),
    
16.                          ('Accept-Language','zh-CN,zh;q=0.9'),
    
17.                          ]
    
18.     urllib.request.install_opener(opener)
    
19.         
    
20. def get_ip():
    
21.     # Get IP Address
    
22.     try:
    
23.         ip_api_url = 'http://ip-api.com/json/?fields=61439'
    
24.         ip_result = urllib.request.urlopen(ip_api_url)
    
25.         proxy_text = ip_result.read().decode('utf-8')
    
26.         s_get_dict = json.loads(proxy_text)
    
27.         print('----------------------IP Information Begin--------------------------')
    
28.         for key in s_get_dict:
    
29.             print('%s : %s' % (key, s_get_dict[key]))
    
30.         print('----------------------IP Information End--------------------------')
    
31.     except:
    
32.         print('url_get error')
    
33.         print(sys.exc_info()[0], sys.exc_info()[1])
    
34. 
    
35. 
    
36. ip_api_url = 'http://ip-api.com/json/?fields=61439'   
    
37. #useproxy()
    
38. get_ip()
    
39. #ip_result = urllib.request.urlopen(ip_api_url)
    
40. #s = requests.get(ip_api_url)

复制代码

问题已经解决：

1. 
   
2. proxy_handler = urllib.request.ProxyHandler({})  #正确写法
   
3. proxy_handler = urllib.request.ProxyHandler(
   
4.    {
   
5.     'http':'127.0.0.1:80',
   
6.     'https':'127.0.0.1:80',
   
7.    }
   

复制代码

)

小伤口

哈哈哈啊哈哈哈哈哈哈哈

yayc_zcyd

我感觉楼主在开车，但是我没有证据

Twilight6

标题可以，哈哈

urllib：小瓶张嘎

requests：举起酒来

591821661

我不是水贴啊，分享干货！
找到为啥时好时坏的原因了！！
一句话总结：

不要在ProxyHandler中使用127.0.0.1:80

因为之前有项目用了127.0.0.1:80 能正常运行 就没往这个方向考虑！
看来这个网站比较皮哦

proxy_handler = urllib.request.ProxyHandler({})  正确写法
proxy_handler = urllib.request.ProxyHandler(
   {
    'http':'127.0.0.1:80',
    'https':'127.0.0.1:80',
   }
)
错误示范



测试代码

1. # -*- coding: utf-8 -*-
   
2. """
   
3. Created on Tue Apr 27 19:32:49 2021
   
4. 
   
5. @author: 591821661
   
6. """
   
7. import urllib.request
   
8. import json
   
9. import sys
   
10. 
    
11. def useproxy(proxy=''):
    
12.     if proxy:
    
13.         proxy_support = urllib.request.ProxyHandler({
    
14.                 'http'  : proxy,
    
15.                 'https' : proxy,
    
16.                 })
    
17.     else:
    
18.         proxy_support = urllib.request.ProxyHandler({
    
19.                 })
    
20.    
    
21.     opener = urllib.request.build_opener(proxy_support)
    
22.     opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36'),
    
23. #                         ('Host','ip-api.com'),
    
24. #                         ('Connection','keep-alive'),
    
25. #                         ('Upgrade-Insecure-Requests',1),
    
26. #                         ('Accept','text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9'),
    
27. #                         ('Accept-Encoding','gzip, deflate'),
    
28. #                         ('Accept-Language','zh-CN,zh;q=0.9'),
    
29.                          ]
    
30.     urllib.request.install_opener(opener)
    
31.         
    
32. def get_ip():
    
33.     # Get IP Address
    
34.     try:
    
35.         ip_api_url = 'http://ip-api.com/json/?fields=61439'
    
36.         ip_result = urllib.request.urlopen(ip_api_url)
    
37.         proxy_text = ip_result.read().decode('utf-8')
    
38.         s_get_dict = json.loads(proxy_text)
    
39.         print('----------------------IP Information Begin--------------------------')
    
40.         for key in s_get_dict:
    
41.             print('%s : %s' % (key, s_get_dict[key]))
    
42.         print('----------------------IP Information End--------------------------')
    
43.     except:
    
44.         print('url_get error')
    
45.         print(sys.exc_info()[0], sys.exc_info()[1])
    
46. 
    
47. if __name__ == '__main__':  # 如果运行该文件，而不是作为库函数导入 则运行下列代码
    
48.     ip_api_url = 'http://ip-api.com/json/?fields=61439'   
    
49.     useproxy()  # 正常
    
50.     #useproxy('127.0.0.1:80')  # 会报错
    
51.     get_ip()
    

复制代码