用代理访问网站(使用urllib/requests)【重要更新】_PythonWidget[2]

591821661

遵循开源精神 把自己写的小模块分享到论坛 同时希望有大佬能够给出requests的代理实例~

1. 
   
2. # -*- coding: utf-8 -*-
   
3. """
   
4. Created on Tue Apr 27 19:32:49 2021
   
5. 
   
6. @author: Sharpstar_kylin
   
7. """
   
8. import urllib.request
   
9. import json
   
10. import sys
    
11. import requests
    
12. def urllib_useproxy(proxy=''):
    
13.     if proxy:
    
14.         proxy_support = urllib.request.ProxyHandler({
    
15.                 'http'  : proxy,
    
16.                 'https' : proxy,
    
17.                 })
    
18.     else:
    
19.         proxy_support = urllib.request.ProxyHandler({
    
20.                 })
    
21.    
    
22.     opener = urllib.request.build_opener(proxy_support)
    
23.     opener.addheaders = [('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36'),
    
24.                          ]
    
25.     urllib.request.install_opener(opener)
    
26.         
    
27. def urllib_get_ip(proxy):
    
28.     # Get IP Address
    
29.     try:
    
30.         urllib_useproxy(proxy)  # 正常
    
31.         ip_api_url = 'http://ip-api.com/json/?fields=61439'
    
32.         ip_result = urllib.request.urlopen(ip_api_url)
    
33.         proxy_text = ip_result.read().decode('utf-8')
    
34.         s_get_dict = json.loads(proxy_text)
    
35.         print('urllib\'s response: %s' % ip_result.code)
    
36.         print('----------------------IP Information Begin--------------------------')
    
37.         for key in s_get_dict:
    
38.             print('%s : %s' % (key, s_get_dict[key]))
    
39.         print('----------------------IP Information End--------------------------\n')
    
40.         
    
41.     except:
    
42.         print('url_get error')
    
43.         print(sys.exc_info()[0], sys.exc_info()[1])
    
44.         
    
45. def requests_get_ip(proxy):
    
46.     # Get IP Address
    
47.     try:
    
48.         proxies = {
    
49.           "http": proxy,
    
50.           "https": proxy,
    
51.         }
    
52.         res = requests.get(ip_api_url, proxies=proxies)
    
53.         proxy_text = res.content.decode('utf-8')
    
54.         s_get_dict = json.loads(proxy_text)
    
55.         print('Requests\'s response : %s' % res.status_code)
    
56.         print('----------------------IP Information Begin--------------------------')
    
57.         for key in s_get_dict:
    
58.             print('%s : %s' % (key, s_get_dict[key]))
    
59.         print('----------------------IP Information End--------------------------\n')
    
60.         
    
61.     except:
    
62.         print('url_get error')
    
63.         print(sys.exc_info()[0], sys.exc_info()[1])
    
64. 
    
65. if __name__ == '__main__':  # 如果运行该文件，而不是作为库函数导入 则运行下列代码
    
66.    
    
67.     ip_api_url = 'http://ip-api.com/json/?fields=61439'   
    
68. #    proxy = '127.0.0.1:1080' #使用代理
    
69.     proxy = '' #不使用代理
    
70.     urllib_get_ip(proxy)
    
71.     requests_get_ip(proxy)
    
72. 
    

复制代码

h4801681

老规矩，先赞再看。学习Python

oleg

学习学习

zkp北冥鱼

学习

hyoutn

前来学习经验

lv9999

先学看看