requests模块（二）基础的代理IP 和 UA伪装

wcq15759797758

1. # -*-coding:utf-8 -*-
   
2. import requests
   
3. import random,json
   
4. 
   
5. #随机UA浏览器伪装
   
6. USER_AGENT_LIST = [
   
7.                 'Opera/9.20 (Macintosh; Intel Mac OS X; U; en)',
   
8.                 'Opera/9.0 (Macintosh; PPC Mac OS X; U; en)',
   
9.                 'iTunes/9.0.3 (Macintosh; U; Intel Mac OS X 10_6_2; en-ca)',
   
10.                 'Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)',
    
11.                 'iTunes/4.2 (Macintosh; U; PPC Mac OS X 10.2)',
    
12.                 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20120813 Firefox/16.0',
    
13.                 'Mozilla/4.77 [en] (X11; I; IRIX;64 6.5 IP30)',
    
14.                 'Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)',
    
15.                 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
    
16.                 'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
    
17.                 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3870.400 QQBrowser/10.8.4405.400',
    
18.                 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36'
    
19.             ]
    
20. ua = random.choice(USER_AGENT_LIST)
    
21. headers = {'User-Agent': ua }
    
22. print('UA伪装:'+ str(headers))
    
23. 
    
24. # 代理IP
    
25. get_url = "熊猫代理API接口"   #这里使用的是付费的API接口   熊猫代理
    
26. count = 0  #第几个IP
    
27. ip_list = []       #创建储存IP的列表
    
28. temp_data = requests.get(url=get_url).text  #对网页发起请求
    
29. ip_list.clear()
    
30. for eve_ip in json.loads(temp_data)["obj"]:    #遍历网页  从中取出 IP 和 port
    
31.     ip_list.append({
    
32.             "ip": eve_ip["ip"],
    
33.             "port": eve_ip["port"]})
    
34. #IP取出完毕  (注意proxy的格式)
    
35. proxy = {'http':'http://' + str(ip_list[count]["ip"]) + ":" + str(ip_list[count]["port"])}   #设置IP格式
    
36. print(proxy)
    
37. 
    
38. 
    
39. #开始发起请求
    
40. url = 'https://www.baidu.com/'
    
41. response = requests.get(url=url,headers=headers,proxies=proxy)
    
42. print(response.status_code)

复制代码

本人用的是付费IP 免费的成功率不高  

hornwong

感谢分享!

龙舞九天

sunwenwu123

学习了

一只咸鱼123

感谢

Dragon910623

懂了一点

超级玛尼哄

懒狗李

明日之光

O2H2O

Mark~

邓CX

futui

Mark~