requests模块（一）

wcq15759797758

一. requests的使用  

1. import requests    # 导入网络请求模块requests
   
2. 
   
3. # 发送GET网络请求  (带params参数 发请求)   如不带参数就把 params=data 删除
   
4. data = {'wd': '美女'}  #  百度搜索带有的参数
   
5. response = requests.get('https://www.baidu.com/s?',params=data)   #GET 与POST的请求参数分别是params和data  不要参数填写错误
   
6. print('响应状态码为：',response.status_code)  # 打印状态码
   
7. print('请求的网络地址为：',response.url)          # 打印请求url
   
8. print('头部信息为：',response.headers)      # 打印头部信息
   
9. print('cookie信息为：',response.cookies)      # 打印cookie信息
   
10. 
    
11. # 发送网络请求（进行编码）  进行编程中文才不会乱码
    
12. response.encoding='utf-8'    # 对响应结果进行utf-8编码
    
13. print(response.text)         # 以文本形式打印网页源码
    
14. 
    
15. #发送百度图片链接 打印二进制数据 并生成图片
    
16. response_img = requests.get('https://www.baidu.com/img/flexible/logo/pc/result.png')
    
17. #print(response_img.content)                # 打印二进制数据
    
18. with open('百度logo.png','wb')as f:   # 通过open函数将二进制数据写入本地文件
    
19.     f.write(response_img.content)          # 写入

复制代码

二. requests的使用  （发送POST）

1. import requests    # 导入网络请求模块requests
   
2. import json        # 导入json模块
   
3. 
   
4. # 字典类型的表单参数    注意:POST请求中data参数的数据的格式也可以是列表、元组或是JSON  实例如下
   
5. #data字典形式
   
6. data = {'1': '能力是有限的，而努力是无限的。','2':'星光不问赶路人，时光不负有心人。',}
   
7. 
   
8. #data元组形式
   
9. #data = (('1','能力是有限的，而努力是无限的。'),('2','星光不问赶路人，时光不负有心人'))
   
10. 
    
11. #data列表形式
    
12. #data = [('1','能力是有限的，而努力是无限的。'),('2','星光不问赶路人，时光不负有心人')]
    
13. 
    
14. #请求头 UA设置
    
15. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3870.400 QQBrowser/10.8.4405.400'}
    
16. # 发送网络请求
    
17. response = requests.post('http://httpbin.org/post',data=data,headers=headers)
    
18. response_dict = json.loads(response.text)      # 将响应数据转换为字典类型
    
19. print(response_dict)                             # 打印转换后的响应数据

复制代码

三.使用cookies 发起网络请求

1. import requests  # 导入网络请求模块
   
2. from lxml import etree  # 导入lxml模块
   
3. #使用cookies 发起网络请求
   
4. cookies = 'll="118205"; bid=VXEqP8os6CI; __utmz=30149280.1624499543.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); dbcl2="240485353:xkFCkBPvm00"; __gads=ID=939927e29325b086:T=1624499934:S=ALNI_MYGkDFzwid5_oXRDxzrT8Dqp65Hgg; push_noty_num=0; push_doumail_num=0; __utmv=30149280.24048; ck=Wvqu; __utmc=30149280; _pk_ses.100001.8cb4=*; ap_v=0,6.0; __utma=30149280.1504183362.1624499543.1624499543.1624513318.2; __utmt=1; _pk_id.100001.8cb4=3254b4dad66c2826.1624499542.2.1624513320.1624500856.; __utmb=30149280.4.10.1624513318'
   
5. headers = {'Host': 'www.douban.com',
   
6.            'Referer': 'https://www.baidu.com/',
   
7.            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
   
8.                          'AppleWebKit/537.36 (KHTML, like Gecko) '
   
9.                          'Chrome/72.0.3626.121 Safari/537.36'}
   
10. # 创建RequestsCookieJar对象，用于设置cookies信息
    
11. cookies_jar = requests.cookies.RequestsCookieJar()
    
12. for cookie in cookies.split(';'):
    
13.     key, value = cookie.split('=', 1)
    
14.     cookies_jar.set(key, value)  # 将cookies保存RequestsCookieJar当中
    
15. # 发送网络请求
    
16. response = requests.get('https://www.douban.com/',headers=headers, cookies=cookies_jar)
    
17. if response.status_code == 200:  # 请求成功时
    
18.     html = etree.HTML(response.text)  # 解析html代码
    
19.     # 获取用户名  #这里用了xpath
    
20.     name = html.xpath('//*[@id="db-global-nav"]/div/div[1]/ul/li[2]/a/span[1]/text()')
    
21.     print(name[0])  # 打印用户名

复制代码

四.使用Session回话请求

1. # 使用Session回话请求
   
2. import requests        # 导入requests模块
   
3. s = requests.Session()  # 创建会话对象
   
4. data={'LoginForm[username]': 'asd112233', 'LoginForm[password]': 'asd445566'}  # 创建用户名、密码的表单数据
   
5. # 发送登录请求
   
6. response =s.post('https://www.xbiquge.la/login.php?jumpurl=https://www.xbiquge.la/',data=data)
   
7. response2=s.get('https://www.xbiquge.la/modules/article/bookcase.php')   # 发送登录后页面请求 (我的书架)
   
8. print('登录信息：',response.text)                # 打印登录信息
   
9. print('登录后页面信息如下:\n',response2.text)    # 打印登录后的页面信息

复制代码

五.访问网页是弹出的登录验证

1. import requests          # 导入requests模块
   
2. from requests.auth import HTTPBasicAuth  # 导入HTTPBasicAuth类
   
3. #访问网页的时候 跳出的登录界面
   
4. # 定义请求地址
   
5. url = 'http://sck.rjkflm.com:666/spider/auth/'
   
6. ah = HTTPBasicAuth('admin','admin')      # 创建HTTPBasicAuth对象，参数为用户名与密码
   
7. response = requests.get(url=url,auth=ah) # 发送网络请求
   
8. if response.status_code==200:            # 如果请求成功
   
9.     print(response.text)                 # 打印验证后的HTML代码

复制代码

六.网络超时与异常

1. import requests  # 导入网络请求模块
   
2. # 导入requests.exceptions模块中的三种异常类
   
3. from requests.exceptions import ReadTimeout,HTTPError,RequestException
   
4. # 循环发送请求50次
   
5. for a in range(0, 50):
   
6.     try:    # 捕获异常
   
7.         # 设置超时为0.1秒
   
8.         response = requests.get('https://www.baidu.com/', timeout=0.1)
   
9.         print(response.status_code)                                        # 打印状态码
   
10.     except ReadTimeout:                                                     # 超时异常
    
11.         print('timeout')
    
12.     except HTTPError:                                                       # HTTP异常
    
13.         print('httperror')
    
14.     except RequestException:                                               # 请求异常
    
15.         print('reqerror')

复制代码

七.使用requests上传文件

1. import requests                   # 导入网络请求模块
   
2. bd = open('百度logo.png','rb')     # 读取指定文件
   
3. file = {'file':bd}                 # 定义需要上传的图片文件
   
4. #设置UA
   
5. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3870.400 QQBrowser/10.8.4405.400'}
   
6. # 发送上传文件的网络请求
   
7. response = requests.post('http://httpbin.org/post',files = file,headers=headers)
   
8. print(response.text)     #能看到传上去的图片转换为了Base64的编码形式          # 打印响应结果

复制代码

后续附上requests（二）介绍 代理IP UA浏览器伪装     requests（三）介绍高级网络模块请求  

xiaosi4081

sofa

fish_nian

不错

hornwong

感谢分享！

975050208@qq.co

学习

懒狗李

kevin.zhou

peak6009

Dragon910623

参考一下谢谢

龙舞九天

sunwenwu123

学习了

一只咸鱼123

感谢

Dragon910623

谢谢分享

私はり

感谢分享

Daniel_Zhang

超级玛尼哄

O2H2O

厉害！

1835575828

好

邓CX

Sungne_jer

yyds