爬虫urllib模块

wcq15759797758

一. urllib的使用

1. import urllib.request    # 导入request子模块
   
2. url = 'https://www.cnblogs.com/'
   
3. response = urllib.request.urlopen(url=url)  # 发送网络请求
   
4. print('响应状态码为：',response.status)
   
5. print('响应头所有信息为：',response.getheaders())
   
6. print('响应头指定信息为：',response.getheader('Accept-Ranges'))
   
7. # 读取HTML代码并进行utf-8解码
   
8. print('博客园代码如下：\n',response.read().decode('utf-8'))

复制代码

二. urllib的使用发送POST请求并带UA浏览器

1. 
   
2. import urllib.request  # 导入urllib.request模块
   
3. import urllib.parse    # 导入urllib.parse模块
   
4. url = 'https://www.httpbin.org/post'  # 请求地址
   
5. # 定义请求头信息
   
6. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
   
7. # 将表单数据转换为bytes类型，并设置编码方式为utf-8
   
8. data = bytes(urllib.parse.urlencode({'hello':'python'}),encoding='utf-8')
   
9. # 创建Request对象
   
10. r = urllib.request.Request(url=url,data=data,headers=headers,method='POST')
    
11. response = urllib.request.urlopen(r)  # 发送网络请求
    
12. print(response.read().decode('utf-8'))  # 读取HTML代码并进行utf-8解码

复制代码

三. urllib的异常处理

1. import urllib.request  # 导入urllib.request模块
   
2. import urllib.error  # 导入urllib.error模块
   
3. import socket  # 导入socket模块
   
4. url = 'https://www.python.org/'  # 请求地址
   
5. try:
   
6.     # 发送网络请求,设置超时时间为0.1秒
   
7.     response = urllib.request.urlopen(url=url, timeout=0.1)
   
8.     print(response.read().decode('utf-8'))  # 读取HTML代码并进行utf-8解码
   
9. except urllib.error.URLError as error:  # 处理异常
   
10.     if isinstance(error.reason, socket.timeout):  # 判断异常是否为超时异常
    
11.         print('当前任务已超时，即将执行下一任务！')

复制代码

四. urllib的url拼接

1. import urllib.parse    #导入urllib.parse模块
   
2. base_url = 'https://docs.python.org'   # 定义基础链接
   
3. # 第二参数不完整时
   
4. print(urllib.parse.urljoin(base_url,'3/library/urllib.parse.html'))
   
5. # 第二参数完成时，直接返回第二参数的链接
   
6. print(urllib.parse.urljoin(base_url,'https://docs.python.org/3/library/urllib.parse.html#url-parsing'))

复制代码

可能补充的不够完整 谅解 谢谢

wcq15759797758

过两天介绍requests模块

xiaosi4081

wcq15759797758 发表于 2021-6-23 17:21
过两天介绍requests模块

建议开个淘帖来放关于爬虫的文章

wcq15759797758

xiaosi4081 发表于 2021-6-23 17:31
建议开个淘帖来放关于爬虫的文章

好的谢谢！

hornwong

感谢分享!

wcq15759797758

hornwong 发表于 2021-6-23 19:50
感谢分享!

不客气 加油

龙舞九天

975050208@qq.co

坐下学习

ridiculum

学习一个

懒狗李

瓦塔西

19924269098

少侠学编程

来学习学习！

超级玛尼哄