requests-html模块介绍以及静态爬取

wcq15759797758

一.介绍
Python上有一个非常著名的HTTP库——requests，相信大家都听说过，用过的人都说非常爽！现在requests库的作者又发布了一个新库，叫做requests-html，看名字也能猜出来，这是一个解析HTML的库，具备requests的功能以外，还新增了一些更加强大的功能，用起来比requests更爽！接下来我们来介绍一下它吧。
官网告诉我们，它比原来的requests模块更加强大，并且为我们提供了一些新的功能!

支持JavaScript
支持CSS选择器
支持Xpath选择器
可自定义模拟User-Agent（模拟得更像真正的web浏览器）
自动追踪重定向
连接池与cookie持久化
支持异步请求

二.安装
安装requests-html非常简单，一行命令即可做到。需要注意一点就是，requests-html只支持Python 3.6或以上的版本，所以使用老版本的Python的同学需要更新一下Python版本了。
打开cmd 输入以下代码

1. pip install requests-html

复制代码

三.请求代码例子

1. from requests_html import HTMLSession
   
2. 
   
3. session = HTMLSession()
   
4. ua = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3870.400 QQBrowser/10.8.4405.400'}
   
5. data = {'user':'admin','password':'123456'}
   
6. url = 'http://httpbin.org/post'
   
7. response = session.post(url=url,headers=ua,data=data)
   
8. if response.status_code ==200:
   
9.     print(response.text)

复制代码

四.静态抓取哦
抓取中国青年网板块中的即时新闻
网址为：http://news.youth.cn/jsxw/

1. import requests,json
   
2. from requests_html import HTMLSession
   
3. 
   
4. session = HTMLSession()          # 创建HTML会话对象
   
5. ua = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3870.400 QQBrowser/10.8.4405.400'}
   
6. url = 'http://news.youth.cn/jsxw//'
   
7. response = session.get(url=url,headers=ua)
   
8. response.encoding='gb2312'   #编码格式
   
9. if response.status_code == 200:         # 判断请求是否成功
   
10.     # 获取所有class=tj3_1中的li标签
    
11.     li_all = response.html.xpath('.//ul[@class="tj3_1"]/li')
    
12.     for li in li_all:                 # 循环遍历每个li标签
    
13.         news_title = li.find('a')[0].text  # 提取新闻标题内容
    
14.         # 获取新闻详情对应的地址
    
15.         news_href = 'http://news.youth.cn/jsxw'+\
    
16.                     li.find('a[href]')[0].attrs.get('href').lstrip('.')   #lstrip的作用是 方法用于截掉字符串左边的空格或指定字符
    
17.         news_time = li.find('font')[0].text    # 获取新闻发布的时间
    
18.         print('新闻标题为：',news_title)   # 打印新闻标题
    
19.         print('新闻url地址为：',news_href) # 打印新闻url地址
    
20.         print('新闻发布时间为：',news_time)# 打印新闻发布时间

复制代码

提取数据的方式有很多种 本人一般用的是 xpath css

私はり

学习到了

wcq15759797758

私はり 发表于 2021-6-26 15:16
学习到了

hornwong

peak6009

漂亮！

wcq15759797758

peak6009 发表于 2021-6-26 16:21
漂亮！

注释很到位！

我是小白别骗我

可以

robinyunhao

超级玛尼哄

龙舞九天

kerln888

学习了

懒狗李

1835575828

好

fish_nian

学习了

match123_xbd