Ajax数据的爬取

wcq15759797758 · 发表于 2021-6-27 14:04:35

您需要登录才可以下载或查看，没有账号？立即注册

x

爬取B站综合热门
网址为 https://www.bilibili.com/v/popular/all

import requests # 网络请求模块
import time # 时间模块
import random # 随机模块
# 哔哩哔哩
json_url = 'https://api.bilibili.com/x/web-interface/popular?ps=20&pn={page}'
class Crawl():
def __init__(self):
# 创建头部信息
self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0'}
def get_json(self,json_url):
response = requests.get(json_url, headers=self.headers)
# 判断请求是否成功
if response.status_code == 200:
return response.json() # 返回json信息
else:
print('获取json信息的请求没有成功！')
if __name__ == '__main__':
c = Crawl() # 创建爬虫类对象
for page in range(1,12): #页码
json = c.get_json(json_url.format(page=page))
infos = json['data']['list']# 信息集
for info in infos: # 遍历信息
title = info['title'] # 视频标题
video_url = info['short_link'] # 视频地址
print(title, video_url) # 打印提取的视频标题与视频地址
time.sleep(random.randint(2,4)) # 随机产生获取json请求的间隔时间

复制代码

寻个大佬求教一下接下去的视频链接下载！我没找到mp4格式

超级玛尼哄 · 发表于 2021-6-27 16:53:22

懒狗李 · 发表于 2021-6-27 18:33:49

hornwong · 发表于 2021-6-28 11:31:08

感谢分享！

明日之光 · 发表于 2021-7-1 23:40:22

1835575828 · 发表于 2021-7-3 15:38:57

邓CX · 发表于 2021-7-3 16:15:45

fish_nian · 发表于 2021-7-3 18:26:06

这个厉害了！

sunwenwu123 · 发表于 2021-7-4 15:42:01

学习

芬里尔ming · 发表于 2021-7-5 21:54:26

顶顶

Kayko · 发表于 2021-7-6 11:13:16

yangtao120 · 发表于 2021-7-6 17:25:29

啊白嫖

Kayko · 发表于 2021-7-6 20:56:47

1111

#大甲鱼 · 发表于 2021-7-7 10:23:13

厉害了大佬！

周一先生 · 发表于 2021-7-13 23:29:03

牛呀

萝卜里 · 发表于 2021-7-14 21:19:26

好厉害呜呜

noah-py · 发表于 2021-7-14 21:38:28

万户侯 · 发表于 2021-7-14 21:47:56

万户侯 · 发表于 2021-7-14 21:51:15

萝卜里 · 发表于 2021-7-15 21:35:11

账号		自动登录	找回密码
密码			立即注册

[技术交流] Ajax数据的爬取