wcq15759797758 发表于 2021-6-27 14:04:35

Ajax数据的爬取

爬取B站综合热门
网址为 https://www.bilibili.com/v/popular/all

import requests# 网络请求模块
import time      # 时间模块
import random    # 随机模块

# 哔哩哔哩
json_url = 'https://api.bilibili.com/x/web-interface/popular?ps=20&pn={page}'
class Crawl():
    def __init__(self):
      # 创建头部信息
      self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:66.0) Gecko/20100101 Firefox/66.0'}
    def get_json(self,json_url):
      response = requests.get(json_url, headers=self.headers)
      # 判断请求是否成功
      if response.status_code == 200:
            return response.json()# 返回json信息
      else:
            print('获取json信息的请求没有成功！')

if __name__ == '__main__':
    c = Crawl()                # 创建爬虫类对象
    for page in range(1,12):   #页码
      json = c.get_json(json_url.format(page=page))
      infos = json['data']['list']# 信息集
      for info in infos:# 遍历信息
            title = info['title']# 视频标题
            video_url = info['short_link']# 视频地址
            print(title, video_url)# 打印提取的视频标题与视频地址
      time.sleep(random.randint(2,4))# 随机产生获取json请求的间隔时间

寻个大佬   求教一下接下去的视频链接下载！ 我没找到mp4格式 {:10_254:}   

超级玛尼哄 发表于 2021-6-27 16:53:22

{:10_254:}

懒狗李 发表于 2021-6-27 18:33:49

{:10_254:}

hornwong 发表于 2021-6-28 11:31:08

感谢分享！

明日之光 发表于 2021-7-1 23:40:22

{:9_241:}

1835575828 发表于 2021-7-3 15:38:57

好

邓CX 发表于 2021-7-3 16:15:45

{:5_90:}

fish_nian 发表于 2021-7-3 18:26:06

这个厉害了！

sunwenwu123 发表于 2021-7-4 15:42:01

学习{:10_256:}

芬里尔ming 发表于 2021-7-5 21:54:26

顶顶

Kayko 发表于 2021-7-6 11:13:16

牛

yangtao120 发表于 2021-7-6 17:25:29

啊白嫖

Kayko 发表于 2021-7-6 20:56:47

1111

#大甲鱼 发表于 2021-7-7 10:23:13

厉害了大佬！

周一先生 发表于 2021-7-13 23:29:03

牛呀

萝卜里 发表于 2021-7-14 21:19:26

好厉害呜呜

noah-py 发表于 2021-7-14 21:38:28

{:10_275:}

万户侯 发表于 2021-7-14 21:47:56

{:10_279:}

万户侯 发表于 2021-7-14 21:51:15

{:10_247:}

萝卜里 发表于 2021-7-15 21:35:11

12
页: [1] 2
查看完整版本: Ajax数据的爬取