爬虫--爬取小视频案例

Stubborn

1. #!/usr/bin/env python3.7
   
2. # _*_ coding: utf-8 _*_
   
3. # @Time   : 2019/3/315:03
   
4. # @Author : Stubbron
   
5. # @Email  : 1263270345@qq.com
   
6. #文件     ：使用自定义模块.py
   
7. #IDE      :PyCharm
   
8. import requests
   
9. from fake_useragent import UserAgent
   
10. import time
    
11. 
    
12. ua = UserAgent() #随记生成User-Agent
    
13. 
    
14. def downloads(url,path):
    
15.     #开始下载的时间
    
16.     start = time.time()
    
17.     size = 0
    
18. 
    
19.     headers = {
    
20.         "User-Agent": ua.random
    
21.     }
    
22. 
    
23.     # stream 属性必须带上
    
24.     response = requests.get(url,headers=headers,stream=True)
    
25.     # print(response)
    
26.     #每次下次的数据大小
    
27.     chunk_size = 1024
    
28.     #视频总大小
    
29.     content_size = int(response.headers["content-length"])
    
30. 
    
31.     if response.status_code == 200:
    
32.         #文件读写
    
33.         with open(path,"wb") as f:
    
34.             #l浏览器发送给数据的数据
    
35.             for data in response.iter_content(chunk_size=chunk_size):
    
36.                 #获取到的数据写入
    
37.                 f.write(data)
    
38.                 #已经下载的文件大小
    
39.                 size += len(data)
    
40.                 #进度条
    
41.                 print("\r"+"[下载进度]：%s%.2f%%" %(">"*int(size * 50 / content_size),float(size / content_size * 100)),end= " ")
    
42.         #结束时间
    
43.         end = time.time()
    
44. 
    
45.         print("\n"+"视频下载完成 用时：{}".format(end - start))
    
46. 
    
47. def Thje_url(page):
    
48.     "通过API获取到视频的详细信息"
    
49.     uri = "http://api.vc.bilibili.com/board/v1/ranking/top?page_size=10&next_offset=&tag=%E4%BB%8A%E6%97%A5%E7%83%AD%E9%97%A8&platform=pc"
    
50.     url = "http://api.vc.bilibili.com/board/v1/ranking/top?page_size={}&next_offset=&tag=%E4%BB%8A%E6%97%A5%E7%83%AD%E9%97%A8&platform=pc".format(page)
    
51. 
    
52.     #模拟用户请求；添加请求头User-Agent
    
53.     headers = {
    
54.         "User-Agent": ua.random
    
55.     }
    
56. 
    
57.     #模拟用户请求网页
    
58.     sponse = requests.get(url,headers=headers).json()
    
59.     #通过data来取到最终的视频原址连接
    
60.     item = sponse.get("data").get("items")
    
61.     # print(item)
    
62.     for i in item:
    
63.         #得到item对应数据
    
64.         ite = i.get("item")
    
65.         # print(ite)
    
66.         #获取到视频标题
    
67.         Video_name = ite.get('description')
    
68.         #视频发布日期
    
69.         Video_time = ite.get('upload_time')
    
70. 
    
71.         #视频播放地址
    
72.         Video_bofang = ite.get('share_url')
    
73. 
    
74.         #视频下载地址
    
75.         Video_download = ite.get('video_playurl')
    
76. 
    
77.         #视频作者
    
78.         The_name = i.get('user').get('name')
    
79. 
    
80.         #获取到Url用来下载视频
    
81.         try:
    
82.             print("当前下载的是{}".format(Video_name))
    
83.             downloads(Video_download,path="{}.mp4".format(Video_name))
    
84.         except Exception as e:
    
85.             print(e)
    
86. 
    
87. for page in range(1,10):
    
88.     page += page * 10 + 1
    
89.     Thje_url(page)

复制代码

杜若左

楼主你好，那个网易云词语云的怎么看不了了
可以分想给我看看吗？
辛苦了

Stubborn

杜若左 发表于 2020-3-6 09:24
楼主你好，那个网易云词语云的怎么看不了了
可以分想给我看看吗？
辛苦了

我记得有分享，不能看了？

杜若左

看不了了 呜呜呜呜~

杜若左

可以发我QQ吗？3309701887
麻烦了