闲来无事写了一个爬bilibili的代码，看自己学了多少时长

Daniel_Zhang

模块在此：

文件名 get_data_set.py
注意修改一下 LOCATION 变成自己的文件夹

1. import pickle, os
   
2. import easygui as g
   
3. import get_total_time as data
   
4. 
   
5. LOCATION = os.getcwd() + '/html_css_js_flask/learning_progress_count/'
   
6. 
   
7. url = input('enter the url address\n')
   
8. 
   
9. my_time = []
   
10. my_time = data.get_durations(url)
    
11. 
    
12. # make a new binary file to store the data in list my_time
    
13. def add_data_set(my_time):
    
14.     # auto create a new file if it not exists, or write into the file directly if the file exists
    
15.     pickle_file = open(LOCATION + 'html_learn_progress.testing','wb')   # wb is write binary, do not mind the file name, it can be anything
    
16.     pickle.dump(my_time,pickle_file)    # dump the list into the file
    
17.     pickle_file.close()
    
18. 
    
19. def data_set_read():
    
20.     if __name__ != '__main__':
    
21.         add_data_set(my_time)
    
22.     pickle_file = open(LOCATION + 'html_learn_progress.testing','rb')   # rb is read binary
    
23.     my_list2 = pickle.load(pickle_file) # load the binary data
    
24.     if __name__ == '__main__':
    
25.         print(my_list2) # show the data
    
26.     length_data_set = len(my_list2)
    
27.     g.msgbox(msg = 'data set insert successful :)' + '\n\n' + 'total insert: ' + str(length_data_set),title='System Warning',ok_button='Get it !')
    
28.     return my_list2
    
29. 
    
30. if __name__ == '__main__':
    
31.     add_data_set(my_time)
    
32.     data_set_read()

复制代码

又是一个模块，爬虫模块，自动获取数据，文件名: get_total_time.py

1. import re, ssl
   
2. import requests
   
3. 
   
4. def open_url(url):
   
5. # encoding: utf-8
   
6. 
   
7.     headers = {
   
8.     'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
   
9.     'Accept': 'text/html',
   
10.     'Cookie': "_uuid=1DBA4F96-2E63-8488-DC25-B8623EFF40E773841infoc; buvid3=FE0D3174-E871-4A3E-877C-A4ED86E20523155831infoc; LIVE_BUVID=AUTO8515670521735348; sid=l765gx48; DedeUserID=33717177; DedeUserID__ckMd5=be4de02fd64f0e56; SESSDATA=cf65a5e0%2C1569644183%2Cc4de7381; bili_jct=1e8cdbb5755b4ecd0346761a121650f5; CURRENT_FNVAL=16; stardustvideo=1; rpdid=|(umY))|ukl~0J'ulY~uJm)kJ; UM_distinctid=16ce0e51cf0abc-02da63c2df0b4b-5373e62-1fa400-16ce0e51cf18d8; stardustpgcv=0606; im_notify_type_33717177=0; finger=b3372c5f; CURRENT_QUALITY=112; bp_t_offset_33717177=300203628285382610"
    
11.    
    
12.     }
    
13.     f = open('testing_new.txt','w')
    
14.     ssl._create_default_https_context = ssl._create_unverified_context
    
15.     html = requests.get(url,headers=headers).text # 获取url内容
    
16.     f.write(html) # 写入 url内容到文件，决定如何写下面的正则表达式
    
17.     f.close()
    
18.     return html
    
19. 
    
20. def get_durations(url):
    
21.     html = open_url(url)
    
22.     m = r'"cid":.+?,'
    
23.     match = str(re.findall(m, html)[0])
    
24.     match = match.split(':')[-1]
    
25.     match = match.split(',')[0] # 获得第一个视频的 cid 用来辅助获取完整的播放列表
    
26.     p = r'\[{"cid":' + match + '.+?]'
    
27.     pic = re.findall(p, html)  # 获取完整的播放列表
    
28.     final_result = []
    
29.     q = r'"duration":.+?,'
    
30.     pic = str(pic)
    
31.     duration = re.findall(q, pic)   # 获取每一个视频的播放时长的列表（此处包含了 class 名称，需要进一步进行处理）
    
32.     duration = str(duration)
    
33.     y = r':.+?,'
    
34.     time_get = re.findall(y, duration)  # 获得每一个视频的播放时长列表（进一步进行处理）
    
35. 
    
36.     for each in range(len(time_get)):   # 清除所有不必要的内容
    
37.         time_get[each] = time_get[each].split(':')[-1]
    
38.         time_get[each] = time_get[each].split(',')[0]
    
39.         temp = time_get[each]
    
40.         final_result.append([int(temp) // 60, int(temp) % 60])  # 将时间转换成 分钟:秒
    
41.     return final_result
    
42. 
    
43. if __name__ == '__main__':
    
44.     url = input('enter\n')
    
45.     #open_url(url)
    
46.     get_durations(url)
    

复制代码

主程序在此，文件名 time_adding.py

1. import pickle
   
2. import easygui as g
   
3. import get_data_set as data_set
   
4. 
   
5. sum_second = 0  # time already used, initial be zero
   
6. 
   
7. 
   
8. 
   
9. # calculate the progress
   
10. def calculate(my_list2):
    
11.     global sum_second
    
12.     total_time = 0
    
13.     for each in range(len(my_list2)):
    
14.         total_time += 60 * int(my_list2[each][0]) + int(my_list2[each][1])
    
15.         if each < already_take:
    
16.             sum_second += 60 * int(my_list2[each][0]) + int(my_list2[each][1])
    
17.     string1 = "hours already take: " + str(sum_second/(60*60)) +' / ' + str(total_time/(60*60))
    
18.     string2 = "current percentage: " + str((sum_second/total_time) * 100) + ' %'
    
19.     #g.msgbox(msg = string1 + '\n\n' + string2,title='System Warning',ok_button='Get it !')
    
20.     g.msgbox(msg = string1 + '\n\n' + string2,title='System Warning',ok_button='Get it !')
    
21. 
    
22. 
    
23. if __name__ == "__main__":
    
24.     already_take = input('how many unit you already take up to now?\n')
    
25.     try:
    
26.         already_take = int(already_take)
    
27.     except ValueError:
    
28.         g.msgbox(msg = 'seems enter is wrong, please check it and enter again!', title='System Warning',ok_button='Get it !')
    
29.         exit()
    
30.     my_list2 = data_set.data_set_read()
    
31.     calculate(my_list2)

复制代码

p.s 三个文件请放在同一个文件夹下面
只需要输入指定的 bilibili 视频链接，含有 BV号 或者 a v 号的那个链接，以及自己学完了多少个章节（学完了第一讲就输入1，以此类推）

Daniel_Zhang

另外发现一个挺有意思的api，可以用BV号和cid获取需要的东西，文章链接如下：

https://www.bilibili.com/read/cv5245087

三柒得拾

向楼主学习啊，我才刚开始学，不知道什么时候可以有这么厉害

hornwong

19924269098

学习

守望星星

愷龍

学习一下

a64021a

刚学习，希望向楼主一样厉害

Daniel_Zhang

提高了一点中奖概率，没有获得鱼币的可以多尝试几次呀

小古比鱼

luckyboyzzz

刚学习，好多看不懂

Daniel_Zhang

luckyboyzzz 发表于 2021-1-7 22:12
刚学习，好多看不懂

加油，等你认真学完了小甲鱼的课程，相信你一定能看懂的~我也才刚学完没多久

Daniel_Zhang

别沉啊，还有币呢，改了爆率了

石泊远

学习

Daniel_Zhang

别沉啊，还有鱼币

sinaop

昨非

捞一手

呆萌的月饼不呆

红桃J

只学会了print

zgwzgw

学习