B站，番剧下载爬虫（VIP版）

兰竹皋

现在b站番剧版权要求越来越严，越来越多的番剧不能直接下载了。
而我个人对于一些喜欢的番剧有收藏爱好，于是就写了这个小爬虫——通过番剧的ep号下载b站番剧（对于VIP账户而言）。
当然，为了方便而言我也就没有打包成GUI了。
下面展示一些爬取过程：
首先获取番剧的ep号，如图：


通常我们点入番剧后得到的并不是ep号，
此时只需要点击一下右方的任意一其他集，如图：

页面上方地址便出现了ep号。
当然，还有一些特殊番剧，只有一集，如：

无法通过上述方法获得，只能通过抓包（playurl开头的包），如图：



而同样，通常而言，一般番剧的ep号是连续数字，如图：

此时，执行程序时，只需要输入：

或


但同样，也总存在这样一些莫名其妙的番剧，如图：


番号并不连续。
此时，执行程序时，输入：

即可。

接着，输入下载画质，如图（分别对应（ ））：


最后，开始下载了：

但要注意，下载前命理窗口必须要足够大，且下载过程中别改变其大小，不然会出现排序混乱的情况。
（由于技术原因，上方命令窗口中显示的中文字符有些会缺失一半，如果有知道怎么回事的高手，还请告知一二，谢谢啦 (^_^) ）


下方是源代码：

1. import requests
   
2. from lxml import etree
   
3. import curses
   
4. import time
   
5. from multiprocessing.pool import ThreadPool
   
6. import os
   
7. import demjson
   
8. 
   
9. requests.packages.urllib3.disable_warnings()
   
10. 
    
11. 
    
12. def getVideoName(home_url):
    
13.     headers = {
    
14.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3970.5 Safari/537.36',
    
15.         'Referer': home_url,
    
16.     }
    
17. 
    
18.     re = requests.get(home_url, headers=headers)
    
19.     re.raise_for_status()
    
20.     re.encoding = 'utf-8'
    
21.     re_text = re.text
    
22. 
    
23.     tree = etree.HTML(re_text)
    
24.     name = tree.xpath('//div[@class="media-wrapper"]/h1/text()')
    
25.     title = tree.xpath('//meta[@name="keywords"]/@content')
    
26.     return name[0], title[0]
    
27. 
    
28. 
    
29. def getBliVideo(home_url, each_episode, each_episode_i, session = requests.session()):
    
30.     headers_info = {
    
31.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3970.5 Safari/537.36',
    
32.         'Referer': home_url,
    
33.         'cookie': "*******************"      #注意，此处改成自己的cookie就行了
    
34.     }
    
35.     info_url = 'https://api.bilibili.com/pgc/player/web/playurl'
    
36.     # qn : 16, 32, 64, 80, 112
    
37.     params = {
    
38.         'qn': qn,
    
39.         'ep_id': each_episode,
    
40.     }
    
41. 
    
42.     video_info_re = session.get(url=info_url, headers=headers_info, params=params, verify=False)
    
43.     video_info_re.raise_for_status()
    
44. 
    
45.     video_info_dict = video_info_re.json()
    
46.     video_size = video_info_dict['result']['durl'][0]['size']
    
47.     # video_length = video_info_dict['result']['durl'][0]['length'] / 1000
    
48.     video_url = video_info_dict['result']['durl'][0]['backup_url'][0]
    
49.     video_name, video_title = getVideoName(home_url)
    
50. 
    
51.     video_title = os.path.join(os.getcwd(), video_title)
    
52.     if os.path.exists(video_title):
    
53.         pass
    
54.     else:
    
55.         os.mkdir(video_title)
    
56. 
    
57.     BliBliDownload(home_url=home_url, video_url=video_url, video_size=video_size, video_title=video_title, video_name=video_name, each_episode_i=each_episode_i)
    
58. 
    
59. 
    
60. def BliBliDownload(home_url, video_url, video_size, video_title, video_name, each_episode_i, session=requests.session()):
    
61.     def get_url(url, headers, timeout=5):
    
62.         try:
    
63.             return session.get(url=url, headers=headers, timeout=timeout, verify=False)
    
64.         except requests.exceptions.Timeout:
    
65.             return get_url(url, headers, timeout)
    
66. 
    
67.     headers = {
    
68.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3970.5 Safari/537.36',
    
69.         'Referer': home_url,
    
70.     }
    
71.     # options_re = session.options(url=video_url, headers=headers)
    
72.     # print(options_re)
    
73.     # options_re.raise_for_status()
    
74. 
    
75.     # 进度条显示
    
76.     total=int(video_size/1024/1024); ncols=50; nrow=(each_episode_i+1)*2-1; desc='Processing'; unit='Mb'
    
77.     def get_bar(l, n, ncol):
    
78.         r = ncol - l - 1
    
79.         bar = ''.join(['#' for i in range(l)])
    
80.         if l != ncol:
    
81.             bar += f'{n}'
    
82.         bar += ''.join([' ' for i in range(r)])
    
83.         return '|'+bar+'|'
    
84. 
    
85.     stdscr.addstr(nrow, 0, f'正 在 下 载  -- {" ".join(video_name)}:')
    
86.     processing = f'{0:>3d}%'
    
87.     bar = get_bar(0, 0, ncols)
    
88.     mod = f'{desc} {each_episode_i+1:>2d}:  {bar} {processing:>4s}'
    
89.     stdscr.addstr(nrow+1, 1, mod)
    
90.     stdscr.refresh()
    
91.    
    
92.     start_time = time.time()
    
93. 
    
94.     with open(video_title+'/'+video_name + '_Video.mp4', 'wb') as f:
    
95.         # 每次下载 1M 数据
    
96.         begin = 0
    
97.         end = 1024 * 1024 - 1
    
98.         flag = 0
    
99.         for i in range(total):
    
100.             sub_start_time = time.time()
     
101. 
     
102.             # 内容处理
     
103.             headers.update({'Range': f'bytes={begin}-{end}'})
     
104.             re = get_url(url=video_url, headers=headers, timeout=5)
     
105.             if re.status_code != 416:
     
106.                 begin = end + 1
     
107.                 end = end + 1024 * 1024
     
108.             else:
     
109.                 headers.update({'Range': f'bytes={end + 1}-'})
     
110.                 re = get_url(url=video_url, headers=headers, timeout=5)
     
111.             f.write(re.content)
     
112.             f.flush()
     
113. 
     
114.             sub_stop_time = time.time()
     
115.             sub_delta_time = sub_stop_time - sub_start_time
     
116.             delta_time = sub_stop_time - start_time
     
117.             remain_time = (total - i - 1)*sub_delta_time
     
118.             
     
119.             temp = (i+1)/total
     
120.             processing = f'{int(temp*100):>3d}%'
     
121.             l = int(temp*ncols)
     
122.             n = int(temp*ncols*10)%10
     
123.             bar = get_bar(l, n, ncols)
     
124.             mod = f'{desc} {each_episode_i+1:>2d}:  {bar} {processing:>4s} ({i+1} of {total}) [{int(delta_time//60):0>2d}:{int(delta_time%60):0>2d}<{int(remain_time//60):0>2d}:{int(remain_time%60):0>2d}, {1/sub_delta_time:.2f}{unit}/s]'
     
125.             stdscr.addstr(nrow+1, 1, mod)
     
126.             stdscr.refresh()
     
127. 
     
128.     stdscr.addstr(nrow+1,0, f'{" ":>200s}')     # 清楚原行数据
     
129.     bar='|Download completed|'
     
130.     mod = f'{desc} {each_episode_i+1:>2d}:  {bar} {processing:>4s} ({i+1} of {total}) [{int(delta_time//60):0>2d}:{int(delta_time%60):0>2d}, {total/delta_time:.2f}{unit}/s]'
     
131.     stdscr.addstr(nrow+1, 1, mod)
     
132.     stdscr.refresh()
     
133. 
     
134. def main(ep_id_list):
     
135.     stdscr.addstr(0, 0, ' '.join('开始下载：'))
     
136.     stdscr.refresh()
     
137.     pool = ThreadPool(4)
     
138.     each_episode_i = 0
     
139.     for each_episode in ep_id_list:
     
140.         home_url = f'https://www.bilibili.com/bangumi/play/ep{each_episode}'
     
141.         pool.apply_async(getBliVideo, (home_url, each_episode, each_episode_i))
     
142.         each_episode_i += 1
     
143.         # print(getVideoName(home_url))
     
144.     pool.close()
     
145.     pool.join()
     
146.     stdscr.addstr(2*ep_id_iter_n+1, 0, ' '.join('所有视频已下载完成 (^_^)...'))
     
147.     stdscr.addstr(2*ep_id_iter_n+3, 0, 'Press any key to continue...')
     
148.     stdscr.refresh()
     
149. 
     
150. 
     
151. if __name__ == '__main__':
     
152.     requests.packages.urllib3.disable_warnings()
     
153. 
     
154.     ep_id = input('请输入视频epid(第一集), 或 epid列表[](不包括ep):')
     
155.     try:
     
156.         flag = 0
     
157.         if ',' in ep_id.strip():
     
158.             ep_id_list = demjson.decode(ep_id)
     
159.             ep_id_iter_n = len(ep_id_list)
     
160.             flag = 1
     
161.         else:
     
162.             ep_id_ns = input('请输入要下载的范围([从第几集,到第几集]), 如 [4,9]; 或 下载几集, 如 5; 或下载第几集, 如[5,]:')
     
163. 
     
164.             ep_id_ns = demjson.decode(ep_id_ns)
     
165.             if isinstance(ep_id_ns, int):
     
166.                 ep_id_iter_start, ep_id_iter_n = int(ep_id), int(ep_id_ns)
     
167.                 flag = 1
     
168.             elif isinstance(ep_id_ns, list):
     
169.                 if len(ep_id_ns) == 2:
     
170.                     ep_id_iter_start, ep_id_iter_n = int(ep_id) + int(ep_id_ns[0]) - 1, int(ep_id_ns[1]) - int(ep_id_ns[0]) + 1
     
171.                     flag = 1
     
172.                 elif len(ep_id_ns) == 1:
     
173.                     ep_id_iter_start, ep_id_iter_n = int(ep_id) + int(ep_id_ns[1]) - 1, 1
     
174.                     flag = 1
     
175.             ep_id_iter_end = ep_id_iter_start + ep_id_iter_n - 1
     
176.             ep_id_list = range(ep_id_iter_start, ep_id_iter_end+1)
     
177.     except:
     
178.         raise ValueError('选集有错误哦~~~')
     
179.     if flag == 0:
     
180.         raise ValueError('选集有错误哦~~~')
     
181. 
     
182.     qn = input('请输入下载视频画质(112,80,64,32,16):')
     
183. 
     
184.     def get_ch_and_continue(stdscr):
     
185.         stdscr.nodelay(0)
     
186.         ch = stdscr.getch()
     
187.         stdscr.nodelay(1)
     
188.     try:
     
189.         # 创建 curses
     
190.         stdscr = curses.initscr()
     
191.         curses.cbreak()
     
192.         curses.noecho()
     
193.         stdscr.keypad(1)
     
194. 
     
195.         main(ep_id_list)
     
196.         
     
197.         get_ch_and_continue(stdscr)
     
198.         # 关闭 curses
     
199.         curses.nocbreak()
     
200.         curses.echo()
     
201.         stdscr.keypad(0)
     
202.         curses.endwin()
     
203.     except Exception as e:
     
204.         curses.nocbreak()
     
205.         curses.echo()
     
206.         stdscr.keypad(0)
     
207.         curses.endwin()
     
208.         print(e)
     

复制代码

其中，cookie在自己登陆账号后，从F12中，network，任意一个包中，查看headers，复制粘贴过来就行了。