求问，爬虫：关于网页刷新后网页代码变化问题

兰竹皋

请问，在刷新浏览器后有时网页代码 expire=

会变成 e=

是为什么？
谢谢

suchocolate

网站的设置吧，这个baseurl应该是网站给你的，可能轮训或者别的机制生成，能用就可以。

YunGuo

人家网站生成的url，管它为什么干啥，能正常请求拿到你想要的数据就行了。

兰竹皋

suchocolate 发表于 2020-11-11 21:00
网站的设置吧，这个baseurl应该是网站给你的，可能轮训或者别的机制生成，能用就可以。

可用爬虫爬取视频资源时，只有当 expires 时才能下载到视频。
不然下载地视频只有 0kb，好像是获得不到资源一样。
如此就像概率事件一样，反复重复，有时能下，有时不能。。。
请问，这又是为什么，或者改怎么办？

suchocolate

兰竹皋 发表于 2020-11-12 10:22
可用爬虫爬取视频资源时，只有当 expires 时才能下载到视频。
不然下载地视频只有 0kb，好像是获得不到 ...

代码发一下，一起看看。

兰竹皋

代码如下

1. import requests
   
2. import re
   
3. import time
   
4. 
   
5. def get_html(url):
   
6.     return requests.get(url,headers=headers1).text
   
7. 
   
8. def parse(html):
   
9.     video_name=re.findall('<span class="tit">(.*?)</span>',html,re.S)[0]+'.flv'
   
10.     print("正在爬取"+video_name+"...")
    
11.     video_url=re.findall('window.__playinfo__={.*?"baseUrl":"(.*?)".*?}',html,re.S)[0]
    
12.     print(video_url)
    
13.     return video_url,video_name
    
14. 
    
15. def download(videourl,video_name):
    
16.     with open(video_name,'wb') as f:
    
17.         f.write(requests.get(videourl,headers=headers2,stream=True,verify=False).content)
    
18.     f.close()
    
19.     print("视频下载完成!")
    
20. 
    
21. 
    
22. if __name__ == '__main__':
    
23.     avid=input("请输入要爬取的视频id:")
    
24.     base_url=f'https://www.bilibili.com/video/BV{avid}'
    
25.     headers1={
    
26.         'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36',
    
27.         'Host': 'www.bilibili.com',
    
28.         'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    
29.         'Accept-Encoding':'gzip, deflate, br',
    
30.         'Accept-Language':'zh-CN,zh;q=0.9',
    
31.         'Cache-Control': 'max-age=0',
    
32.         'Connection': 'keep-alive'
    
33.     }
    
34. 
    
35.     headers2={
    
36.         'Host':'cn-jsnj3-cmcc-v-14.bilivideo.com',
    
37.         'Accept-Encoding':'identity',
    
38.         'Accept-Language':'zh-CN,zh;q=0.9',
    
39.         'Origin':'https://www.bilibili.com',
    
40.         'Referer':base_url,
    
41.         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
    
42.     }
    
43.     html=get_html(base_url)
    
44.     time.sleep(0.5)
    
45.     videourl,videoname=parse(html)
    
46.     download(videourl,videoname)
    

复制代码

比如输入番号：1wa4y1x7io

兰竹皋

suchocolate 发表于 2020-11-12 10:30
代码发一下，一起看看。

上面代码，我这边只有在url 为 expires时，才能下载到资源，e时好像是网络连接失败 ，得不到资源

兰竹皋

我知道了，
当 e开头时，可以通过
headers中，指定Range来控制下载内容大小来进行下载
但，为什么？
expires与e为什么时而会相互转换？

兰竹皋

我知道原因了
抱歉，前面headers中的host没改，所以不能直接下载