[已解决]python爬虫相关

是肥宅SRP啊

想求助一下各位大佬，如果我想获取前端general 信息里的requests url的话，该怎么获取呢？就是这个Request URL: https://www.pearvideo.com/videoS ... 0.30040799851445077。或者我有没有其他办法获取到Query String Parameters 里的信息，我把它拼成上述的URL？

最佳答案

月排行榜 / 总排行榜

昭昭天命amg

2023-4-1 02:25:40

这是我去年跟着教程敲的代码，看对你有没有帮助吧

1. import requests
   
2. import re
   
3. from lxml import etree
   
4. 
   
5. # 检测连接是否为广告
   
6. def check_video(string):
   
7.     patt = re.compile(r'^video')
   
8.     if patt.match(string) is not None:
   
9.         return True
   
10.     else:
    
11.         return False
    
12. 
    
13. 
    
14. url = 'htt(删去)ps://w(括号)ww.pearvideo.c(内容)om/'  # 梨视频首页
    
15. resp = requests.get(url)
    
16. html = etree.HTML(resp.text)
    
17. hrefs = html.xpath('//*[@id="vervideoTlist"]//a/@href')  # 获取首页视频列表的子链接
    
18. for href in hrefs:
    
19.     if check_video(href):  # 检测连接是否为广告
    
20.         cont_id = href.split('_')[1]
    
21.         child_url = url + href  # 拼接子链接
    
22.         # child_resp = requests.get(url=child_url)
    
23.         # child_html = etree.HTML(child_resp.text)
    
24.         # title = child_html.xpath('//title/text()')[0].split('_')[0]  # 获取视频标题
    
25.         headers = {
    
26.             'Referer': child_url  # 防盗链
    
27.         }
    
28.         videoAPI = f'http(删去)s://ww(括号)w.pearvideo.co(内容)m/videoStatus.jsp?contId={cont_id}&mrd=0.13729588533471238'
    
29.         # print(requests.get(url=videoAPI, headers=headers).json())
    
30.         dic = requests.get(url=videoAPI, headers=headers).json()
    
31.         systemTime = dic['systemTime']  # 获取时间戳
    
32.         srcUrl = dic['videoInfo']['videos']['srcUrl']  # 获取视频地址
    
33.         srcUrl = srcUrl.replace(systemTime, f'cont-{cont_id}')  # 将时间戳替换为cont_id,得到真正的视频地址
    
34.         video_resp = requests.get(srcUrl)
    
35.         with open(f'video/{cont_id}.mp4', 'wb') as f:
    
36.             f.write(video_resp.content)
    
37.         print(f'视频{cont_id}下载成功')
    
38.         video_resp.close()
    
39. resp.close()
    

复制代码

跳转到最佳答案楼层

isdkz

浏览器开发者工具的network

isdkz

币

isdkz

再来

是肥宅SRP啊

isdkz 发表于 2023-3-30 17:20
浏览器开发者工具的network

可以用代码自动获取吗?我想要批量得爬取视频并下载下来，我不能一个个的去复制吧，那和我自己手动下载视频也没区别我甚至还要写段小代码

isdkz

是肥宅SRP啊 发表于 2023-3-30 19:51
可以用代码自动获取吗?我想要批量得爬取视频并下载下来，我不能一个个的去复制吧，那和我自己手动下载视 ...

可以用代码自动获取

平凡之路1314

鱼币

平凡之路1314

帮顶

平凡之路1314

再来

平凡之路1314

还不中，呜呜呜

芜湖666

那就让我试试吧

芜湖666

服了啊，快点给我中

芜湖666

你这个东西对我来说无能为力

芜湖666

我就是想要这二十鱼币而已

芜湖666

球球了别搞我啊

是肥宅SRP啊

isdkz 发表于 2023-3-30 20:19
可以用代码自动获取

可以具体说说代码怎么写嘛？感谢

昭昭天命amg

这是我去年跟着教程敲的代码，看对你有没有帮助吧

1. import requests
   
2. import re
   
3. from lxml import etree
   
4. 
   
5. # 检测连接是否为广告
   
6. def check_video(string):
   
7.     patt = re.compile(r'^video')
   
8.     if patt.match(string) is not None:
   
9.         return True
   
10.     else:
    
11.         return False
    
12. 
    
13. 
    
14. url = 'htt(删去)ps://w(括号)ww.pearvideo.c(内容)om/'  # 梨视频首页
    
15. resp = requests.get(url)
    
16. html = etree.HTML(resp.text)
    
17. hrefs = html.xpath('//*[@id="vervideoTlist"]//a/@href')  # 获取首页视频列表的子链接
    
18. for href in hrefs:
    
19.     if check_video(href):  # 检测连接是否为广告
    
20.         cont_id = href.split('_')[1]
    
21.         child_url = url + href  # 拼接子链接
    
22.         # child_resp = requests.get(url=child_url)
    
23.         # child_html = etree.HTML(child_resp.text)
    
24.         # title = child_html.xpath('//title/text()')[0].split('_')[0]  # 获取视频标题
    
25.         headers = {
    
26.             'Referer': child_url  # 防盗链
    
27.         }
    
28.         videoAPI = f'http(删去)s://ww(括号)w.pearvideo.co(内容)m/videoStatus.jsp?contId={cont_id}&mrd=0.13729588533471238'
    
29.         # print(requests.get(url=videoAPI, headers=headers).json())
    
30.         dic = requests.get(url=videoAPI, headers=headers).json()
    
31.         systemTime = dic['systemTime']  # 获取时间戳
    
32.         srcUrl = dic['videoInfo']['videos']['srcUrl']  # 获取视频地址
    
33.         srcUrl = srcUrl.replace(systemTime, f'cont-{cont_id}')  # 将时间戳替换为cont_id,得到真正的视频地址
    
34.         video_resp = requests.get(srcUrl)
    
35.         with open(f'video/{cont_id}.mp4', 'wb') as f:
    
36.             f.write(video_resp.content)
    
37.         print(f'视频{cont_id}下载成功')
    
38.         video_resp.close()
    
39. resp.close()
    

复制代码

是肥宅SRP啊

昭昭天命amg 发表于 2023-4-1 02:25
这是我去年跟着教程敲的代码，看对你有没有帮助吧

谢谢你！