爬虫问题求助

代码小白liu

1. import requests
   
2. from lxml import etree
   
3. 
   
4. url = "https://www.pearvideo.com/category_4"
   
5. headers= {
   
6.     "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Mobile Safari/537.36"
   
7. }
   
8. 
   
9. response = requests.get(url=url, headers=headers)
   
10. html_text = response.text
    
11. tree = etree.HTML(html_text)
    
12. li_list = tree.xpath('//div[@id="listvideoList"]/ul/li')
    
13. 
    
14. for li in li_list:
    
15.     detal_url = 'https://www.pearvideo.com/' + li.xpath('./div/a/@href')[0]
    
16.     name = li.xpath('./div/a/div[2]/text()')[0] + '.mp4'
    
17.     detal_response = requests.get(url=detal_url, headers=headers).text
    
18.    
    

复制代码

以上是爬取梨视频的代码，视频网页的地址是找到了，可是要找下载视频的地址没找到，网页源代码也没有请教下，没有的话这时候该如何进行思考分析，该怎么找地址，给点思路代码指引下，谢谢了！

suchocolate

1. import requests
   
2. from lxml import etree
   
3. import random
   
4. import json
   
5. 
   
6. 
   
7. def main():
   
8.     result = []  # 存储视频链接
   
9.     url = 'https://www.pearvideo.com/category_4'  # 总入口
   
10.     base_url = 'https://www.pearvideo.com/'   # 用于合成url和referer
    
11.     headers = {'user-agent': 'firefox'}
    
12.     r = requests.get(url, headers=headers)
    
13.     html = etree.HTML(r.text)
    
14.     v_pages = html.xpath('//a[contains(@class,"vervideo-lilink")]/@href')   # 获得各视频的页面的url
    
15.     for v_page in v_pages:  # 遍历各视频页面的url，从url中获取视频编号
    
16.         # example: v_page like video_1743082
    
17.         num = v_page.split('_')[1]   # 视频编号，用于合成视频信息url，视频信息url浏览器f12-网络就能看到，如下：
    
18.         # example: https://www.pearvideo.com/videoStatus.jsp?contId=1743082&mrd=0.554376234182324
    
19.         url = f'{base_url}videoStatus.jsp?contId={num}&mrd={random.random()}'
    
20.         # example: Referer: https://www.pearvideo.com/video_1743082
    
21.         headers['Referer'] = f'{base_url}{v_page}'  # 想要获得视频信息，需要在头中添加referer
    
22.         r = requests.get(url, headers=headers)
    
23.         data = json.loads(r.text)  # 视频信息是以json形式反馈的
    
24.         # print(data['videoInfo']['videos']['srcUrl'])
    
25.         result.append(data['videoInfo']['videos']['srcUrl'])   # 把视频连接放到结果列表中
    
26.     print(result)
    
27. 
    
28. 
    
29. if __name__ == '__main__':
    
30.     main()
    

复制代码

代码小白liu

suchocolate 发表于 2021-10-7 20:37

谢谢大佬指导，json 这块我还没学明白，我先去学习下。谢谢