[已解决]新人求助！xpath寻找标签一直返回的是空列表?尝试了很多方法还是不行

zouyin

由于爬取的是好看视频，页面里面提取超清视频的链接，但是用xpath搜索标签，无论是完整的路径还是复制谷歌的xpath路径，返回的都是空列表
responses = requests.get(url_video,headers=headers)
    data_res = responses.text
    html_ele = etree.HTML(data_res)
    url = html_ele.xpath('/html/body/div/div/div[1]/div[1]/div/hk-controls/hk-definition/ul/li[3]')
    print(title)


额 无法上传图片只能贴个地址https://haokan.baidu.com/v?pd=pc&vid=14996104587974757183
我寻找的是视频超清MP4链接，总共那个标签下有3个，但是XPATH返回总是为空，新手刚学不知道是什么问题

最佳答案

月排行榜 / 总排行榜

wp231957

2020-3-7 12:39:23

zouyin 发表于 2020-3-7 12:01
额 新人自学不太明白，所以就用xpath提取。应该在network里面取是么？

https://fishc.com.cn/forum.php?mod=viewthread&tid=159479&extra=page%3D1&mobile=2

跳转到最佳答案楼层

wp231957

视频的一些信息  比如URL 啥的  都是动态添加到网页上的
xpath 累死你也爬不到的  

yjsx86

视频连接放在了js中 动态加载出来的
所以你需要用正则去取内容

1. {'key': 'sd', 'rank': 0, 'title': '标清', 'url': 'https://vdept.bdstatic.com/4e7a525131394b417943386a4d393446/434348336a424b45/50459996a442e3288333a266754cc582694703a72bcd37159dda3ae131146150241bb44cb8b5c7bf4695779175f6877ceb117fd93970fb91a4ac5ce5492c8f8b.mp4?auth_key=1583555481-0-0-db6c288564e0861f297d74760169b96c', 'videoBps': 342, 'vodVideoHW': '360$640', 'videoSize': 34.3, 'vodMoovSize': 672331, 'video_clarity_score': 5.7134}
   
2. {'key': 'hd', 'rank': 1, 'title': '高清', 'url': 'https://vdept.bdstatic.com/51695670777653395056413369323539/7242666243456b64/f1673d28f6fac3bce0c8c77ef2ef9322bf6c21840827fa7914f66a5f1769789f4ce2e63e22819d771091757a379c62021b49d6c03c6effd68d31f9012e198f9f.mp4?auth_key=1583555481-0-0-289d6ada663f95bcf37856d218348e73', 'videoBps': 472, 'vodVideoHW': '480$852', 'videoSize': 47.3, 'vodMoovSize': 671283, 'video_clarity_score': 5.9481}
   
3. {'key': 'sc', 'rank': 2, 'title': '超清', 'url': 'https://vdept.bdstatic.com/53486e38555a326c597a625154377850/5752765268626a76/44c7e6541f47beda1182a4cd1bdaba596b205fbf5a3219eecb53e88db86c7aa09f1215c3379eaaf6dc324a58b5ea6a62a3e3e915f8fb03ea8aa702231c1bd050.mp4?auth_key=1583555481-0-0-4e79de99ad50b24178d8d22cb92cb642', 'videoBps': 839, 'vodVideoHW': '720$1280', 'videoSize': 84, 'vodMoovSize': 675254}

复制代码

zouyin

yjsx86 发表于 2020-3-7 10:33
视频连接放在了js中 动态加载出来的
所以你需要用正则去取内容

请问这是在network里面找的么？

zouyin

wp231957 发表于 2020-3-7 07:31
视频的一些信息  比如URL 啥的  都是动态添加到网页上的
xpath 累死你也爬不到的

额 新人自学不太明白，所以就用xpath提取。应该在network里面取是么？

wp231957

zouyin 发表于 2020-3-7 12:01
额 新人自学不太明白，所以就用xpath提取。应该在network里面取是么？

https://fishc.com.cn/forum.php?mod=viewthread&tid=159479&extra=page%3D1&mobile=2

wp231957

zouyin 发表于 2020-3-7 12:01
额 新人自学不太明白，所以就用xpath提取。应该在network里面取是么？

是的

zouyin

wp231957 发表于 2020-3-7 12:39
https://fishc.com.cn/forum.php?mod=viewthread&tid=159479&extra=page%3D1&mobile=2

感谢大神解答，谢谢