[已解决]scrapy爬虫问题很奇怪

唯爱丶雪 · 发表于 2022-1-2 22:47:55

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由唯爱丶雪于 2022-1-2 22:49 编辑

我在360浏览器网页里把xpath写好了，能找出指定列表的所有元素，但是我一旦复制到我定义的scrapy里面就查找不出来，太奇怪了，我试过只写部分xpath试过比如 //div，这个是能出结果的，我爬取的网址是b站，我这个是遇到反扒还是其他什么机制了吗，为什么浏览器中的xpath复制到scrapy里面就不行了！求大佬帮忙分析下 QQ截图20220102224727.png

最佳答案

月排行榜 / 总排行榜

wp231957

2022-1-2 23:25:24

唯爱丶雪发表于 2022-1-2 22:51
@小甲鱼 @小甲鱼，小甲鱼老师，有空的时候能帮忙看看吗，非常感谢，我查半天了，没找出原因

xpath只能取静态数据，动态生成的无法解析
所以是否使用xpath还需要判断数据是静态渲染还是动态渲染

跳转到最佳答案楼层

唯爱丶雪 · 发表于 2022-1-2 22:51:40

@小甲鱼 @小甲鱼，小甲鱼老师，有空的时候能帮忙看看吗，非常感谢，我查半天了，没找出原因

wp231957 · 发表于 2022-1-2 23:25:24

这个最佳答案由 wp231957 给出，感谢 wp231957 的回答。

单击隐藏图章

唯爱丶雪发表于 2022-1-2 22:51
@小甲鱼 @小甲鱼，小甲鱼老师，有空的时候能帮忙看看吗，非常感谢，我查半天了，没找出原因

xpath只能取静态数据，动态生成的无法解析
所以是否使用xpath还需要判断数据是静态渲染还是动态渲染

账号		自动登录	找回密码
密码			立即注册