唯爱丶雪 发表于 2022-1-2 22:47:55

scrapy爬虫问题很奇怪

本帖最后由 唯爱丶雪 于 2022-1-2 22:49 编辑

我在360浏览器网页里把xpath写好了，能找出指定列表的所有元素，但是我一旦复制到我定义的scrapy里面就查找不出来，太奇怪了，我试过只写部分xpath试过比如 //div，这个是能出结果的，我爬取的网址是b站，我这个是遇到反扒还是其他什么机制了吗，为什么浏览器中的xpath复制到scrapy里面就不行了！求大佬帮忙分析下

唯爱丶雪 发表于 2022-1-2 22:51:40

@小甲鱼 @小甲鱼，小甲鱼老师，有空的时候能帮忙看看吗，非常感谢，我查半天了，没找出原因{:5_100:}

wp231957 发表于 2022-1-2 23:25:24

唯爱丶雪 发表于 2022-1-2 22:51
@小甲鱼 @小甲鱼，小甲鱼老师，有空的时候能帮忙看看吗，非常感谢，我查半天了，没找出原因

xpath只能取静态数据，动态生成的无法解析
所以是否使用xpath还需要判断数据是静态渲染还是动态渲染
页: [1]
查看完整版本: scrapy爬虫问题很奇怪