小小鹏 发表于 2020-9-1 09:00:07

爬虫中提取数据

https://pic.downk.cc/item/5f4d9cba160a154a676a1199.png

想爬取京东评论，但是爬不出来，是不是有反爬虫，怎么在这个代码中写反爬虫呢。
(代码发就显示要审核，就用图片发了）

挥舞乾坤 发表于 2020-9-1 18:39:05

京东的评论很好爬，几乎没什么反爬设置，以前写过，设置好headers就行了，我没用框架

bonst 发表于 2020-9-1 21:39:51

京东现在不需要登录就能爬取评论了吗?

YunGuo 发表于 2020-9-2 01:08:22

你那个起始url是请求后是抓不到评论数据的，京东评论是通过json传递数据的，你要找到评论的jsonurl，通过请求json数据的url来获取评论数据。

小小鹏 发表于 2020-9-2 09:21:56

YunGuo 发表于 2020-9-2 01:08
你那个起始url是请求后是抓不到评论数据的，京东评论是通过json传递数据的，你要找到评论的jsonurl，通过 ...

好的谢谢，我试试

疾风怪盗 发表于 2020-9-5 17:21:27

https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=7185303&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1

要找到这样的网址，爬取json的数据，里面就有评论的内容

network里找这样的productPageComments名字
页: [1]
查看完整版本: 爬虫中提取数据