爬虫中提取数据

小小鹏 · 发表于 2020-9-1 09:00:07

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

登录/注册后可看大图

想爬取京东评论，但是爬不出来，是不是有反爬虫，怎么在这个代码中写反爬虫呢。
(代码发就显示要审核，就用图片发了）

挥舞乾坤 · 发表于 2020-9-1 18:39:05

京东的评论很好爬，几乎没什么反爬设置，以前写过，设置好headers就行了，我没用框架

bonst · 发表于 2020-9-1 21:39:51

京东现在不需要登录就能爬取评论了吗?

YunGuo · 发表于 2020-9-2 01:08:22

你那个起始url是请求后是抓不到评论数据的，京东评论是通过json传递数据的，你要找到评论的json url，通过请求json数据的url来获取评论数据。

小小鹏 · 发表于 2020-9-2 09:21:56

YunGuo 发表于 2020-9-2 01:08
你那个起始url是请求后是抓不到评论数据的，京东评论是通过json传递数据的，你要找到评论的json url，通过 ...

好的谢谢，我试试

疾风怪盗 · 发表于 2020-9-5 17:21:27

https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=7185303&score=0&sortType=5&page=0&pageSize=10&isShadowSku=0&fold=1

要找到这样的网址，爬取json的数据，里面就有评论的内容

network里找这样的productPageComments名字

账号		自动登录	找回密码
密码			立即注册