如何使用python爬取某宝/天猫商品评论数据（小剂量，非商用）

夜凄凉了也美丽 · 发表于 2020-4-12 13:31:32

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

淘宝/天猫商品数据的爬取和分析，非商用，评论里找

Hello. · 发表于 2020-4-12 13:41:26

这个...有点nan

heidern0612 · 发表于 2020-4-12 13:47:42

请参考这个帖子戳我前进

hjx123hjx · 发表于 2020-4-12 14:32:53

小甲鱼写的那个爬取淘宝数据改改就可以用了。如果要评论数据的话，我可以给一些参考的接口和参数。
天猫：https://rate.tmall.com/list_detail_rate.htm
参数：       par = {
         "itemId": ,  #商品id
         "sellerId": , # 店铺id
         "currentPage": , # 评论页数
         "callback": , # jsonp加三个数字
         "order": "3"  # 排序方式
         }

淘宝：https://rate.taobao.com/feedRateList.htm
参数：       par = {
         "auctionNumId": ,
         "userNumId": ,
         "currentPageNum": ,
         "callback": "jsonp_tbcrate_reviews_list",
         "orderType": "sort_weight"
         }
淘宝也差不多。挺麻烦的。

乘号 · 发表于 2020-4-12 14:57:33

这个。。

admintest166 · 发表于 2020-4-12 21:12:48

现在某宝某猫都是反爬的经典网站不是JS加密就是JS渲染获取数据有点难度但是你可以上selenium看一下以前我用这个库爬过数据是能拿到的但是就是速度上有点慢

如果确定是JS渲染的话可以直接上框架pyspider 速度快挂在服务器上爬个一天一夜基本上想要的数据都有

夜凄凉了也美丽 · 发表于 2020-4-13 14:14:42

heidern0612 发表于 2020-4-12 13:47
请参考这个帖子戳我前进

谢谢，

账号		自动登录	找回密码
密码			立即注册