夜凄凉了也美丽 发表于 2020-4-12 13:31:32

如何使用python爬取某宝/天猫商品评论数据（小剂量，非商用）

淘宝/天猫商品数据的爬取和分析，非商用，评论里找

Hello. 发表于 2020-4-12 13:41:26

这个...有点nan

heidern0612 发表于 2020-4-12 13:47:42

请参考这个帖子戳我前进

hjx123hjx 发表于 2020-4-12 14:32:53

小甲鱼写的那个爬取淘宝数据改改就可以用了。如果要评论数据的话，我可以给一些参考的接口和参数。
天猫：https://rate.tmall.com/list_detail_rate.htm
参数：      par = {
            "itemId": ,#商品id
            "sellerId": ,    # 店铺id
            "currentPage": ,   # 评论页数
            "callback": , # jsonp加三个数字
            "order": "3"# 排序方式
            }

淘宝：https://rate.taobao.com/feedRateList.htm
参数：      par = {
            "auctionNumId": ,   
            "userNumId": ,
            "currentPageNum": ,
            "callback": "jsonp_tbcrate_reviews_list",
            "orderType": "sort_weight"
            }
淘宝也差不多。挺麻烦的。

乘号 发表于 2020-4-12 14:57:33

这个。。

admintest166 发表于 2020-4-12 21:12:48

现在某宝某猫 都是反爬的经典网站 不是JS加密 就是JS渲染 获取数据有点难度 但是你可以上selenium看一下 以前我用这个库爬过 数据是能拿到的 但是就是速度上有点慢

如果确定是JS渲染的话 可以直接上框架pyspider 速度快挂在服务器上 爬个一天一夜基本上想要的数据都有 {:10_254:}

夜凄凉了也美丽 发表于 2020-4-13 14:14:42

heidern0612 发表于 2020-4-12 13:47
请参考这个帖子戳我前进

谢谢，
页: [1]
查看完整版本: 如何使用python爬取某宝/天猫商品评论数据（小剂量，非商用）