求助大神！！爬虫某宝,遇到几个问题，详情看帖子

贼拉苏 · 发表于 2019-10-5 17:15:28

需求1：爬取淘宝数据必须正常爬取不会反爬虫被封了或者账号，ip被封等等，避免被查封
需求2：现在淘宝去搜索关键词会让用户去登陆，怎么正常登陆爬取（能不登陆更好）
需求3：使用的是 requests 去爬取
需求4：爬取过的商品不能重复（一个商品不能爬重复了），每页都要爬到，保存为excel表格（店名，地址，产品全名，销量，价格）
记得代码别卡死了
帮帮忙大神们
献上你们的代码

hushuai · 发表于 2019-10-8 08:50:12

暂时只会爬mm图片

yjsx86 · 发表于 2019-10-8 09:03:14

本帖最后由 yjsx86 于 2019-10-8 09:05 编辑

定制爬虫起步价500rmb, 看难易程度再决定价格
不是你鱼币能解决的

如果你只是某个点不会, 兴许会有人帮你

kaohsing · 发表于 2019-10-8 09:46:24

用selenium吧

Tghao · 发表于 2019-10-8 12:05:35

必须得得登陆,登陆可以省很多事,操作频繁了会出滑块.而且这里面的技术有点小贵哦

优酸鹿 · 发表于 2019-10-8 15:25:12

空手套代码？？？？？

chen491733492 · 发表于 2019-10-10 13:47:15

空手套代码

账号		自动登录	找回密码
密码			立即注册