nickshen888 发表于 2020-5-26 17:29:42

python爬取美团外卖app

python爬取现在的美团外卖app，有什么现成的脚本可以参考吗，现在的反爬太历害了，爬不下来

青出于蓝 发表于 2020-5-26 17:32:49

说一下反爬的应对吧（补充洛）
1，sleep模块，减少访问网站速度，有些网站就是靠访问速度判断爬虫。
2，网站头协议，这个大多数网站都依靠这个来判断是否是爬虫。通过网页检查器，查找头协议，复制到代码（好像是用列表存放........)具体记不太清，上百度查查吧。

青出于蓝 发表于 2020-5-26 17:35:23

之前在pkl泡菜中写过一个，用sleep还是被识别出了......改加上网站头协议的...

永恒的蓝色梦想 发表于 2020-5-26 17:37:45

青出于蓝 发表于 2020-5-26 17:32
说一下反爬的应对吧（补充洛）
1，sleep模块，减少访问网站速度，有些网站就是靠访问速度判断爬虫。
2， ...

sleep 模块？

青出于蓝 发表于 2020-5-26 17:38:19

永恒的蓝色梦想 发表于 2020-5-26 17:37
sleep 模块？

是的～

青出于蓝 发表于 2020-5-26 17:38:52

永恒的蓝色梦想 发表于 2020-5-26 17:37
sleep 模块？

import sleep
sleeep(2)

永恒的蓝色梦想 发表于 2020-5-26 17:41:00

青出于蓝 发表于 2020-5-26 17:38
import sleep
sleeep(2)

您说笑了from time import sleep
sleep(2)

Twilight6 发表于 2020-5-26 17:44:22

不知道，爬APP的暂时没爬过...只爬过网站

青出于蓝 发表于 2020-5-26 17:46:18

那样也是可以的好像。如果有误的话，emmm，毕竟我还是小白{:10_277:}

青出于蓝 发表于 2020-5-26 17:47:02

现在才注意到，爬app啊...
溜了....

永恒的蓝色梦想 发表于 2020-5-26 17:49:26

青出于蓝 发表于 2020-5-26 17:46
那样也是可以的好像。如果有误的话，emmm，毕竟我还是小白

所以说不要乱说

青出于蓝 发表于 2020-5-26 17:50:22

永恒的蓝色梦想 发表于 2020-5-26 17:49
所以说不要乱说

但是我实验过啊，确实可以，求讲解{:10_254:}

永恒的蓝色梦想 发表于 2020-5-26 17:52:36

青出于蓝 发表于 2020-5-26 17:50
但是我实验过啊，确实可以，求讲解

>>> import sleep
Traceback (most recent call last):
File "<pyshell#0>", line 1, in <module>
    import sleep
ModuleNotFoundError: No module named 'sleep'你用的和我的不一样吗？

java2python 发表于 2020-5-26 18:19:44

正常啊，上次有个腾讯音乐爬虫，大家都爬，一个歌手几十首歌曲，光一个程序爬一个歌手得多少流量，这被大家都爬，服务器早倒了。

Charles未晞 发表于 2020-5-26 21:28:06

你可以参考一下我之前写的文章和代码：

https://mp.weixin.qq.com/s/9VPWqScko6b2-GeiKpQEgw

https://mp.weixin.qq.com/s/jY-3RrUdMvHGI3ND7EJWcA

zwhe 发表于 2020-5-27 10:13:09

{:9_235:}

青出于蓝 发表于 2020-5-30 19:53:15

永恒的蓝色梦想 发表于 2020-5-26 17:52
你用的和我的不一样吗？

是time模块，我记错了{:10_266:}

章鱼哥3号 发表于 2020-7-30 09:40:40

老哥你实现了吗，我也想做学着做一个
页: [1]
查看完整版本: python爬取美团外卖app