python爬取美团外卖app

nickshen888

python爬取现在的美团外卖app，有什么现成的脚本可以参考吗，现在的反爬太历害了，爬不下来

青出于蓝

说一下反爬的应对吧（补充洛）
1，sleep模块，减少访问网站速度，有些网站就是靠访问速度判断爬虫。
2，网站头协议，这个大多数网站都依靠这个来判断是否是爬虫。通过网页检查器，查找头协议，复制到代码（好像是用列表存放........)具体记不太清，上百度查查吧。

青出于蓝

之前在pkl泡菜中写过一个，用sleep还是被识别出了......改加上网站头协议的...

永恒的蓝色梦想

青出于蓝 发表于 2020-5-26 17:32
说一下反爬的应对吧（补充洛）
1，sleep模块，减少访问网站速度，有些网站就是靠访问速度判断爬虫。
2， ...

sleep 模块？

青出于蓝

永恒的蓝色梦想 发表于 2020-5-26 17:37
sleep 模块？

是的～

青出于蓝

永恒的蓝色梦想 发表于 2020-5-26 17:37
sleep 模块？

import sleep
sleeep(2)

永恒的蓝色梦想

青出于蓝 发表于 2020-5-26 17:38
import sleep
sleeep(2)

您说笑了

from time import sleep
sleep(2)

Twilight6

不知道，爬APP的暂时没爬过...只爬过网站

青出于蓝

那样也是可以的好像。如果有误的话，emmm，毕竟我还是小白

青出于蓝

现在才注意到，爬app啊...
溜了....

永恒的蓝色梦想

青出于蓝 发表于 2020-5-26 17:46
那样也是可以的好像。如果有误的话，emmm，毕竟我还是小白

所以说不要乱说

青出于蓝

永恒的蓝色梦想 发表于 2020-5-26 17:49
所以说不要乱说

但是我实验过啊，确实可以，求讲解

永恒的蓝色梦想

青出于蓝 发表于 2020-5-26 17:50
但是我实验过啊，确实可以，求讲解

>>> import sleep
Traceback (most recent call last):
  File "<pyshell#0>", line 1, in <module>
    import sleep
ModuleNotFoundError: No module named 'sleep'

你用的和我的不一样吗？

java2python

正常啊，上次有个腾讯音乐爬虫，大家都爬，一个歌手几十首歌曲，光一个程序爬一个歌手得多少流量，这被大家都爬，服务器早倒了。

Charles未晞

你可以参考一下我之前写的文章和代码：

https://mp.weixin.qq.com/s/9VPWqScko6b2-GeiKpQEgw

https://mp.weixin.qq.com/s/jY-3RrUdMvHGI3ND7EJWcA

zwhe

青出于蓝

永恒的蓝色梦想 发表于 2020-5-26 17:52
你用的和我的不一样吗？

是time模块，我记错了

章鱼哥3号

老哥你实现了吗，我也想做学着做一个