最近把猫眼惹急眼了，给我封IP了

tremble

前一段时间开发了一个爬取全国影院的排期信息的小爬虫，默默付出了2周的时间，有一天做巡检的时候，发现403了
这是？这是？给我封IP了？我已经使用了动态的UA，但是还没有跳过猫眼的识别啊。
在这里请教大佬，除了西刺的代理IP还有什么其他的好的办法么？

不过话说，我每天的访问量也不大啊，怎么就给我踢出来了呢

wongyusing

403不一定是封你ip，应该是你请求的参数不对，或者不足

tremble

wongyusing 发表于 2018-10-8 23:46
403不一定是封你ip，应该是你请求的参数不对，或者不足

之前爬虫跑的好好地，跑了将近两周，累积了500万数据，后来就直接403了，搞得好心累

wongyusing

tremble 发表于 2018-10-9 10:13
之前爬虫跑的好好地，跑了将近两周，累积了500万数据，后来就直接403了，搞得好心累

两周500万条数据，没换过ip？

tremble

wongyusing 发表于 2018-10-9 11:33
两周500万条数据，没换过ip？

一直没有换过，公司这边链接外网的IP就好像只有一个，还巨慢

wongyusing

tremble 发表于 2018-10-9 12:47
一直没有换过，公司这边链接外网的IP就好像只有一个，还巨慢

我要是网站管理员，当你爬到20万的时候就把你封了。  
封你很正常，正常人一天不会看3万多条数据吧。  
不用代理的话，这个问题无法解决

tremble

403 Forbidden
You don't have permission to access the URL on this server.

Powered by Tengine

以上内容为403，哎，一会好一会不好的。猫眼这是要弄死我嘞

colinshi

爬虫配代理，必须的。不单单代理要换，请求头也经常更换以防万一。