关于爬虫ip的一个小疑惑
用爬虫的时候经常遇到网站有每日访问次数的限制，比如超过1000次就会跳转到一个指定网址，而不是你想要的url。这时候是因为ip当日访问超过次数。那么我在学校里，如果我让和我在一个学校的同学用他的电脑来进行爬取，这时候ip会超过当日访问次数吗，还是说两个人的ip是不同的？用自己各自的手机热点和用学校校园网的时候这时候ip会不同吗？ 好像是不一样的，我记得我有一次爬豆瓣练手，次数过多把我封了
我把家里的wifi换成我的热点就没事了，这个动手试试不就知道了吗 本帖最后由 isdkz 于 2022-2-26 22:12 编辑
通常来说学校的校园网都会同一个出口，如果都用校园网的话 ip 是相同的，
各自的热点这个 ip 小概率相同，因为你们的手机很可能连的不是同一个基站，所以被封了可以换一个手机的网络来爬，
你也可以尝试用代理，vpn 等手段更换 ip，我在 github 上有看到过一个爬取免费代理 ip 的项目，你可以研究一下：传送门
你打不开 github 的话，可以下载这个附件： 如果都是用的学校里的校园网的话，校园网的出口一般都是同一个，所以这时候 ip 是相同的；
如果是用各自的手机的热点的话，那 ip 大概率是不相同的，
因为很有可能你们接入的不是同一个基站（有小概率接入同一个基站），或者不是同一个运营商（不是同一个运营商 ip 肯定不同），
所以被封 ip 了确实可以换个手机继续爬，
或者你也可以自己研究一下通过 vpn，代理等技术更换 ip 如果都是用的学校里的校园网的话，校园网的出口一般都是同一个，所以这时候 ip 是相同的；
如果是用各自的手机的热点的话，那 ip 大概率是不相同的，
因为很有可能你们接入的不是同一个基站（有小概率接入同一个基站），或者不是同一个运营商（不是同一个运营商 ip 肯定不同），
所以被封 ip 了确实可以换个手机继续爬 本帖最后由 cflying 于 2022-2-26 23:00 编辑
这要看服务器是用啥方式获取IP了
可以在header请求中增加X-Forwarded-For:XX.XXX.XX.XX试试，XX就是伪造替换的ip
页:
[1]