[已解决]关于爬虫ip的一个小疑惑

937135952 · 发表于 2022-2-26 21:58:52

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

用爬虫的时候经常遇到网站有每日访问次数的限制，比如超过1000次就会跳转到一个指定网址，而不是你想要的url。这时候是因为ip当日访问超过次数。
那么我在学校里，如果我让和我在一个学校的同学用他的电脑来进行爬取，这时候ip会超过当日访问次数吗，还是说两个人的ip是不同的？用自己各自的手机热点和用学校校园网的时候这时候ip会不同吗？

最佳答案

月排行榜 / 总排行榜

isdkz

2022-2-26 22:04:54

本帖最后由 isdkz 于 2022-2-26 22:12 编辑

通常来说学校的校园网都会同一个出口，如果都用校园网的话 ip 是相同的，

各自的热点这个 ip 小概率相同，因为你们的手机很可能连的不是同一个基站，所以被封了可以换一个手机的网络来爬，

你也可以尝试用代理，vpn 等手段更换 ip，我在 github 上有看到过一个爬取免费代理 ip 的项目，你可以研究一下：传送门

你打不开 github 的话，可以下载这个附件： async-proxy-pool-master.zip (17.23 KB, 下载次数: 0)

2022-2-26 22:11 上传
点击文件名下载附件

跳转到最佳答案楼层

大马强 · 发表于 2022-2-26 22:02:55

好像是不一样的，我记得我有一次爬豆瓣练手，次数过多把我封了
我把家里的wifi换成我的热点就没事了，这个动手试试不就知道了吗

isdkz · 发表于 2022-2-26 22:04:54

本帖最后由 isdkz 于 2022-2-26 22:12 编辑

通常来说学校的校园网都会同一个出口，如果都用校园网的话 ip 是相同的，

各自的热点这个 ip 小概率相同，因为你们的手机很可能连的不是同一个基站，所以被封了可以换一个手机的网络来爬，

你也可以尝试用代理，vpn 等手段更换 ip，我在 github 上有看到过一个爬取免费代理 ip 的项目，你可以研究一下：传送门

你打不开 github 的话，可以下载这个附件： async-proxy-pool-master.zip (17.23 KB, 下载次数: 0)

2022-2-26 22:11 上传
点击文件名下载附件

isdkz · 发表于 2022-2-26 22:22:26

如果都是用的学校里的校园网的话，校园网的出口一般都是同一个，所以这时候 ip 是相同的；

如果是用各自的手机的热点的话，那 ip 大概率是不相同的，

因为很有可能你们接入的不是同一个基站（有小概率接入同一个基站），或者不是同一个运营商（不是同一个运营商 ip 肯定不同），

所以被封 ip 了确实可以换个手机继续爬，

或者你也可以自己研究一下通过 vpn，代理等技术更换 ip

isdkz · 发表于 2022-2-26 22:23:07

如果都是用的学校里的校园网的话，校园网的出口一般都是同一个，所以这时候 ip 是相同的；

如果是用各自的手机的热点的话，那 ip 大概率是不相同的，

因为很有可能你们接入的不是同一个基站（有小概率接入同一个基站），或者不是同一个运营商（不是同一个运营商 ip 肯定不同），

所以被封 ip 了确实可以换个手机继续爬

cflying · 发表于 2022-2-26 22:42:41

本帖最后由 cflying 于 2022-2-26 23:00 编辑

这要看服务器是用啥方式获取IP了

可以在header请求中增加X-Forwarded-For:XX.XXX.XX.XX试试，XX就是伪造替换的ip

账号		自动登录	找回密码
密码			立即注册