没有爬虫代理 IP，爬虫会遇到怎样的问题

laical · 发表于 2020-4-7 17:26:38

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

没有爬虫代理 IP，爬虫会遇到怎样的问题

zltzlt · 发表于 2020-4-7 17:27:26

不使用代理 IP，IP 地址容易被封。为了数据的正常抓取，建议还是使用代理，这样更方便快捷。

qiuyouzhi · 发表于 2020-4-7 17:28:21

IP地址很容易被封。
可以加一个代理IP，
或者用time.sleep控制频率。

老八秘制 · 发表于 2020-4-7 17:31:25

如果用自己的ip容易被墙，用多个代理ip可以避免对方拒绝访问

杜若左 · 发表于 2020-4-7 17:44:22

可以去了解一下ip代理池

admintest166 · 发表于 2020-4-7 17:59:14

一般来说如果只是简单的抓取一些小部分数据基本不需要代理IP 但是如果你是大量爬取数据的比如爬取妹子图这些的可能就需要代理IP了但是现在很多二线网站基本不封IP的

但是搭个代理池也是有备无患的

NZND · 发表于 2020-4-10 22:59:00

如果你使用自己的IP地址，有可能在你批量下载数据的时候，服务器就会把你墙了。但是如果用大量代理IP，服务器就拿你没办法。除非你的Shell提示：403

laical · 发表于 2020-4-21 17:34:49

qiuyouzhi 发表于 2020-4-7 17:28
IP地址很容易被封。
可以加一个代理IP，
或者用time.sleep控制频率。

好的，谢谢

laical · 发表于 2020-4-21 17:35:52

admintest166 发表于 2020-4-7 17:59
一般来说如果只是简单的抓取一些小部分数据基本不需要代理IP 但是如果你是大量爬取数据的比如爬取妹子 ...

谢谢，了解了

laical · 发表于 2020-4-21 17:36:33

http代理上网让隐私更有安全保障!如今大家越来越重视个人身份信息的安全性，防止个人身份信息被某些平台获取到从而利用，假如要维护好，可以用http代理上网让隐私更有安全保障的，为什么呢?
许多网页浏览器都是有一种保留历史浏览的作用，我们在在日常生活中的使用中很有可能不在意这些。可是对于某些不法分子就有机可乘了，他们会依靠某些平台或是是互联网技术，来找出与普通用户的浏览历史，从这当中很有可能盗取这些用户的财产信息或是个人身份信息。
不论是哪一种都是用户的损失。因而，我们在上网的操作过程中要留意维护个人的信息，如何维护呢?研究发现，所有使用过ip代理资源的普通用户也可以有效的维护自己的隐私安全性，而使用了这种平台就不容易形成个人信息泄露的现象。
因而在日常生活中实际上可以使用高质量ip代理资源是非常有效的。特别是在是高匿名的IP代理，其效果更为的显著，根本原因是它的匿名度更为高，在隐藏IP方面，确实是做到了高匿名。

账号		自动登录	找回密码
密码			立即注册