laical 发表于 2020-4-7 17:26:38

没有爬虫代理 IP，爬虫会遇到怎样的问题


没有爬虫代理 IP，爬虫会遇到怎样的问题

zltzlt 发表于 2020-4-7 17:27:26

不使用代理 IP，IP 地址容易被封。为了数据的正常抓取，建议还是使用代理，这样更方便快捷。

qiuyouzhi 发表于 2020-4-7 17:28:21

IP地址很容易被封。
可以加一个代理IP，
或者用time.sleep控制频率。

老八秘制 发表于 2020-4-7 17:31:25

如果用自己的ip容易被墙，用多个代理ip可以避免对方拒绝访问

杜若左 发表于 2020-4-7 17:44:22

可以去了解一下ip代理池

admintest166 发表于 2020-4-7 17:59:14

一般来说 如果只是简单的抓取一些小部分数据 基本不需要代理IP但是如果你是大量爬取数据的 比如爬取妹子图这些的 可能就需要代理IP了 但是现在很多二线网站基本不封IP的

但是搭个代理池也是有备无患的

NZND 发表于 2020-4-10 22:59:00

如果你使用自己的IP地址，有可能在你批量下载数据的时候，服务器就会把你墙了。但是如果用大量代理IP，服务器就拿你没办法。除非你的Shell提示：403

laical 发表于 2020-4-21 17:34:49

qiuyouzhi 发表于 2020-4-7 17:28
IP地址很容易被封。
可以加一个代理IP，
或者用time.sleep控制频率。

好的，谢谢

laical 发表于 2020-4-21 17:35:52

admintest166 发表于 2020-4-7 17:59
一般来说 如果只是简单的抓取一些小部分数据 基本不需要代理IP但是如果你是大量爬取数据的 比如爬取妹子 ...

谢谢，了解了

laical 发表于 2020-4-21 17:36:33

http代理上网让隐私更有安全保障!如今大家越来越重视个人身份信息的安全性，防止个人身份信息被某些平台获取到从而利用，假如要维护好，可以用http代理上网让隐私更有安全保障的，为什么呢?
许多网页浏览器都是有一种保留历史浏览的作用，我们在在日常生活中的使用中很有可能不在意这些。可是对于某些不法分子就有机可乘了，他们会依靠某些平台或是是互联网技术，来找出与普通用户的浏览历史，从这当中很有可能盗取这些用户的财产信息或是个人身份信息。
不论是哪一种都是用户的损失。因而，我们在上网的操作过程中要留意维护个人的信息，如何维护呢?研究发现，所有使用过ip代理资源的普通用户也可以有效的维护自己的隐私安全性，而使用了这种平台就不容易形成个人信息泄露的现象。
因而在日常生活中实际上可以使用高质量ip代理资源是非常有效的。特别是在是高匿名的IP代理，其效果更为的显著，根本原因是它的匿名度更为高，在隐藏IP方面，确实是做到了高匿名。
页: [1]
查看完整版本: 没有爬虫代理 IP，爬虫会遇到怎样的问题