HTTP代理IP爬虫的基础原理

wanbianip

网络爬虫工作者在爬取采集数据的时候，经常会遇到ip访问频率高的情况，这类情况便是反映访问的网站有反爬虫机制，设置了IP的阈值，超出这个阈值，便会被拒绝访问了。

其实处理这种问题并不难，可以通过像万变ip这样的http代理就能突破它的限制了。代理便是代理服务器，代理IP就是代理用户去获得网络信息。当我们访问一个网站的时候

请求发送给web服务器，web服务器再把相应传送给我们。假如设置了代理IP，便是在本机和被访问的网站之间创建了一个中间站，本机电脑访问目标网站的时候，是先发送到代理IP服务器，

随后再由代理IP服务器传送给目标网站web服务器，代理IP服务器再把响应送回给本机，这样我们可以正常访问网页，可是目标网站的web服务器识别的IP并不是我们真正电脑的IP，只是HTTP代理IP的伪装。