[已解决]scrapy中设置IP池能否实现定时更新？

wufan

我在setting中设置了IP池

1. PROXIES = [
   
2.     {'ip_port': '115.197.16.144:8998', 'user_pass': ''},
   
3.     {'ip_port': '119.254.92.52:80', 'user_pass': ''},
   
4.     {'ip_port': '125.118.73.22:808', 'user_pass': ''},
   
5.     {'ip_port': '122.235.153.34:8118', 'user_pass': ''},
   
6.     {'ip_port': '125.121.117.8:808', 'user_pass': ''},
   
7.     {'ip_port': '121.232.18.208:8088', 'user_pass': ''}
   
8. ]

复制代码

但是这样免费的IP代理生存期限不确定性太大，有没有方法能在爬取的过程当中更改这个IP池

最佳答案

月排行榜 / 总排行榜

deadofpeople

2016-12-14 10:51:26

wufan 发表于 2016-12-22 10:32
不好意思，最近没上

已发·

跳转到最佳答案楼层

deadofpeople

wufan 发表于 2016-12-22 10:32
不好意思，最近没上

已发·

deadofpeople

那你可以先从免费的代理ip网址上抓过来（可以通过保存本地ip的文件日期，指定一个日期范畴，如：每2天去抓一次），然后保存到本地（保存的时候可以判断下我本地是否已存在该IP），每次用之前先做个测试，看哪些可用，哪些不可用。

deadofpeople

deadofpeople 发表于 2016-12-14 17:44
那你可以先从免费的代理ip网址上抓过来（可以通过保存本地ip的文件日期，指定一个日期范畴，如：每2天去抓 ...

个人想法

wufan

这个我知道，我不懂的是在爬虫爬取的时候，IP池就算是写死的了不管是不是去读本地的文件，能不能在爬取的过程中还定时去读取IP池的文件进行更新。。。不知道这样表述能明白么

deadofpeople

wufan 发表于 2016-12-15 15:09
这个我知道，我不懂的是在爬虫爬取的时候，IP池就算是写死的了不管是不是去读本地的文件，能不能在爬取的过 ...

也可以吧。

wufan

deadofpeople 发表于 2016-12-15 16:48
也可以吧。

我想想感觉自己太笨了。。。

wufan

deadofpeople 发表于 2016-12-15 16:48
也可以吧。

系统学习scrapy有没有好的教程什么的

deadofpeople

wufan 发表于 2016-12-15 16:51
系统学习scrapy有没有好的教程什么的

我也没有什么教程，就有点视频教程，个人还没看，因为暂时没有用到这个框架。个人觉得这块要多做多练习吧。如果你需要视频我可以分享给你·

wufan

好的，百度云么

wufan

deadofpeople 发表于 2016-12-15 17:07
我也没有什么教程，就有点视频教程，个人还没看，因为暂时没有用到这个框架。个人觉得这块要多做多练习吧 ...

留什么账号呢

deadofpeople

wufan 发表于 2016-12-15 21:34
留什么账号呢

百度云吧

wufan

deadofpeople 发表于 2016-12-16 10:23
百度云吧

aixiaofan007@163.com
不好意思，最近没上

wufan

deadofpeople 发表于 2016-12-23 15:36
已发·

谢谢

海边浪花

不错

忘忧草456789

不错

fishc1008

熊猫烧香

调皮的小屌

可以在用这个代理IP的时候 先验证一下呢？

wufan

fishc1008 发表于 2016-12-26 19:32
熊猫烧香