鱼C论坛

 找回密码
 立即注册
查看: 5968|回复: 21

[已解决]scrapy中设置IP池能否实现定时更新?

[复制链接]
发表于 2016-12-14 10:51:25 | 显示全部楼层 |阅读模式
13鱼币
我在setting中设置了IP池
  1. PROXIES = [
  2.     {'ip_port': '115.197.16.144:8998', 'user_pass': ''},
  3.     {'ip_port': '119.254.92.52:80', 'user_pass': ''},
  4.     {'ip_port': '125.118.73.22:808', 'user_pass': ''},
  5.     {'ip_port': '122.235.153.34:8118', 'user_pass': ''},
  6.     {'ip_port': '125.121.117.8:808', 'user_pass': ''},
  7.     {'ip_port': '121.232.18.208:8088', 'user_pass': ''}
  8. ]
复制代码

但是这样免费的IP代理生存期限不确定性太大,有没有方法能在爬取的过程当中更改这个IP池
最佳答案
2016-12-14 10:51:26
wufan 发表于 2016-12-22 10:32
不好意思,最近没上

已发·

最佳答案

小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-12-14 10:51:26 | 显示全部楼层    本楼为最佳答案   
wufan 发表于 2016-12-22 10:32
不好意思,最近没上

已发·
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-12-14 17:44:59 | 显示全部楼层
那你可以先从免费的代理ip网址上抓过来(可以通过保存本地ip的文件日期,指定一个日期范畴,如:每2天去抓一次),然后保存到本地(保存的时候可以判断下我本地是否已存在该IP),每次用之前先做个测试,看哪些可用,哪些不可用。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-12-14 17:45:31 | 显示全部楼层
deadofpeople 发表于 2016-12-14 17:44
那你可以先从免费的代理ip网址上抓过来(可以通过保存本地ip的文件日期,指定一个日期范畴,如:每2天去抓 ...

个人想法
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-12-15 15:09:12 | 显示全部楼层
这个我知道,我不懂的是在爬虫爬取的时候,IP池就算是写死的了不管是不是去读本地的文件,能不能在爬取的过程中还定时去读取IP池的文件进行更新。。。不知道这样表述能明白么
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-12-15 16:48:41 | 显示全部楼层
wufan 发表于 2016-12-15 15:09
这个我知道,我不懂的是在爬虫爬取的时候,IP池就算是写死的了不管是不是去读本地的文件,能不能在爬取的过 ...

也可以吧。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-12-15 16:51:02 | 显示全部楼层

我想想感觉自己太笨了。。。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-12-15 16:51:35 | 显示全部楼层

系统学习scrapy有没有好的教程什么的
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-12-15 17:07:17 | 显示全部楼层
wufan 发表于 2016-12-15 16:51
系统学习scrapy有没有好的教程什么的

我也没有什么教程,就有点视频教程,个人还没看,因为暂时没有用到这个框架。个人觉得这块要多做多练习吧。如果你需要视频我可以分享给你·
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-12-15 21:34:15 | 显示全部楼层
好的,百度云么
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-12-15 21:34:51 | 显示全部楼层
deadofpeople 发表于 2016-12-15 17:07
我也没有什么教程,就有点视频教程,个人还没看,因为暂时没有用到这个框架。个人觉得这块要多做多练习吧 ...

留什么账号呢
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-12-16 10:23:00 | 显示全部楼层

百度云吧
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-12-22 10:32:52 | 显示全部楼层

aixiaofan007@163.com
不好意思,最近没上
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-12-23 15:55:04 | 显示全部楼层
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-12-23 22:06:40 | 显示全部楼层
不错
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

头像被屏蔽
发表于 2016-12-23 23:40:47 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-12-24 23:33:18 | 显示全部楼层
不错
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-12-26 19:32:00 | 显示全部楼层
熊猫烧香
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2016-12-26 19:40:49 | 显示全部楼层
可以在用这个代理IP的时候 先验证一下呢?
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2016-12-27 09:31:55 | 显示全部楼层
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2026-2-24 11:43

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表