自动获取代理ip并检测是否可用,更新v1.2.0【2017.12.21】
本帖最后由 a1625123170 于 2017-12-21 10:33 编辑基于python 3.6
每次爬15个ip 找其中的高匿,然后保存,做的高大上了一些 读取后需要用json.loads
保存在pkl文件,单独打开可以进行查询所有,查询最近,更新最新,按日期查询,
如果用其他程序调用的话 调用的是 查询最近 pickle_operation.pickle_read('Lately', Interface=1)
是从http://www.xicidaili.com/爬下来的 大家如果有哪个网站的代理ip更好用的可以告诉我下 谢谢
写的比较迷茫的是 __name__ == '__main__' 写的感觉比较乱
v1.1.0 更新如下2017.12.01
自动检测爬的代理ip是否可用
存储及返回的代理ip加上类型(http及https)
{'2017-12-01': [{'HTTP': '182.88.161.163:8123'}, {'HTTPS': '112.114.97.230:8118'}, {'HTTPS': '171.35.103.37:808'}, {'HTTPS': '112.114.99.169:8118'}]}
v1.2.0 更新如下2017.12.21
urllib模块替换为requests
求 更好的建议 或者优化的建议或者 更好的代理ip 条件 的建议
附代码:
**** Hidden Message *****
页:
[1]
2