沉迷include
发表于 2019-1-2 17:12:40
爬取高匿名IP
本帖最后由 沉迷include 于 2019-1-16 22:01 编辑
爬取匿名IP
注意：运行会删除当前文件夹内的ip.txt，重新创建ip.txt
ip.txt内保存的格式为http://119.101.113.112:9999
requests模块参数
proxies = {"http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080"}
ps：加进去为了省事。。。每次运行时懒得自己删。。。哈哈哈
——————————————————————————————————
回复可见
**** Hidden Message *****
沉迷include
发表于 2019-1-29 19:55:05
ip代理池
功能：1、自动抓取多个高匿代理ip网站的ip地址
2、定时自动测试抓取的ip是否有效，并把ip池中无效的删除
3、当ip池中的ip数量不足时自动开启抓取
项目位置：
https://github.com/7134g/myproxypool
海风zZ
发表于 2019-1-3 08:17:24
学习一下
沉迷include
发表于 2019-1-4 00:54:33
判断ip是否有效，如果网速够快可以调快一点
Changgf
发表于 2019-1-6 14:27:11
支持
casanava
发表于 2019-1-10 10:22:30
学习
厮混
发表于 2019-1-10 11:29:16
学习
守望星星
发表于 2019-1-11 08:17:08
见识一下
tremble
发表于 2019-1-14 00:06:47
正需要做代理
火舞骄阳2018
发表于 2019-1-16 14:17:50
老姐，page = urllib.request.urlopen(url)， 括号内应该是req为好吧
爱学习的扛把子
发表于 2019-1-16 14:46:03
滴
C'rɑごy
发表于 2019-1-29 15:21:43
66
小cp
发表于 2019-2-6 21:10:11
{:5_90:}
我的未来不是梦
发表于 2019-2-26 20:46:08
{:5_90:}
wei400804
发表于 2019-3-21 10:56:28
学习学习
Maple丶小枫
发表于 2019-7-14 22:32:57
学习
_2_
发表于 2019-8-15 09:07:31
回复可见
1939401385
发表于 2019-8-15 12:45:08
学习
情绪z
发表于 2019-8-27 12:26:09
学习
17375702925
发表于 2019-8-29 10:12:43
谢谢分享。正在学习这个，学习一波先。