爬取高匿名IP

沉迷include · 发表于 2019-1-2 17:12:40

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由沉迷include 于 2019-1-16 22:01 编辑

爬取匿名IP

注意：运行会删除当前文件夹内的ip.txt，重新创建ip.txt

ip.txt内保存的格式为http://119.101.113.112:9999

requests模块参数
proxies = {"http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080"}

ps：加进去为了省事。。。每次运行时懒得自己删。。。哈哈哈
——————————————————————————————————

回复可见

游客，如果您要查看本帖隐藏内容请回复

沉迷include · 发表于 2019-1-29 19:55:05

ip代理池
功能：1、自动抓取多个高匿代理ip网站的ip地址
2、定时自动测试抓取的ip是否有效，并把ip池中无效的删除
3、当ip池中的ip数量不足时自动开启抓取

项目位置：
https://github.com/7134g/myproxypool

海风zZ · 发表于 2019-1-3 08:17:24

学习一下

沉迷include · 发表于 2019-1-4 00:54:33

判断ip是否有效，如果网速够快可以调快一点

Changgf · 发表于 2019-1-6 14:27:11

支持

casanava · 发表于 2019-1-10 10:22:30

学习

厮混 · 发表于 2019-1-10 11:29:16

学习

守望星星 · 发表于 2019-1-11 08:17:08

见识一下

tremble · 发表于 2019-1-14 00:06:47

正需要做代理

火舞骄阳2018 · 发表于 2019-1-16 14:17:50

老姐，page = urllib.request.urlopen(url)，括号内应该是req为好吧

爱学习的扛把子 · 发表于 2019-1-16 14:46:03

滴

C'rɑごy · 发表于 2019-1-29 15:21:43

小cp · 发表于 2019-2-6 21:10:11

我的未来不是梦 · 发表于 2019-2-26 20:46:08

wei400804 · 发表于 2019-3-21 10:56:28

学习学习

Maple丶小枫 · 发表于 2019-7-14 22:32:57

学习

_2_ · 发表于 2019-8-15 09:07:31

回复可见

1939401385 · 发表于 2019-8-15 12:45:08

学习

情绪z · 发表于 2019-8-27 12:26:09

学习

17375702925 · 发表于 2019-8-29 10:12:43

谢谢分享。正在学习这个，学习一波先。

账号		自动登录	找回密码
密码			立即注册

[技术交流] 爬取高匿名IP

马上注册，结交更多好友，享用更多功能^_^