937135952 发表于 2020-8-15 20:33:59

代理ip怎么辨别能不能用

import urllib.request

#这一段三句话是为了请求时带上浏览器标识，因为有的网站看到是爬虫的标识直接返回403
#请求的网站不涉及到提交数据，所以没有给出data参数
url = 'https://baidu.com/'
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
      'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
      'Accept-Language':'en-US,en;q=0.5',
      'Accept-Encoding':'gzip',
      'DNT':'1',
      'Connection':'close'}
req = urllib.request.Request(url,headers=header)

#使用代理和还原不使用代理的方法
#if语句相当于一个开关，不要写成True
use_proxy = urllib.request.ProxyHandler({'https':'59.38.222.104'})

opener = urllib.request.build_opener(use_proxy)#默认使用本地ip
urllib.request.install_opener(opener)

#获取返回结果
#同时可以使用html = opener.open(req).read()获取结果
html = urllib.request.urlopen(req).read()
print(html)
为什么我找了好多代理ip试了，都不行，我都开始怀疑是我程序有问题了。
大佬们看看程序有没有问题？然后再推荐推荐几个代理ip网址呗

1q23w31 发表于 2020-8-15 21:12:13

proxies = {
"http": "49.70.122.136:4216"
}

这个代理可用，实测
https://proxy.seofangfa.com/
从这个网站找的

Twilight6 发表于 2020-8-15 21:21:29



你的 IP 忘记加上端口了，IP 可以去下面找找看

高匿免费 IP --> https://ip.jiangxianli.com/?page=1&country=%E4%B8%AD%E5%9B%BD

admintest166 发表于 2020-8-15 21:23:28

免费的代理IP 能用的没几个 收费的一天都要8块当初我做IP代理池 爬了1W多个 能用的也就几十个 {:10_245:}

你可以爬取那些免费的代理IP 比如西刺代理 写个爬虫爬IP 然后保存到redis数据库里 然后在一个代理IP一个代理IP的试 这个看你会不会设计代理池了

weiter 发表于 2020-8-15 22:52:36

admintest166 发表于 2020-8-15 21:23
免费的代理IP 能用的没几个 收费的一天都要8块当初我做IP代理池 爬了1W多个 能用的也就几十个...

这么现实的吗……看来我的代理梦想破灭了……
页: [1]
查看完整版本: 代理ip怎么辨别能不能用