代理ip使用不是连不上就是用的还是主机ip

mozzielx · 发表于 2016-7-28 14:49:34

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 mozzielx 于 2016-7-28 14:52 编辑

1.代理ip使用不是连不上就是用的还是主机ip？
2.想用ip_dict = dict(zip(keys,values) ，但是结果只有两个元素？

# -*- coding: utf-8 -*-
"""
Created on Thu Jul 28 13:15:02 2016
@author: mozzielx
"""
import urllib.request
import random
from urllib.request import urlopen,Request
from bs4 import BeautifulSoup
ip_dict={}
keys=[]
values=[]
#with open('代理ip.txt' , 'w') as f:
for page in range(1, 3):#获取前9页
url= 'http://www.xici.net.co/nn/' + str(page)
req = Request(url)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36')
html_doc = urlopen(req).read()
soup = BeautifulSoup(html_doc,'lxml')
trs = soup.find('table', id='ip_list').find_all('tr')
for tr in trs[1:]:
tds = tr.find_all('td')
ip = tds[1].text.strip()
port = tds[2].text.strip()
protocol = tds[5].text.strip()
keys.append(protocol)
values.append(ip + r':' + port)
ip_dict = dict(zip(keys,values)
#代理使用
ip_num = random.randint(0,len(keys) + 1)
proxy_support = urllib.request.ProxyHandler({keys[ip_num]:values[ip_num]})
print(keys[ip_num],values[ip_num])#打印选择的ip
opener = urllib.request.build_opener(proxy_support)
opener.addhandlers = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36')]
urllib.request.install_opener(opener)
#查看所用ip，与上文打印的ip进行比较
url='http://www.whatismyip.com.tw'#查询ip地址的网站
temp = urlopen(url)
html = temp.read().decode('utf-8')
print(html)

复制代码

SixPy · 发表于 2016-7-28 17:02:58

本帖最后由 SixPy 于 2016-7-28 18:32 编辑

urllib 的代理机制有Bug，不能隐藏 IP

这是 requests 的例子

复制代码

mozzielx · 发表于 2016-7-28 18:30:06

SixPy 发表于 2016-7-28 17:02
urllib 的代理机制有Bug，不能隐藏 IP

这是 requests 的例子

好的谢谢版主

mozzielx · 发表于 2016-7-28 18:38:55

SixPy 发表于 2016-7-28 17:02
urllib 的代理机制有Bug，不能隐藏 IP

这是 requests 的例子

然而我又失败了0.0

import requests as req
import pickle
import random
file1 = open('代理keys.plk','rb')
keys = pickle.load(file1)
fiel2 = open('代理values.plk','rb')
values = pickle.load(fiel2)
ip_num = random.randint(0,len(keys) + 1)
url='http://1212.ip138.com/ic.asp' #查询 IP
ssn=req.Session()
ssn.proxies={keys[ip_num]:values[ip_num]}
ssn.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36'}
rsp=ssn.get(url)
rsp.encoding='gb2312'
print(rsp.text)

复制代码

SixPy · 发表于 2016-7-28 18:41:58

mozzielx 发表于 2016-7-28 18:38
然而我又失败了0.0

你先别搞复杂代码阿
手写代理ip进去
试试看能不能用
然后在加其他的代码

SixPy · 发表于 2016-7-28 18:51:55

换了个代理，还是可以的~~

复制代码

结果：

>>>
<html>
<head>
<meta http-equiv="content-type" content="text/html; charset=gb2312">
<title> 您的IP地址 </title>
</head>
<body style="margin:0px"><center>您的IP是：[119.6.136.122] 来自：四川省德阳市联通</center></body></html>
close

复制代码

mozzielx · 发表于 2016-7-28 19:52:46

SixPy 发表于 2016-7-28 18:51
换了个代理，还是可以的~~

结果：

谢谢版主大人
我发现之前之所以一直显示本机ip 是因为proxy{‘HTTP’：‘xxxxxxxxxxxx’}中‘HTTP'’大写
虽然不知道为什么0.0

账号		自动登录	找回密码
密码			立即注册

代理ip使用 不是连不上 就是用的还是主机ip