鱼C论坛

 找回密码
 立即注册
查看: 2035|回复: 5

爬虫---IP代理失败

[复制链接]
发表于 2018-3-16 12:30:32 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
以下是代码(按照小甲鱼视频中写的,应该没问题。但为了以防万一,还是贴出来大家帮看看)

import urllib.request  #导入request模块
url ='https://www.sojson.com/ip/' #输入查询IP地址的URL
proxy_support = urllib.request.ProxyHandler({'http':'115.46.73.120:8123'})#输入伪装代理IP创建ProxyHandler
opener = urllib.request.build_opener(proxy_support) #创建opener
opener.addheaders =[('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.72 Safari/537.36')] #伪装成浏览访问URL
urllib.request.install_opener(opener)#安装opener
response = urllib.request.urlopen(url)#使用自己安装好的opener
html = response.read().decode("utf-8")#读取相应信息并解码
print(html) #打印信息



程序运行过程说明:
1.小甲鱼视频中的http://www.whatismyip.com.tw/,最开始我做访问的时候没有伪装成浏览器访问,所以返回的是http501错误。后来就伪装了下
2.伪装之后是可以访问,但出来的结果不是伪装ip,而是本机真实的ip。
3.又换了别的伪装ip,试了很多次,但最后出来的结果要么是[WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。要么就是由于目标机器积极拒绝,无法连接。——要么就是程序一直运行,迟迟不给恢复。(难道是我被屏蔽了。。。反正不明白着呢)




后来我想这个网址说不定升级了,所以又试了别的查询ip的网址,也遇到不少问题
1.访问http://ip.qq.com/的时候,是这样报错的,'utf-8' codec can't decode byte 0xcc in position 580: invalid continuation byte.后来发现这个网是用charset=gb2312这个写的,不是用utf-8。所以才报错的。目前只知道原因是这样,具体解决办法我看网上是说学习美味的汤beautiful soap。问题1:要解决这个问题,是不是学习beautiful soap,是朝这个方向吗?还有报这样错误的:Content-Length should be specified for iterable data of type class 'dict'问题2:这个是因为什么原因出错的?
2.访问了别的查询ip的网址,用了很多伪装ip,但最后还是显示本机的真实IP。问题3:难道是代码有问题吗?如果有问题,到底错在哪里了?小甲鱼视频中用的也是python3啊?


总之一句话,就是为什么就是不能伪装阿?我做错什么了


我是python3.4.3,win7运行环境,谷歌浏览器的运行环境。


在逛别的交流群时,发现也有鱼油碰到过相同的问题http://bbs.fishc.com/forum.php?mod=viewthread&tid=104538&highlight=%B4%FA%C0%EDip,所以指点下,解救众生,先谢谢了

小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-3-16 12:31:31 | 显示全部楼层
拜托前辈了
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-3-16 19:32:01 | 显示全部楼层
如果网站是https的,你用http的代理访问,他就会用本机的https地址;反之你用https去访问http的网站,也是一样用的是本机的http地址
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-3-19 13:55:38 | 显示全部楼层
枫树霜雪 发表于 2018-3-16 19:32
如果网站是https的,你用http的代理访问,他就会用本机的https地址;反之你用https去访问http的网站,也是 ...

我今天休息的时候又试了好几遍,显示的还是真实的IP地址啊?
你运行的时候显示的是隐藏的IP吗?

小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-27 11:30:10 | 显示全部楼层
您好,关于IP代理池,您的问题解决了?分享一下,我也想做个IP代理池。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-1-27 11:30:46 | 显示全部楼层
您好,关于IP代理池,您的问题解决没
分享一下,我也想做个IP代理池。
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-8-2 13:43

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表