鱼C论坛

 找回密码
 立即注册
查看: 1722|回复: 6

关于爬虫使用代理中遇到的问题

[复制链接]
发表于 2018-3-7 19:44:30 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
小甲鱼视频课爬虫章节在介绍使用代理时,举例子:通过IP代理在网上获取一个免费的代理IP地址,再通过www.whatismyip.com.tw来查看当前ip

我的代码如下:

import urllib.request

url = 'http://www.whatismyip.com.tw'

proxy_support = urllib.request.ProxyHandler({'http':'114.112.104.223:80'})

opener = urllib.request.build_opener(proxy_support)

urllib.request.install_opener(opener)

response = urllib.request.urlopen(url)
html = response.read().decode('utf-8')

print(html)

基本上是和小甲鱼视频中的一摸一样,除了具体的代理IP地址不一样。

结果我的显示错误
ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。

小甲鱼视频中用的是3.4.1的版本,现在我用的是3.6.3,是因为版本更新了原因,还是现在防爬虫的原因啊。
小白求解。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2018-3-7 20:36:10 | 显示全部楼层
每次运行都不是一个效果,总体还是搁置响应吧
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-3-7 20:48:38 | 显示全部楼层
换个网站可以
import urllib.request

url = 'http://www.meizitu.com/'

proxy_support = urllib.request.ProxyHandler({'http':'114.112.104.223:80'})

opener = urllib.request.build_opener(proxy_support)

urllib.request.install_opener(opener)

response = urllib.request.urlopen(url)
html = response.read().decode('gb2312')

print(html)
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-3-7 20:56:47 | 显示全部楼层
大头目 发表于 2018-3-7 20:48
换个网站可以
import urllib.request

竟然和我试了一样的网址
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-3-7 21:04:36 | 显示全部楼层
塔利班 发表于 2018-3-7 20:56
竟然和我试了一样的网址

大佬好身手
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2018-3-7 23:56:10 | 显示全部楼层
塔利班 发表于 2018-3-7 20:36
每次运行都不是一个效果,总体还是搁置响应吧

你运行成功过吗?
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2018-3-7 23:57:34 | 显示全部楼层
bake 发表于 2018-3-7 23:56
你运行成功过吗?

没有
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-12-28 09:55

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表