鱼C论坛

 找回密码
 立即注册
查看: 7254|回复: 1

简单的网络爬虫没有出现结果

[复制链接]
发表于 2018-1-31 23:03:33 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 lzmwu 于 2018-1-31 23:03 编辑

import urllib.request
import random

url = 'http://www.whatismyip.com.tw'

iplist = ['61.160.195.101:808','175.167.225.95:80','218.241.234.48:8080']

proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})

opener = urllib.request.build_opener(proxy_support)
opener.addheaders = [('User-Agent','Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19')]

urllib.request.install_opener(opener)

response = urllib.request.urlopen(url)
htn1 = response.read().decode('utf-8')

print(htn1)

显示出  由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。
或者  urllib.error.HTTPError: HTTP Error 503: Too many open connections
但有时却可以运行
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

发表于 2018-1-31 23:07:28 | 显示全部楼层
代理不行,换代理啊
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-12-27 15:43

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表