远程主机强迫关闭了一个现有的连接。这个是什么意思

一条自私的鱼 · 发表于 2021-6-17 21:40:15

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

我是照着那个Requests 库帮助文档快速上手的第一个实例做的，为什么会这样

逃兵 · 发表于 2021-6-17 21:44:32

没有伪装头，被反爬了
加个伪装头伪装成浏览器就行了

import requests

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36',
           'cookie': 'BIDUPSID=45588421F978DE2902A1A47464D72AB3; PSTM=1609986056; BAIDUID=45588421F978DE29E3D21BB7BB5A6873:FG=1; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; __yjs_duid=1_e3607a56e43709e2ca3db4147c46396a1612784778582; BAIDUID_BFESS=45588421F978DE29E3D21BB7BB5A6873:FG=1; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1614696427; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1614697139; __yjsv5_shitong=1.0_7_253e552513b2cf371866473b2e57fb4e5137_300_1614697145680_59.50.85.17_fe15699c; ab_sr=1.0.0_ZDRiZDU1NjAzNjRkMDUyOWE3ZTg3MWZlMjRhMGE4NzkwYmI3N2ExMzliMjY3MjIxOGIyY2EyMmMxNWQzOWFmY2UyZDZjMGFkYzVjNWZkNGQ1ZWIxMTJmYjZjM2Y0M2M2'
           }


re = requests.get('https://api.github.com/events',headers = headers)

一条自私的鱼 · 发表于 2021-6-17 21:45:21

逃兵发表于 2021-6-17 21:44
没有伪装头，被反爬了
加个伪装头伪装成浏览器就行了

？？我刚学，没看懂

，不过谢谢

一条自私的鱼 · 发表于 2021-6-17 21:48:05

逃兵发表于 2021-6-17 21:44
没有伪装头，被反爬了
加个伪装头伪装成浏览器就行了

好像还是不行。。我把上面代码输进去

逃兵 · 发表于 2021-6-17 22:00:34

还没学到看不懂正常

爬虫是进行数据抓取

对应的就会有反爬虫机制

很多网址都会做反爬

这里远程主机强迫关闭现有链接就是被反爬了，服务器不给予反应

一般爬虫都会增加伪装头（header）将爬虫伪装成浏览器增加爬取成功的几率

YunGuo · 发表于 2021-6-17 22:25:50

import requests

url = 'https://api.github.com/events'
headers = {
    'user-agent': 'Mozilla/5.0'
}
res = requests.get(url, headers=headers)
print(res.json())

一条自私的鱼 · 发表于 2021-6-18 08:20:21

YunGuo 发表于 2021-6-17 22:25

res = requests.get(url, headers=headers)
这一行还是运行不了，出现同样的报错

YunGuo · 发表于 2021-6-18 22:52:41

一条自私的鱼发表于 2021-6-18 08:20
res = requests.get(url, headers=headers)
这一行还是运行不了，出现同样的报错

那就是你写代码请求太频繁，ip被封了

一条自私的鱼 · 发表于 2021-6-19 18:02:25

各位，我还是没找到原因，但是有可能是那个网站我这台电脑本来就登不上去，如果有更优质的解释，评论即可

南归 · 发表于 2021-6-19 18:08:59

换个网站,github经常被墙上不去正常

nahongyan1997 · 发表于 2021-6-20 20:19:23

一条自私的鱼发表于 2021-6-19 18:02
各位，我还是没找到原因，但是有可能是那个网站我这台电脑本来就登不上去，如果有更优质的解释，评论即可

直接用浏览器访问，访问出错就是 ip 被封了，没出错就是代码的问题。

nahongyan1997 · 发表于 2021-6-20 20:20:02

为什么大家都不用 urllib 库呢

账号		自动登录	找回密码
密码			立即注册