liuhongrun2022 发表于 2023-9-2 13:13:42

403

import requests

url = "https://konachan.net/"
headers = {
'User-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.62"
}
response = requests.get(url, headers=headers)
print(response.status_code)
# print(response.text)
运行：
403
请求这个网站，即使加上了headers也是403

陶远航 发表于 2023-9-2 13:13:56

403状态码通常表示服务器拒绝了客户端的请求，这可能与网站的安全策略或访问控制有关。为了解决这个问题，你可以尝试以下方法：

1. 检查URL是否正确：请确保你正在请求正确的URL，并且URL的格式和参数都是正确的。

2. 检查headers是否完整和有效：请确保你的headers包含所有必要的信息，并且各个字段的格式是正确的。你也可以尝试添加其他header字段，例如Referer、Cookie等，以模拟真实的浏览器行为。

3. 考虑使用代理：如果你的IP地址被限制或封锁，你可以考虑使用代理服务器来转发请求。请注意，使用公共代理服务器时需要特别小心，因为它们可能会带来安全风险和性能问题。

4. 尝试其他HTTP请求库：如果以上方法都无法解决问题，你可以尝试使用其他HTTP请求库，例如urllib、http.client等，并调整请求参数和设置以获得更好的效果。

需要注意的是，在爬取任何网站的数据时，请务必遵守相关的法律法规和网站的使用协议，不得进行侵犯他人隐私、盗取用户信息和敏感数据等任何非法操作。同时，要遵循良好的爬虫伦理，避免对网站造成过度的负担和干扰。

希望这些方法能够帮助你解决问题！如果你还有其他问题，请随时提问。
如果问题已经解决，请设置最佳答案

isdkz 发表于 2023-9-2 13:14:05

403错误表示服务器拒绝了请求。这通常是由于权限不足或服务器配置问题导致的。在你的代码中，你已经添加了一个自定义的User-Agent头部，这通常用于模拟浏览器发送请求，但仍然遇到了403错误。

有几种可能的原因导致这个问题：
1. 服务器可能要求身份验证，你需要提供有效的凭据才能访问。
2. 服务器可能对特定的IP地址或用户代理进行了限制。你可以尝试使用不同的IP地址或修改User-Agent头部来解决这个问题。
3. 服务器可能已经检测到你的请求是自动化的，并且采取了防止爬虫的措施。你可以尝试使用更复杂的请求头部、添加延迟或使用其他技术来模拟人类行为。

如果你确定你的请求头部和参数是正确的，但仍然遇到403错误，那么可能是服务器端的问题。你可以尝试联系网站管理员或寻求其他解决方案。

liuhongrun2022 发表于 2023-9-2 13:14:16

陶远航 发表于 2023-9-2 13:13
403状态码通常表示服务器拒绝了客户端的请求，这可能与网站的安全策略或访问控制有关。为了解决这个问题， ...

转人工

陶远航 发表于 2023-9-2 13:15:01

liuhongrun2022 发表于 2023-9-2 13:14
转人工

等会给你看看，我在做web攻防的题目

liuhongrun2022 发表于 2023-9-2 13:15:32

isdkz 发表于 2023-9-2 13:14
403错误表示服务器拒绝了请求。这通常是由于权限不足或服务器配置问题导致的。在你的代码中，你已经添加了 ...

转人工

陶远航 发表于 2023-9-2 13:16:51

ok，我来了，给你看看

liuhongrun2022 发表于 2023-9-2 13:17:50

陶远航 发表于 2023-9-2 13:16
ok，我来了，给你看看

怎么回事

陶远航 发表于 2023-9-2 13:20:03

liuhongrun2022 发表于 2023-9-2 13:17
怎么回事

你想获取什么数据？我看这个问题可能出在cookie上

陶远航 发表于 2023-9-2 13:21:46

emmm，这个不好搞，看样子挂在了cloudflare上了

liuhongrun2022 发表于 2023-9-2 13:22:49

陶远航 发表于 2023-9-2 13:21
emmm，这个不好搞，看样子挂在了cloudflare上了

cloudflare可以反爬？

陶远航 发表于 2023-9-2 13:24:03

liuhongrun2022 发表于 2023-9-2 13:22
cloudflare可以反爬？

嗯，只要挂在了cloudflare上，基本上不可能了

isdkz 发表于 2023-9-2 13:30:21

https://cn.bing.com/search?q=%E7%88%AC%E8%99%AB%E6%80%8E%E4%B9%88%E7%BB%95%E8%BF%87cloudflare%3F&cvid=1b6a296207724fe9bb37f2886c2a7d24&aqs=edge..69i57j69i58.12455j0j4&FORM=ANAB01&PC=CNNDDB

liuhongrun2022 发表于 2023-9-2 13:36:00

isdkz 发表于 2023-9-2 13:30
https://cn.bing.com/search?q=%E7%88%AC%E8%99%AB%E6%80%8E%E4%B9%88%E7%BB%95%E8%BF%87cloudflare%3F&cvi ...

感谢，用了一个叫做cfscrape的库，可以正常用了

陶远航 发表于 2023-9-2 13:37:10

isdkz 发表于 2023-9-2 13:30
https://cn.bing.com/search?q=%E7%88%AC%E8%99%AB%E6%80%8E%E4%B9%88%E7%BB%95%E8%BF%87cloudflare%3F&cvi ...

你帮了我大忙！！！我也需要这个！！！
页: [1]
查看完整版本: 403