求解如何设置将要爬去的地址的端口

MuLin6 · 发表于 2019-6-18 16:36:03

您需要登录才可以下载或查看，没有账号？立即注册

x

现在我有一个网址，这个网址不是用的默认的80端口，而是其他的端口，我该如何去指定？？？？求解

newu · 发表于 2019-6-18 16:36:52

本帖最后由 newu 于 2019-6-18 16:37 编辑

如果它使用的是8080端口，那么
格式， www.xxx.com:8080
这样就行

MuLin6 · 发表于 2019-6-18 16:59:18

newu 发表于 2019-6-18 16:36
如果它使用的是8080端口，那么
格式， www.xxx.com:8080
这样就行

urllib.error.HTTPError: HTTP Error 403: Forbidden

加上之后依然是这个错误

这个错误我百度查了，是网址不让访问

然后我加了 user-agent 依然不行

newu · 发表于 2019-6-18 17:11:17

方便给个网站的话我试试

MuLin6 · 发表于 2019-6-18 17:13:40

newu 发表于 2019-6-18 17:11
方便给个网站的话我试试

可以也是别人给我的资源共享很好

https://www.040827.com:2087/

MuLin6 · 发表于 2019-6-18 17:18:30

newu 发表于 2019-6-18 17:11
方便给个网站的话我试试

可以了，我爬的是我们自己搭建服务器，我不知道你能不能访问

172.20.32.250

newu · 发表于 2019-6-18 17:19:28

是什么问题？

内网地址我肯定是访问不到的

MuLin6 · 发表于 2019-6-18 17:24:49

newu 发表于 2019-6-18 17:19
是什么问题？

内网地址我肯定是访问不到的

问题是设置了反爬机制，虽然我也不知道怎么做的

wongyusing · 发表于 2019-6-18 18:31:06

403错误一般是你的请求参数不够，
举个例子，通常我们爬取图片，都需要在请求头中加入refer参数，
你先用浏览器的开发者工具看一下，你在浏览过程用了什么参数。
加到代码的请求头再试试

账号		自动登录	找回密码
密码			立即注册