[已解决]opener

莫待无花空折枝

代码如下：

import urllib.request

url = "https://www.whatismyip.com/wp-content/uploads/2017/11/WhatIsMyIP.com_Brand_30.png"     #访问这个网站会显示ip地址
proxy_support = urllib.request.ProxyHandler({'http':'125.108.106.64:9000'})
opener = urllib.request.build_opener(proxy_support)    #定制
opener.addheaders = [('user-agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')]
urllib.request.install_opener(opener)                  #安装
response = urllib.request.urlopen(url)                 #使用代理ip爬目标网站
html = response.read().decode('utf-8')
print(html)

调试时显示这一步出错

response = urllib.request.urlopen(url)                 #使用代理ip爬目标网站

出错界面如图

Traceback (most recent call last):
  File "D:\办公\pycharm\PyCharm Community Edition 2020.1.1\plugins\python-ce\helpers\pydev\pydevd.py", line 1438, in _exec
    pydev_imports.execfile(file, globals, locals)  # execute the script
  File "D:\办公\pycharm\PyCharm Community Edition 2020.1.1\plugins\python-ce\helpers\pydev\_pydev_imps\_pydev_execfile.py", line 18, in execfile
    exec(compile(contents+"\n", file, 'exec'), glob, loc)
  File "E:/python_pycharm/练习/opener.py", line 8, in <module>
    response = urllib.request.urlopen(url)                 #使用代理ip爬目标网站
  File "D:\python3.7\Lib\urllib\request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "D:\python3.7\Lib\urllib\request.py", line 531, in open
    response = meth(req, response)
  File "D:\python3.7\Lib\urllib\request.py", line 641, in http_response
    'http', request, response, code, msg, hdrs)
  File "D:\python3.7\Lib\urllib\request.py", line 569, in error
    return self._call_chain(*args)
  File "D:\python3.7\Lib\urllib\request.py", line 503, in _call_chain
    result = func(*args)
  File "D:\python3.7\Lib\urllib\request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

请大佬指导一下错误原因是啥

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-6-5 14:30:11

莫待无花空折枝 发表于 2020-6-5 13:21
害  看的视频   按着视频演示做的

换个网站呗    用贼干净，简单的 ：https://httpbin.org/get

origin 属性就是本机的IP地址

跳转到最佳答案楼层

suchocolate

1.你的代码里的url只是一个图片url，应该拿不到IP，只能能拿到一个图片。
2.构建opener之后就直接opener.open即可。

url = "https://www.whatismyip.com"  # 访问这个网站会显示ip地址
proxy_support = urllib.request.ProxyHandler({'http': '125.108.106.64:9000'})
opener = urllib.request.build_opener(proxy_support)  # 定制
opener.addheaders = [('User-agent', 'Firefox')]
response = opener.open(url)  # 使用代理ip爬目标网站
html = response.read().decode('utf-8')
print(html)

_荟桐_

老哥，你爬哪个网站不行
偏偏爬这个
这么多验证

莫待无花空折枝

suchocolate 发表于 2020-6-5 11:18
1.你的代码里的url只是一个图片url，应该拿不到IP，只能能拿到一个图片。
2.构建opener之后就直接opener.o ...

现在这个网站进入前多了一个验证
我的那个网址与use-agent都是通过这个验证界面的
老哥  能不能写一个完整的

莫待无花空折枝

_荟桐_ 发表于 2020-6-5 12:46
老哥，你爬哪个网站不行
偏偏爬这个
这么多验证

害  看的视频   按着视频演示做的

suchocolate

莫待无花空折枝 发表于 2020-6-5 13:21
害  看的视频   按着视频演示做的

如果你的目的是查ip的话，用国内的ip138即可：

import urllib.request
import re

url = "http://2020.ip138.com"
req = urllib.request.Request(url)
req.add_header("User-Agent","Firefox")
response = urllib.request.urlopen(req)
html = response.read().decode("utf-8")
r= r'您的IP地址是：(.*)<'
ip = re.findall(r,html)
print(ip)

如果你是做针对这个网站的爬虫，暂时没空帮你。

Twilight6

莫待无花空折枝 发表于 2020-6-5 13:21
害  看的视频   按着视频演示做的

换个网站呗    用贼干净，简单的 ：https://httpbin.org/get

origin 属性就是本机的IP地址

莫待无花空折枝

Twilight6 发表于 2020-6-5 14:30
换个网站呗    用贼干净，简单的 ：https://httpbin.org/get

origin 属性就是本机的IP地址

好的

莫待无花空折枝

suchocolate 发表于 2020-6-5 13:37
如果你的目的是查ip的话，用国内的ip138即可：

如果你是做针对这个网站的爬虫，暂时没空帮你。

好的