[已解决]opener

莫待无花空折枝

代码如下：

1. import urllib.request
   
2. 
   
3. url = "https://www.whatismyip.com/wp-content/uploads/2017/11/WhatIsMyIP.com_Brand_30.png"     #访问这个网站会显示ip地址
   
4. proxy_support = urllib.request.ProxyHandler({'http':'125.108.106.64:9000'})
   
5. opener = urllib.request.build_opener(proxy_support)    #定制
   
6. opener.addheaders = [('user-agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')]
   
7. urllib.request.install_opener(opener)                  #安装
   
8. response = urllib.request.urlopen(url)                 #使用代理ip爬目标网站
   
9. html = response.read().decode('utf-8')
   
10. print(html)

复制代码

调试时显示这一步出错

1. response = urllib.request.urlopen(url)                 #使用代理ip爬目标网站
   

复制代码

出错界面如图

1. Traceback (most recent call last):
   
2.   File "D:\办公\pycharm\PyCharm Community Edition 2020.1.1\plugins\python-ce\helpers\pydev\pydevd.py", line 1438, in _exec
   
3.     pydev_imports.execfile(file, globals, locals)  # execute the script
   
4.   File "D:\办公\pycharm\PyCharm Community Edition 2020.1.1\plugins\python-ce\helpers\pydev\_pydev_imps\_pydev_execfile.py", line 18, in execfile
   
5.     exec(compile(contents+"\n", file, 'exec'), glob, loc)
   
6.   File "E:/python_pycharm/练习/opener.py", line 8, in <module>
   
7.     response = urllib.request.urlopen(url)                 #使用代理ip爬目标网站
   
8.   File "D:\python3.7\Lib\urllib\request.py", line 222, in urlopen
   
9.     return opener.open(url, data, timeout)
   
10.   File "D:\python3.7\Lib\urllib\request.py", line 531, in open
    
11.     response = meth(req, response)
    
12.   File "D:\python3.7\Lib\urllib\request.py", line 641, in http_response
    
13.     'http', request, response, code, msg, hdrs)
    
14.   File "D:\python3.7\Lib\urllib\request.py", line 569, in error
    
15.     return self._call_chain(*args)
    
16.   File "D:\python3.7\Lib\urllib\request.py", line 503, in _call_chain
    
17.     result = func(*args)
    
18.   File "D:\python3.7\Lib\urllib\request.py", line 649, in http_error_default
    
19.     raise HTTPError(req.full_url, code, msg, hdrs, fp)
    
20. urllib.error.HTTPError: HTTP Error 403: Forbidden
    

复制代码

请大佬指导一下错误原因是啥

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-6-5 14:30:11

莫待无花空折枝 发表于 2020-6-5 13:21
害  看的视频   按着视频演示做的

换个网站呗    用贼干净，简单的 ：https://httpbin.org/get

origin 属性就是本机的IP地址

跳转到最佳答案楼层

suchocolate

1.你的代码里的url只是一个图片url，应该拿不到IP，只能能拿到一个图片。
2.构建opener之后就直接opener.open即可。

1. url = "https://www.whatismyip.com"  # 访问这个网站会显示ip地址
   
2. proxy_support = urllib.request.ProxyHandler({'http': '125.108.106.64:9000'})
   
3. opener = urllib.request.build_opener(proxy_support)  # 定制
   
4. opener.addheaders = [('User-agent', 'Firefox')]
   
5. response = opener.open(url)  # 使用代理ip爬目标网站
   
6. html = response.read().decode('utf-8')
   
7. print(html)

复制代码

_荟桐_

老哥，你爬哪个网站不行
偏偏爬这个
这么多验证

莫待无花空折枝

suchocolate 发表于 2020-6-5 11:18
1.你的代码里的url只是一个图片url，应该拿不到IP，只能能拿到一个图片。
2.构建opener之后就直接opener.o ...

现在这个网站进入前多了一个验证
我的那个网址与use-agent都是通过这个验证界面的
老哥  能不能写一个完整的

莫待无花空折枝

_荟桐_ 发表于 2020-6-5 12:46
老哥，你爬哪个网站不行
偏偏爬这个
这么多验证

害  看的视频   按着视频演示做的

suchocolate

莫待无花空折枝 发表于 2020-6-5 13:21
害  看的视频   按着视频演示做的

如果你的目的是查ip的话，用国内的ip138即可：

1. import urllib.request
   
2. import re
   
3. 
   
4. url = "http://2020.ip138.com"
   
5. req = urllib.request.Request(url)
   
6. req.add_header("User-Agent","Firefox")
   
7. response = urllib.request.urlopen(req)
   
8. html = response.read().decode("utf-8")
   
9. r= r'您的IP地址是：(.*)<'
   
10. ip = re.findall(r,html)
    
11. print(ip)
    

复制代码

如果你是做针对这个网站的爬虫，暂时没空帮你。

Twilight6

莫待无花空折枝 发表于 2020-6-5 13:21
害  看的视频   按着视频演示做的

换个网站呗    用贼干净，简单的 ：https://httpbin.org/get

origin 属性就是本机的IP地址

莫待无花空折枝

Twilight6 发表于 2020-6-5 14:30
换个网站呗    用贼干净，简单的 ：https://httpbin.org/get

origin 属性就是本机的IP地址

好的

莫待无花空折枝

suchocolate 发表于 2020-6-5 13:37
如果你的目的是查ip的话，用国内的ip138即可：

如果你是做针对这个网站的爬虫，暂时没空帮你。

好的