莫待无花空折枝 发表于 2020-6-4 18:46:25

opener

代码如下：
import urllib.request

url = "https://www.whatismyip.com/wp-content/uploads/2017/11/WhatIsMyIP.com_Brand_30.png"   #访问这个网站会显示ip地址
proxy_support = urllib.request.ProxyHandler({'http':'125.108.106.64:9000'})
opener = urllib.request.build_opener(proxy_support)    #定制
opener.addheaders = [('user-agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')]
urllib.request.install_opener(opener)                  #安装
response = urllib.request.urlopen(url)               #使用代理ip爬目标网站
html = response.read().decode('utf-8')
print(html)
调试时显示这一步出错
response = urllib.request.urlopen(url)               #使用代理ip爬目标网站

出错界面如图
Traceback (most recent call last):
File "D:\办公\pycharm\PyCharm Community Edition 2020.1.1\plugins\python-ce\helpers\pydev\pydevd.py", line 1438, in _exec
    pydev_imports.execfile(file, globals, locals)# execute the script
File "D:\办公\pycharm\PyCharm Community Edition 2020.1.1\plugins\python-ce\helpers\pydev\_pydev_imps\_pydev_execfile.py", line 18, in execfile
    exec(compile(contents+"\n", file, 'exec'), glob, loc)
File "E:/python_pycharm/练习/opener.py", line 8, in <module>
    response = urllib.request.urlopen(url)               #使用代理ip爬目标网站
File "D:\python3.7\Lib\urllib\request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
File "D:\python3.7\Lib\urllib\request.py", line 531, in open
    response = meth(req, response)
File "D:\python3.7\Lib\urllib\request.py", line 641, in http_response
    'http', request, response, code, msg, hdrs)
File "D:\python3.7\Lib\urllib\request.py", line 569, in error
    return self._call_chain(*args)
File "D:\python3.7\Lib\urllib\request.py", line 503, in _call_chain
    result = func(*args)
File "D:\python3.7\Lib\urllib\request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 403: Forbidden

请大佬指导一下错误原因是啥

suchocolate 发表于 2020-6-5 11:18:26

1.你的代码里的url只是一个图片url，应该拿不到IP，只能能拿到一个图片。
2.构建opener之后就直接opener.open即可。
url = "https://www.whatismyip.com"# 访问这个网站会显示ip地址
proxy_support = urllib.request.ProxyHandler({'http': '125.108.106.64:9000'})
opener = urllib.request.build_opener(proxy_support)# 定制
opener.addheaders = [('User-agent', 'Firefox')]
response = opener.open(url)# 使用代理ip爬目标网站
html = response.read().decode('utf-8')
print(html)

_荟桐_ 发表于 2020-6-5 12:46:24

老哥，你爬哪个网站不行
偏偏爬这个{:10_266:}
这么多验证

莫待无花空折枝 发表于 2020-6-5 13:20:40

suchocolate 发表于 2020-6-5 11:18
1.你的代码里的url只是一个图片url，应该拿不到IP，只能能拿到一个图片。
2.构建opener之后就直接opener.o ...

现在这个网站进入前多了一个验证
我的那个网址与use-agent都是通过这个验证界面的
老哥能不能写一个完整的

莫待无花空折枝 发表于 2020-6-5 13:21:56

_荟桐_ 发表于 2020-6-5 12:46
老哥，你爬哪个网站不行
偏偏爬这个
这么多验证

害看的视频   按着视频演示做的

suchocolate 发表于 2020-6-5 13:37:28

莫待无花空折枝 发表于 2020-6-5 13:21
害看的视频   按着视频演示做的

如果你的目的是查ip的话，用国内的ip138即可：import urllib.request
import re

url = "http://2020.ip138.com"
req = urllib.request.Request(url)
req.add_header("User-Agent","Firefox")
response = urllib.request.urlopen(req)
html = response.read().decode("utf-8")
r= r'您的IP地址是：(.*)<'
ip = re.findall(r,html)
print(ip)


如果你是做针对这个网站的爬虫，暂时没空帮你。

Twilight6 发表于 2020-6-5 14:30:11

莫待无花空折枝 发表于 2020-6-5 13:21
害看的视频   按着视频演示做的

换个网站呗    用贼干净，简单的 ：https://httpbin.org/get

origin 属性就是本机的IP地址

莫待无花空折枝 发表于 2020-6-5 17:47:02

Twilight6 发表于 2020-6-5 14:30
换个网站呗    用贼干净，简单的 ：https://httpbin.org/get

origin 属性就是本机的IP地址

好的

莫待无花空折枝 发表于 2020-6-5 17:47:35

suchocolate 发表于 2020-6-5 13:37
如果你的目的是查ip的话，用国内的ip138即可：

如果你是做针对这个网站的爬虫，暂时没空帮你。

好的
页: [1]
查看完整版本: opener