http error 521

小剑剑

代码如下，应该没问题，我用它来访问一个网页时返回了错误

import urllib.request
def open_url(url):
       
       W1 = urllib.request.Request(url)
       W1.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0')
       W2 = urllib.request.urlopen(W1,timeout=30)
       return W2

错误信息如下，网上说521是服务器的错误，但是我用浏览器又可以访问这个网站，这是怎么回事，网站地址 http://www.kuaidaili.com/proxylist/1/

Traceback (most recent call last):
  File "<pyshell#5>", line 1, in <module>
    open_url('http://www.kuaidaili.com/proxylist/1/')
  File "C:\Program Files\Python35\document\newbeauty.py", line 17, in open_url
    W2 = urllib.request.urlopen(W1,timeout=30)
  File "C:\Program Files\Python35\lib\urllib\request.py", line 162, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Program Files\Python35\lib\urllib\request.py", line 471, in open
    response = meth(req, response)
  File "C:\Program Files\Python35\lib\urllib\request.py", line 581, in http_response
    'http', request, response, code, msg, hdrs)
  File "C:\Program Files\Python35\lib\urllib\request.py", line 509, in error
    return self._call_chain(*args)
  File "C:\Program Files\Python35\lib\urllib\request.py", line 443, in _call_chain
    result = func(*args)
  File "C:\Program Files\Python35\lib\urllib\request.py", line 589, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 521:

这应该是网站的反爬虫手段，具体要学习js才知道

hldh214

你点开浏览器看看浏览器请求头
再看看你 python 的请求头

小剑剑

hldh214 发表于 2017-3-5 10:04
你点开浏览器看看浏览器请求头
再看看你 python 的请求头

不知道为何，过了几天同样的代码又可以了