http error 521

小剑剑

代码如下，应该没问题，我用它来访问一个网页时返回了错误

1. import urllib.request
   
2. def open_url(url):
   
3.       
   
4.        W1 = urllib.request.Request(url)
   
5.        W1.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0')
   
6.        W2 = urllib.request.urlopen(W1,timeout=30)
   
7.        return W2
   
8. 
   

复制代码

错误信息如下，网上说521是服务器的错误，但是我用浏览器又可以访问这个网站，这是怎么回事，网站地址 http://www.kuaidaili.com/proxylist/1/

1. Traceback (most recent call last):
   
2.   File "<pyshell#5>", line 1, in <module>
   
3.     open_url('http://www.kuaidaili.com/proxylist/1/')
   
4.   File "C:\Program Files\Python35\document\newbeauty.py", line 17, in open_url
   
5.     W2 = urllib.request.urlopen(W1,timeout=30)
   
6.   File "C:\Program Files\Python35\lib\urllib\request.py", line 162, in urlopen
   
7.     return opener.open(url, data, timeout)
   
8.   File "C:\Program Files\Python35\lib\urllib\request.py", line 471, in open
   
9.     response = meth(req, response)
   
10.   File "C:\Program Files\Python35\lib\urllib\request.py", line 581, in http_response
    
11.     'http', request, response, code, msg, hdrs)
    
12.   File "C:\Program Files\Python35\lib\urllib\request.py", line 509, in error
    
13.     return self._call_chain(*args)
    
14.   File "C:\Program Files\Python35\lib\urllib\request.py", line 443, in _call_chain
    
15.     result = func(*args)
    
16.   File "C:\Program Files\Python35\lib\urllib\request.py", line 589, in http_error_default
    
17.     raise HTTPError(req.full_url, code, msg, hdrs, fp)
    
18. urllib.error.HTTPError: HTTP Error 521:

复制代码

这应该是网站的反爬虫手段，具体要学习js才知道

hldh214

你点开浏览器看看浏览器请求头
再看看你 python 的请求头

小剑剑

hldh214 发表于 2017-3-5 10:04
你点开浏览器看看浏览器请求头
再看看你 python 的请求头

不知道为何，过了几天同样的代码又可以了