爬取有道词典HTTP Error 503: Service Unavailable

lucky邪神

如题：

1. import urllib.request
   
2. import urllib.parse
   
3. import json
   
4. 
   
5. #text1=input('输入要翻译内容：')
   
6. url ='http://fanyi.youdao.com/'
   
7. 
   
8. response=urllib.request.urlopen(url)
   
9. 
   
10. htm=response.read().decode('utf-8')
    
11. 
    
12. print(htm)

复制代码

错误：

1. Traceback (most recent call last):
   
2.   File "C:/Users/cchen108/OneDrive - kochind.com/Desktop/YD.py", line 7, in <module>
   
3.     response=urllib.request.urlopen(url)
   
4.   File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.7_3.7.1264.0_x64__qbz5n2kfra8p0\lib\urllib\request.py", line 222, in urlopen
   
5.     return opener.open(url, data, timeout)
   
6.   File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.7_3.7.1264.0_x64__qbz5n2kfra8p0\lib\urllib\request.py", line 531, in open
   
7.     response = meth(req, response)
   
8.   File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.7_3.7.1264.0_x64__qbz5n2kfra8p0\lib\urllib\request.py", line 641, in http_response
   
9.     'http', request, response, code, msg, hdrs)
   
10.   File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.7_3.7.1264.0_x64__qbz5n2kfra8p0\lib\urllib\request.py", line 569, in error
    
11.     return self._call_chain(*args)
    
12.   File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.7_3.7.1264.0_x64__qbz5n2kfra8p0\lib\urllib\request.py", line 503, in _call_chain
    
13.     result = func(*args)
    
14.   File "C:\Program Files\WindowsApps\PythonSoftwareFoundation.Python.3.7_3.7.1264.0_x64__qbz5n2kfra8p0\lib\urllib\request.py", line 649, in http_error_default
    
15.     raise HTTPError(req.full_url, code, msg, hdrs, fp)
    
16. urllib.error.HTTPError: HTTP Error 503: Service Unavailable

复制代码

如果我把url改为‘https://www.doordash.com/’，其他不变运行结果是正常输出
用的公司网络，使用Microsoft Edge，输入‘http://fanyi.youdao.com/’可以访问
因为出错还没到翻译那一步

、尾指一勾

你应该添加一个 User-Agent 否则会被服务器当做Ban 掉 不会响应你的请求

1. def foo2():
   
2.     import urllib.request
   
3.     from urllib.request import Request, urlopen
   
4.     import urllib.parse
   
5.     import json
   
6. 
   
7.     # text1=input('输入要翻译内容：')
   
8.     url = 'http://fanyi.youdao.com/'
   
9. 
   
10.     req = Request(url)
    
11.     req.add_header("user-agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36")
    
12.     response = urlopen(req)
    
13. 
    
14.     htm = response.read().decode('utf-8')
    
15. 
    
16.     print(htm)
    
17. 
    
18. 
    
19. if __name__ == '__main__':
    
20.     foo2()

复制代码

、尾指一勾

你应该添加一个 User-Agent 否则会被服务器 Ban 掉

1. def foo2():
   
2.     import urllib.request
   
3.     from urllib.request import Request, urlopen
   
4.     import urllib.parse
   
5.     import json
   
6. 
   
7.     # text1=input('输入要翻译内容：')
   
8.     url = 'http://fanyi.youdao.com/'
   
9. 
   
10.     req = Request(url)
    
11.     req.add_header("user-agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36")
    
12.     response = urlopen(req)
    
13. 
    
14.     htm = response.read().decode('utf-8')
    
15. 
    
16.     print(htm)
    
17. 
    
18. 
    
19. if __name__ == '__main__':
    
20.     foo2()

复制代码

geen

“503错误”的定义：由于临时的服务器维护或者过载，服务器当前无法处理请求。这个状况是临时的，并且将在一段时间以后恢复。如果能够预计延迟时间，那么响应中可以包含一个Retry-After起头用以标明这个延迟时间。如果没有给出这个Retry-After信息，那么客户端应当以处理500（Server Internal Error)响应的方式处理它。注意：503状态码的存在并不意味着必须在服务器过载的时候使用它。某些服务器只不过是希望拒绝某些客户端的连接。

我认为出现这个问题是 你的请求被服务器拒绝了（它识别到你是py程序的访问），因为有道是有反爬措施的，你缺了基础的一步：把py的User-Agent 修改（即伪造）成浏览器的 User-Agent 。

geen

我运行了你的代码，连续运行了5,6次，都没有被拒绝请求，都能正常输出。尴尬~
你用的是什么版本的python?

lucky邪神

geen 发表于 2019-9-11 10:52
我运行了你的代码，连续运行了5,6次，都没有被拒绝请求，都能正常输出。尴尬~
你用的是什么版本 ...

确实是，我回酒店一样的也可以正常运行。python3.7

lucky邪神

、尾指一勾 发表于 2019-9-11 09:05
你应该添加一个 User-Agent 否则会被服务器当做Ban 掉 不会响应你的请求

这个是要隐藏，但我啥都没干就是就是访问网页，回酒店不光访问还可以翻译。