[已解决]爬虫求助：为什么打不开豆瓣的网站？

病名为孙笑川

1. import urllib.request

复制代码

1. response = urllib.request.urlopen("http://www.douban.com")

复制代码

1. Traceback (most recent call last):
   
2.   File "<pyshell#1>", line 1, in <module>
   
3.     response = urllib.request.urlopen("http://www.douban.com")
   
4.   File "D:\文件\Python38\lib\urllib\request.py", line 222, in urlopen
   
5.     return opener.open(url, data, timeout)
   
6.   File "D:\文件\Python38\lib\urllib\request.py", line 531, in open
   
7.     response = meth(req, response)
   
8.   File "D:\文件\Python38\lib\urllib\request.py", line 640, in http_response
   
9.     response = self.parent.error(
   
10.   File "D:\文件\Python38\lib\urllib\request.py", line 569, in error
    
11.     return self._call_chain(*args)
    
12.   File "D:\文件\Python38\lib\urllib\request.py", line 502, in _call_chain
    
13.     result = func(*args)
    
14.   File "D:\文件\Python38\lib\urllib\request.py", line 649, in http_error_default
    
15.     raise HTTPError(req.full_url, code, msg, hdrs, fp)
    
16. urllib.error.HTTPError: HTTP Error 418:

复制代码

最佳答案

月排行榜 / 总排行榜

bonst

2020-9-7 15:00:34

你可以试试这样

1. import requests
   
2. 
   
3. url = 'https://book.douban.com/'
   
4. response = requests.get(url)
   
5. print(response.text)

复制代码

跳转到最佳答案楼层

bonst

已经不用urllib了，直接用requests库不是美滋滋，你试试，而且url也不对，豆瓣是https

bonst

你可以试试这样

1. import requests
   
2. 
   
3. url = 'https://book.douban.com/'
   
4. response = requests.get(url)
   
5. print(response.text)

复制代码

疾风怪盗

<Response [418]>
反爬了吧
用selenium试试吧

YunGuo

网站有反爬，用requests库加headers两三行代码就可以请求成功了。用urllib的话就比较麻烦，需要代码比较多，试试这个。

1. import urllib.request
   
2. headers = {}    # 自行添加headers
   
3. url = 'http://www.douban.com/'
   
4. re = urllib.request.Request(url=url, headers=headers)
   
5. html = urllib.request.urlopen(re)
   
6. print(html.read().decode())

复制代码

suchocolate

得改ua，默认ua是python-urllib，豆瓣反扒。

1. from urllib import request
   
2. 
   
3. headers = {'user-agent': 'firefox'}
   
4. req = request.Request('http://www.douban.com', headers=headers)
   
5. r = request.urlopen(req)
   
6. print(r.read().decode('utf-8'))
   

复制代码

这是不改ua的抓包。

这是改了ua的抓包：

                               
登录/注册后可看大图