[已解决]python3网络爬虫开发实战，跟书上一样的代码怎么出错了

isdkz

这是由于SSL证书验证失败导致的问题。在Python中，当使用requests或urllib等库从HTTPS站点获取内容时，会默认验证SSL证书。如果证书无效或不受信任，则会引发此错误。

对于第一个代码示例，您可以通过禁用SSL证书验证来解决此问题。可以将verify参数设置为False，如下所示：

1. import requests
   
2. import re
   
3. 
   
4. r = requests.get('https://ssr1.scrape.center/', verify=False)
   
5. pattern = re.compile(r'<h2.*?>(.*?)</h2>', re.S)
   
6. titles = re.findall(pattern, r.text)
   
7. print(titles)
   

复制代码

对于第二个代码示例，您可以使用ssl模块中的create_default_context()方法来创建SSL上下文，并将其传递给urlopen()方法。您可以使用以下代码解决此问题：

1. from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener, urlopen
   
2. from urllib.error import URLError
   
3. import ssl
   
4. 
   
5. username = "admin"
   
6. password = 'admin'
   
7. url = 'https://ssr3.scrape.center/'
   
8. 
   
9. p = HTTPPasswordMgrWithDefaultRealm()
   
10. p.add_password(None, url, username, password)
    
11. auth_handler = HTTPBasicAuthHandler(p)
    
12. opener = build_opener(auth_handler)
    
13. 
    
14. context = ssl.create_default_context()
    
15. context.check_hostname = False
    
16. context.verify_mode = ssl.CERT_NONE
    
17. 
    
18. try:
    
19.     result = urlopen(url, context=context)
    
20.     html = result.read().decode('utf-8')
    
21.     print(html)
    
22. except URLError as e:
    
23.     print(e.reason)
    

复制代码

这将创建一个不验证SSL证书的SSL上下文，并将其传递给urlopen()方法。

isdkz

zhoujie13 发表于 2023-5-8 18:14
第一个代码解决了，第二个输出Authorization Required
也不知道对不对，按理是要输出网页源代码的吧

那个是机器人答的，它因为没有用 opener.open，而是用了 urlopen 所以认证失败

你之前的报错是因为证书问题，证书问题解决的话不必要像机器人回答的那个代码那么复杂

至于为什么会有证书问题，可能作者那个网站的证书过期了，又或者 python 库中没有相应的根证书

两行代码就可以了：

1. from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener
   
2. from urllib.error import URLError
   
3. import ssl                                       # 注意这里
   
4. 
   
5. ssl._create_default_https_context = ssl._create_unverified_context                  # 注意这里
   
6. 
   
7. username = "admin"
   
8. password = 'admin'
   
9. url = 'https://ssr3.scrape.center/'
   
10. 
    
11. p = HTTPPasswordMgrWithDefaultRealm()
    
12. p.add_password(None, url, username, password)
    
13. auth_handler = HTTPBasicAuthHandler(p)
    
14. opener = build_opener(auth_handler)
    
15. 
    
16. try:
    
17.     result = opener.open(url)
    
18.     html = result.read().decode('utf-8')
    
19.     print(html)
    
20. except URLError as e:
    
21.     print(e.reason)
    

复制代码