[已解决]python3网络爬虫开发实战，跟书上一样的代码怎么出错了

zhoujie13

1. import requests
   
2. import re
   
3. 
   
4. r = requests.get('https://ssr1.scrape.center/')
   
5. pattern = re.compile(r'<h2.*?>(.*?)</h2>', re.S)
   
6. titles = re.findall(pattern, r.text)
   
7. print(titles)

复制代码

输出：requests.exceptions.SSLError: HTTPSConnectionPool(host='ssr1.scrape.center', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997)')))

1. from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener
   
2. from urllib.error import URLError
   
3. 
   
4. 
   
5. username = "admin"
   
6. password = 'admin'
   
7. url = 'https://ssr3.scrape.center/'
   
8. 
   
9. p = HTTPPasswordMgrWithDefaultRealm()
   
10. p.add_password(None, url, username, password)
    
11. auth_handler = HTTPBasicAuthHandler(p)
    
12. opener = build_opener(auth_handler)
    
13. 
    
14. try:
    
15.     result = opener.open(url)
    
16.     html = result.read().decode('utf-8')
    
17.     print(html)
    
18. except URLError as e:
    
19.     print(e.reason)

复制代码

输出：[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997)


是我电脑出来什么问题吗？

最佳答案

月排行榜 / 总排行榜

isdkz

2023-5-8 18:27:29

zhoujie13 发表于 2023-5-8 18:14
第一个代码解决了，第二个输出Authorization Required
也不知道对不对，按理是要输出网页源代码的吧

那个是机器人答的，它因为没有用 opener.open，而是用了 urlopen 所以认证失败

你之前的报错是因为证书问题，证书问题解决的话不必要像机器人回答的那个代码那么复杂

至于为什么会有证书问题，可能作者那个网站的证书过期了，又或者 python 库中没有相应的根证书

两行代码就可以了：

1. from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener
   
2. from urllib.error import URLError
   
3. import ssl                                       # 注意这里
   
4. 
   
5. ssl._create_default_https_context = ssl._create_unverified_context                  # 注意这里
   
6. 
   
7. username = "admin"
   
8. password = 'admin'
   
9. url = 'https://ssr3.scrape.center/'
   
10. 
    
11. p = HTTPPasswordMgrWithDefaultRealm()
    
12. p.add_password(None, url, username, password)
    
13. auth_handler = HTTPBasicAuthHandler(p)
    
14. opener = build_opener(auth_handler)
    
15. 
    
16. try:
    
17.     result = opener.open(url)
    
18.     html = result.read().decode('utf-8')
    
19.     print(html)
    
20. except URLError as e:
    
21.     print(e.reason)
    

复制代码

跳转到最佳答案楼层

zhoujie13

isdkz 发表于 2023-5-8 18:09
这是由于SSL证书验证失败导致的问题。在Python中，当使用requests或urllib等库从HTTPS站点获取内容时，会默 ...

第一个代码解决了，第二个输出Authorization Required
也不知道对不对，按理是要输出网页源代码的吧

我很纠结的是和书上一样的代码为什么不行了？网页不是作者自己搭建的吗？