如何解决爬取HTTPS网页图片问题

ff174422523

按小甲鱼老师的视频“正则表达式4”的视频中展示，爬取百度贴吧某的图片代码为

1. import urllib.request
   
2. import re
   
3. 
   
4. def open_url(url):
   
5.     req = urllib.request.Request(url)
   
6.     req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0')
   
7.     page = urllib.request.urlopen(req)
   
8.     html = page.read().decode('utf-8')
   
9. 
   
10.     return html
    
11. 
    
12. def get_img(html):
    
13.     p = r'<img class="BDE_Image" src="([^"]+\.jpg)"'
    
14.     imglist = re.findall(p,html)
    
15.    
    
16.     for each in imglist:
    
17.         print(each)
    
18.     '''
    
19.     for each in imglist:
    
20.         filename = each.split("/")[-1]
    
21.         urllib.request.urlretrieve(each,filename,None)
    
22.     '''
    
23. 
    
24. 
    
25. 
    
26. 
    
27. if __name__ == '__main__':
    
28.     url = "http://tieba.baidu.com/p/3563409202"
    
29.     get_img(open_url(url))
    

复制代码

但现在我在爬取的时候报错内容如下
urllib.error.URLError: <urlopen error [SSL: UNKNOWN_PROTOCOL] unknown protocol (_ssl.c:777)>
请问该问题如何解决，我查看了视频爬取的图片连接为http,而现在我爬取的连接为https 请问该问题要如何解决？   谢谢。

塔利班

可以运行啊

alltolove

别用urllib.request这个，用request模块里get方法就行

ff174422523

alltolove 发表于 2018-3-8 08:21
别用urllib.request这个，用request模块里get方法就行

你好，，我是小白，，能麻烦上一下代码吗？ 谢谢啦

alltolove

1. import requests
   
2. import re
   
3. 
   
4. def open_url(url):
   
5.     req = requests.get(url)
   
6.     return req.text
   
7. 
   
8. def get_img(html):
   
9.     p = r'<img class="BDE_Image" src="([^"]+\.jpg)"'
   
10.     imglist = re.findall(p,html)
    
11.    
    
12.     for each in imglist:
    
13.         print(each)
    
14. 
    
15. if __name__ == '__main__':
    
16.     url = "https://tieba.baidu.com/p/3563409202"
    
17.     get_img(open_url(url))
    

复制代码

就是改一下你的获取网站的函数就行了。要用这个需要安装先requests这个模块

小a君

alltolove 发表于 2018-3-12 08:21
就是改一下你的获取网站的函数就行了。要用这个需要安装先requests这个模块

大佬，这个代码是换下网址就行了嘛？user-agent不要写吗。同小白您的代码我运行几次既没有报错有没有爬出来