[已解决]关于百度首页图片爬虫

1140813598

实现访问百度首页，并将其首页页面中加载的所有png格式的图片存储到本地。

我想知道该如何用代码来实现这样的功能，回帖请附上思路或伪代码！

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-5-9 14:42:56

1. 
   
2. import requests
   
3. import re
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'https://www.baidu.com'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     r.encoding = 'utf-8'
    
11.     pics = re.findall(r'src=\'(.*?\.png)\'', r.text)    # 正则拿url
    
12.     for item in pics:
    
13.         if not item.startswith('http'):
    
14.             item = 'http:' + item    #url没有以http或https开头的加上http
    
15.         r = requests.get(item, headers=headers)
    
16.         pic_name = item.split('/')[-1]   # 图片名就用url里的名称
    
17.         with open(pic_name, 'wb') as f:
    
18.             f.write(r.content)
    
19. 
    
20. 
    
21. if __name__ == '__main__':
    
22.     main()
    
23. 
    

复制代码

跳转到最佳答案楼层

suchocolate

1. 
   
2. import requests
   
3. import re
   
4. 
   
5. 
   
6. def main():
   
7.     url = 'https://www.baidu.com'
   
8.     headers = {'user-agent': 'firefox'}
   
9.     r = requests.get(url, headers=headers)
   
10.     r.encoding = 'utf-8'
    
11.     pics = re.findall(r'src=\'(.*?\.png)\'', r.text)    # 正则拿url
    
12.     for item in pics:
    
13.         if not item.startswith('http'):
    
14.             item = 'http:' + item    #url没有以http或https开头的加上http
    
15.         r = requests.get(item, headers=headers)
    
16.         pic_name = item.split('/')[-1]   # 图片名就用url里的名称
    
17.         with open(pic_name, 'wb') as f:
    
18.             f.write(r.content)
    
19. 
    
20. 
    
21. if __name__ == '__main__':
    
22.     main()
    
23. 
    

复制代码

南归

www.baidu.com这个里的所有图片?
满足以.png为结尾的都get然后保存

sadfnio

qq