使用requests和bs4爬取中国国家地理网画廊页面下所有图片

我龙哟

1. import requests
   
2. import os
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def openurl(url):
   
6.     try:
   
7.         res = requests.get(url,timeout=30)
   
8.         res.raise_for_status()
   
9.         return res
   
10.     except:
    
11.         return"访问网页产生异常"
    
12. 
    
13. def findimgurl(furl):
    
14.     res = openurl(furl)
    
15.     #print(res.text[:100])
    
16.     soup = BeautifulSoup(res.text,"html.parser")
    
17.     data = soup.find(name='div',attrs={'class':"right-side"})
    
18.     imgurldata = data.find_all("img")
    
19.     #print(imgurldata)
    
20.     imgurl = []
    
21.     for each in imgurldata:
    
22.         if each.get("src")[-4:] != '.png':
    
23.             imgname = each.get("alt")
    
24.             imgurl.append({'imgname':imgname,'imgurl':each.get("src")[:-5]})
    
25.     #print(imgurl)
    
26.     return imgurl#链接列表
    
27.    
    
28. 
    
29. def save(imgurl):
    
30.     try:
    
31.         for each in imgurl:
    
32.             #print(each['imgname'],each['imgurl'])
    
33.             path = each['imgname'] + each['imgurl'][-4:]
    
34.             #print(path)
    
35.             if not os.path.exists(path):
    
36.                 print(each['imgname'] + each['imgurl'][-4:])
    
37.                 img = openurl(each['imgurl'])
    
38.                 with open(path,"wb") as f:
    
39.                     f.write(img.content)
    
40.                     print("保存成功\n")
    
41.             else:
    
42.                 print(each['imgname'] + each['imgurl'][-4:])
    
43.                 print("文件已存在\n")
    
44.     except:
    
45.         return"异常"
    
46. 
    
47. def main():
    
48.     for i in range(10):
    
49.         print(i+1)
    
50.         furl = "http://www.dili360.com/gallery/cate/" + str(i+1) + ".htm"
    
51.         imgurl = findimgurl(furl)
    
52.         save(imgurl)
    
53. 
    
54. if __name__ == "__main__":
    
55.     main()

复制代码

我龙哟

...