如何爬虫获取网页中特定的图片

cxckb

from bs4 import BeautifulSoup
import requests,os
def get_img(path,url,name):
    h    =  requests.get(url)
    name = '{0}.jpg'.format(name)
    img  =  os.path.join(path,name)
    f  =  open(img,'wb')
    f.write(h.content)
    f.close()
for key in range(1,14):
    url = 'http://www.1ppt.com/xiazai/ppt_xiazai_{0}.html'.format(key)
    html = requests.get(url)
    html.encoding = 'gbk'
    soup = BeautifulSoup(html.text)
    for i in soup.body.find('ul',class_="tplist").findAll('li'):
        name = i.find('img')['alt']
        listR = []
        for j in i.span.strings:
            listR.append(j)
        types = listR[0]
        num = listR[-1]      
        pic = i.find('img')['src']
        path = r'C:\Users\cxckb\Desktop\网页'
        picName = i.find('img')['alt']
        get_img(path,pic,picName)
        print([key,name,types,int(num.strip('：').strip('次'))])
   我想获取这个网站中下载次数最多的那个图片，想不出改用什么办法。。 所以想请教论坛里的大佬们。。

songrui1021

也想学习，不是站主如何知道哪个点击量高呢？

RIXO

找了半天怎么用BeautifulSoup 帮你写了个获取下载次数，和链接的方法，具体想要什么自己再调

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. 
   
5. def has_class_but_no_id(tag):
   
6.     return tag.name == 'span' and  tag.contents[0].name == 'a'
   
7. 
   
8. url = 'http://www.1ppt.com/xiazai/ppt_xiazai_1.html'
   
9. r = requests.get(url)
   
10. r.encoding = 'gb2312'
    
11. html = r.text
    
12. soup = BeautifulSoup(html, 'lxml')
    
13. a = soup.find_all(has_class_but_no_id)
    
14. 
    
15. for i in a:
    
16.     print(i.contents)
    
17.     print(i.contents[-1].strip('： 次'))

复制代码

塔利班

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. 
   
5. def has_class_but_no_id(tag):
   
6.     return tag.name == 'span' and  tag.contents[0].name == 'a'
   
7. result=[]
   
8. for key in range(1,14):
   
9.     url = 'http://www.1ppt.com/xiazai/ppt_xiazai_{0}.html'.format(key)
   
10.     r = requests.get(url)
    
11.     r.encoding = 'gb2312'
    
12.     html = r.text
    
13.     soup = BeautifulSoup(html, 'lxml')
    
14.     a = soup.find_all(has_class_but_no_id)
    
15.     result=[]
    
16.     for i in a:
    
17.         result.append((i.parent.a.img['src'],i.contents[-1].strip('：次')))
    
18.     result.sort(key=lambda x:str(x[1]),reverse=True)
    
19.     result=result[:1]
    
20. filename=result[0][0].split('/')[-1]
    
21. im=requests.get(result[0][0])
    
22. with open(filename,'wb') as f:
    
23.     f.write(im.content)
    

复制代码

wongyusing

电脑不在身边，没法测试，
说一个需要注意的地方，
解析gbk编码的网站，少用bs4。
容易缺斤短两，用pq吧，解析式一样，写法稍微不一样

cxckb

塔利班 发表于 2018-10-18 08:37

谢谢！ 我学习下

cxckb

RIXO 发表于 2018-10-18 01:41
找了半天怎么用BeautifulSoup 帮你写了个获取下载次数，和链接的方法，具体想要什么自己再调

十分感谢

cxckb

wongyusing 发表于 2018-10-18 09:31
电脑不在身边，没法测试，
说一个需要注意的地方，
解析gbk编码的网站，少用bs4。

好的，谢谢提醒