Python 爬取论坛徽章

qiuyouzhi

Python 爬取论坛徽章

昨天看了一下，其他的表情都很好爬，那个阿狸的，

就是ali1,ali2，写个循环遍历下载下来就行，这里不多赘述。

用到的模块：

pypinyin，因为徽章都是中文的，直接用徽章拼音命名。
requests: 不多说，获取网页神器。
bs4：分析网页，提取数据。

直接说思路：

先导入该用的模块，并写出下载网页的函数：

1. from pypinyin import lazy_pinyin as l  # 用lazy_pinyin，去掉声调
   
2. from requests import get
   
3. from bs4 import BeautifulSoup as BS
   
4. 
   
5. def open_url(url):
   
6.     res = get(url)  # 我们亲爱的鱼C不需要User-Agent
   
7.     return res

复制代码

分析网页：

（电脑渣，这里不放图片 ）

翻翻源代码，可以发现：

1. <p>活跃小鱼</p>
   
2. <p class="mtn">
   
3. 自主申请
   
4. </p>
   
5. </div>
   
6. </div>
   
7. <div id="medal_34" class="mg_img" onmouseover="showMenu({'ctrlid':this.id, 'menuid':'medal_34_menu', 'pos':'12!'});"><img src="static/image/common/huoyuexiaoyu.gif" alt="活跃小鱼" style="margin-top: 20px;width:auto; height: auto;" /></div>
   
8. <p class="xw1">活跃小鱼</p>
   
9. <p>
   
10. 已拥有
    
11. </p>
    
12. </li>
    
13. <li>

复制代码

我去，全在<p>标签里面啊！

直接写代码：

1. def get_pinyin(name): # 获取拼音并保存
   
2.     pinyin = [l(each) for each in name]
   
3.     return pinyin
   
4. 
   
5. def zhizun():
   
6.     url = 'https://fishc.com.cn/static/image/common/vip.gif'
   
7.     res = open_url(url)
   
8.     with open("zhizunvip.gif", "wb") as f:
   
9.         f.write(res.content)
   
10. 
    
11. def find_name(res): # 找出来勋章的名字
    
12.     name = []
    
13.     soup = BS(res.text, "html.parser")
    
14.     target = soup.find_all('p', class_='xw1')
    
15.     for each in target:
    
16.         name.append(each.text)
    
17.     return name

复制代码

那个zhizun可能大家看不明白，是因为

勋章的名字叫做至尊VIP,而它的URL

则是vip（没有至尊），所以只能单独给它搞一个

（用切片也行）。

现在就是最后一步，保存图片！

1. def get_Img():
   
2.     res = open_url("https://fishc.com.cn/home.php?mod=medal")
   
3.     name = find_name(res)
   
4.     pinyin = get_pinyin(name)
   
5.     for each in pinyin:
   
6.         each = "".join(each).lower()    # each 不是字符串，要用 "".join(each)
   
7.         url = 'https://fishc.com.cn/static/image/common/%s.gif' % each
   
8.         print(url)
   
9.         res = open_url(url)
   
10.         with open(f'{each}.gif', 'wb') as f:
    
11.             f.write(res.content)
    
12.     zhizun()
    
13. 
    
14. 
    
15. if __name__ == "__main__":
    
16.     get_Img()
    
17.     print("DONE!")

复制代码

大功告成！

致谢

感谢zltzlt，没有他，我就会一直卡在get_Img()函数里。

（有点尴尬）

完整代码:

1. from pypinyin import lazy_pinyin as l
   
2. from requests import get
   
3. from bs4 import BeautifulSoup as BS
   
4. 
   
5. 
   
6. def open_url(url):
   
7.     headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}
   
8.     res = get(url, headers = headers)
   
9.     return res
   
10. 
    
11. 
    
12. def get_pinyin(name): # 获取拼音并保存
    
13.     pinyin = [l(each) for each in name]
    
14.     return pinyin
    
15. 
    
16. def zhizun():
    
17.     url = 'https://fishc.com.cn/static/image/common/vip.gif'
    
18.     res = open_url(url)
    
19.     with open("zhizunvip.gif", "wb") as f:
    
20.         f.write(res.content)
    
21. 
    
22. def find_name(res): # 找出来勋章的名字
    
23.     name = []
    
24.     soup = BS(res.text, "html.parser")
    
25.     target = soup.find_all('p', class_='xw1')
    
26.     for each in target:
    
27.         name.append(each.text)
    
28.     return name
    
29. 
    
30. 
    
31. def get_Img():
    
32.     res = open_url("https://fishc.com.cn/home.php?mod=medal")
    
33.     name = find_name(res)
    
34.     pinyin = get_pinyin(name)
    
35.     for each in pinyin:
    
36.         each = "".join(each).lower()    # each 不是字符串，要用 "".join(each)
    
37.         url = 'https://fishc.com.cn/static/image/common/%s.gif' % each
    
38.         print(url)
    
39.         res = open_url(url)
    
40.         with open(f'{each}.gif', 'wb') as f:
    
41.             f.write(res.content)
    
42.     zhizun()
    
43. 
    
44. 
    
45. if __name__ == "__main__":
    
46.     get_Img()
    
47.     print("DONE!")

复制代码

qiuyouzhi

有些拿不到的，只能看着过过瘾了