[已解决]关于beautifulsoup的几个初级问题

li7yue

看了半天，beautifulsoup，最后还是似懂非懂
尝试用beautifulsoup爬点最近玩的手游的小icon，写了以下编码

1. import urllib.request
   
2. import re
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def main():
   
6.     url = r'https://wiki.biligame.com/pcr/%E9%98%B5%E8%90%A5%E5%90%8D%E8%AF%8D%E8%A7%A3%E9%87%8A'
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read()
   
9.     soup = BeautifulSoup(html, 'html.parser')
   
10. 
    
11.     princess = dict()
    
12. 
    
13. 
    
14. 
    
15.     i = 0
    
16.     for each in soup.find_all(href=re.compile('pcr'))[41:86]:
    
17.         # print(i)
    
18.         # print(each['href'])
    
19.         print(urllib.parse.unquote((each['href'].split('/', 2)[2])))
    
20.         # i += 1
    
21.         princess[i] = [urllib.parse.unquote((each['href'].split('/', 2)[2])),'none']
    
22.         i += 1
    
23. 
    
24.     print('-------------------------------------------------------------')
    
25. 
    
26.     i = 0
    
27.     for each in soup.find_all(src=re.compile('Icon_unit')):
    
28.         print(each['src'])
    
29.         princess[i][1] = each['src']
    
30.         i += 1
    
31. 
    
32. if __name__ == '__main__':
    
33.     main()

复制代码

主要就是从：url = r'https://wiki.biligame.com/pcr/%E9%98%B5%E8%90%A5%E5%90%8D%E8%AF%8D%E8%A7%A3%E9%87%8A'
这个小页面 爬一每个角色的名字和角色icon图的下载地址

但是问题来了，我觉得自己写的很蠢，查找关键内容的精度不够，导致需要用很笨的方法重新筛选内容

以及有以下几个问题希望大佬帮助：
find_all(href=re.compile('pcr')的意思是找到所有href=后面有pcr关键词的string？
然后each in soup.find_all的each 类型是个tag，这个tag是个什么类型？是说可以通过each['src']找到所有以src开头的内容？

都说beautifulsoup好用，直接用别人的代码也是感觉非常好用，但是自己懵的很.... 求大佬帮忙优化代码, 或者给一些解释和意见, 或者推荐点可以自学的方向或者内容

万分谢谢

最佳答案

月排行榜 / 总排行榜

liuzhengyuan

2020-6-21 18:21:56

你是要爬取图片地址吗？

其实这个 bs4 不好爬的
我做了个正则版的，几行搞定！

1. from requests import get
   
2. import re
   
3. 
   
4. res = get("https://wiki.biligame.com/pcr/%E9%98%B5%E8%90%A5%E5%90%8D%E8%AF%8D%E8%A7%A3%E9%87%8A")
   
5. html = res.text
   
6. 
   
7. s = re.compile(r'<img alt="Icon unit \d+?.png" src="(.+?)"')
   
8. lst = s.findall(html)
   
9. 
   
10. for i in lst:
    
11.     print(i)

复制代码

解释一下：
前几行获取网页源代码（html为获得的源代码）

第 7 行开始匹配
字符串中的小括号中是要匹配的地址，因为每个地址不一样，所以用 .+? 表示
"Icon unit \d+?.png"
这个是为了更精确的匹配

跳转到最佳答案楼层

Twilight6

哈哈 我最近也有看这部番

liuzhengyuan

你是要爬取图片地址吗？

其实这个 bs4 不好爬的
我做了个正则版的，几行搞定！

1. from requests import get
   
2. import re
   
3. 
   
4. res = get("https://wiki.biligame.com/pcr/%E9%98%B5%E8%90%A5%E5%90%8D%E8%AF%8D%E8%A7%A3%E9%87%8A")
   
5. html = res.text
   
6. 
   
7. s = re.compile(r'<img alt="Icon unit \d+?.png" src="(.+?)"')
   
8. lst = s.findall(html)
   
9. 
   
10. for i in lst:
    
11.     print(i)

复制代码

解释一下：
前几行获取网页源代码（html为获得的源代码）

第 7 行开始匹配
字符串中的小括号中是要匹配的地址，因为每个地址不一样，所以用 .+? 表示
"Icon unit \d+?.png"
这个是为了更精确的匹配

li7yue

liuzhengyuan 发表于 2020-6-21 18:21
你是要爬取图片地址吗？

其实这个 bs4 不好爬的

收到，感谢，看来也要灵活应用正则表达式啊

li7yue

自己举例补充一下，也是作为记录
例子：
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
tag = soup.b
tag.name -> b 这个是的名字
tag.attrs -> {'class':['boldest'] 这个是属性，一个tag可能有很多属性，以字典形式储存

tag.string -> Extremely bold 这是一个navigable string，如果想在bs外面使用，需要用str()进行转化完使用