[已解决]55讲作业题

小伤口

0. 编写一个爬虫，爬百度百科“网络爬虫”的词条（链接 -> http://baike.baidu.com/view/284853.htm），将所有包含“view”的链接按下边格式打印出来。

1. import urllib.request
   
2. import re
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def main():
   
6.     url = "http://baike.baidu.com/view/284853.htm"
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read()
   
9.     soup = BeautifulSoup(html, "html.parser") # 使用 Python 默认的解析器
   
10.    
    
11.     for each in soup.find_all(href=re.compile("view")):
    
12.         print(each.text, "->", ''.join(["http://baike.baidu.com", each["href"]]))
    
13.         # 上边用 join() 不用 + 直接拼接，是因为 join() 被证明执行效率要高很多
    
14. 
    
15. if __name__ == "__main__":
    
16.     main()
    
17. 
    

复制代码

1. for each in soup.find_all(href=re.compile("view")):
   
2.         print(each.text, "->", ''.join(["http://baike.baidu.com", each["href"]]))

复制代码

我想请教一下关于find_all里面href的作用是什么呀
谢谢大佬们了

最佳答案

月排行榜 / 总排行榜

笨鸟学飞

2020-12-15 21:49:31

<a class="lock-lemma" nslog-type="10003105" target="_blank" href="/view/10812319.htm" title="锁定"><em class="cmn-icon wiki-lemma-icons wiki-lemma-icons_lock-lemma"></em>锁定</a>

首先，看网页源代码有这么一行
然后soup.find_all()函数：返回所有匹配到的结果
参数是href=re.compile()
re.compile()函数：用于编译正则表达式，生成一个 Pattern 对象
所以soup.find_all(href=re.compile("view"))表示查找每一个href="/view/10812319.htm"的结果，用来获得正确的链接地址
看不懂的话可以加print()函数

1. import urllib.request
   
2. import re
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def main():
   
6.     url = "http://baike.baidu.com/view/284853.htm"
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read()
   
9.     soup = BeautifulSoup(html, "html.parser") # 使用 Python 默认的解析器
   
10.    
    
11.     for each in soup.find_all(href=re.compile("view")):
    
12.         print(each)
    
13.         print(each.text, "->", ''.join(["http://baike.baidu.com", each["href"]]))
    
14.         # 上边用 join() 不用 + 直接拼接，是因为 join() 被证明执行效率要高很多
    
15. 
    
16. if __name__ == "__main__":
    
17.     main()
    
18. 
    

复制代码

跳转到最佳答案楼层

笨鸟学飞

<a class="lock-lemma" nslog-type="10003105" target="_blank" href="/view/10812319.htm" title="锁定"><em class="cmn-icon wiki-lemma-icons wiki-lemma-icons_lock-lemma"></em>锁定</a>

首先，看网页源代码有这么一行
然后soup.find_all()函数：返回所有匹配到的结果
参数是href=re.compile()
re.compile()函数：用于编译正则表达式，生成一个 Pattern 对象
所以soup.find_all(href=re.compile("view"))表示查找每一个href="/view/10812319.htm"的结果，用来获得正确的链接地址
看不懂的话可以加print()函数

1. import urllib.request
   
2. import re
   
3. from bs4 import BeautifulSoup
   
4. 
   
5. def main():
   
6.     url = "http://baike.baidu.com/view/284853.htm"
   
7.     response = urllib.request.urlopen(url)
   
8.     html = response.read()
   
9.     soup = BeautifulSoup(html, "html.parser") # 使用 Python 默认的解析器
   
10.    
    
11.     for each in soup.find_all(href=re.compile("view")):
    
12.         print(each)
    
13.         print(each.text, "->", ''.join(["http://baike.baidu.com", each["href"]]))
    
14.         # 上边用 join() 不用 + 直接拼接，是因为 join() 被证明执行效率要高很多
    
15. 
    
16. if __name__ == "__main__":
    
17.     main()
    
18. 
    

复制代码

小伤口

笨鸟学飞 发表于 2020-12-15 21:49
锁定

首先，看网页源代码有这么一行

大佬 牛

bhcqzf

萌新表示不会

自在人生

大牛人！