[已解决]055课 爬百度百科“网络爬虫”的词条 问题

Cminglyer

请教各位大神：

0. 编写一个爬虫，爬百度百科“网络爬虫”的词条（链接 -> http://baike.baidu.com/view/284853.htm），将所有包含“view”的链接按下边格式打印出来

soup.find_all(href=re.compile("view"))

答案里的正则表达式为何这样写就可以了？ 不是应该写成  href = re.compile("（包含各种字母数字符号）view (包含各种字母数字符号)")  这种形式吗？（此处我想表达的是  view 前后应该有很多字母数字符号 组成完整的链接地址）

为何直接 href=re.compile("view") 就能表示 含“view” 这个词 的链接？？？

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-5-20 01:49:33

小甲鱼答案里的超链接都带有 'view'

                               
登录/注册后可看大图

但百度这几年词条里的超链接格式已经有些许的改变了，直接查找view已经没用了，只会出现几个和你想要的无关的链接

但是通过观察下图百度词条的审核元素发现他们都带有 'item' 这个字符，所以我们查找的应该是 'item' 而不是 'view'



你可用把soup.find_all(href=re.compile("view"))改成 soup.find_all(href=re.compile("item"))[7:-1]  试着打印出来

ps: 这里为什么使用切片了 因为我通过调试发现这样匹配到的数据前七条都是不属于词条内超链接的链接，最后一条是编辑者的链接使用，所有这里过滤掉

回到你的问题：

href=re.compile("view") 的作用应该是编译一个正则表达式对象，然后被Beautiful Soup用于被find_all匹配所有href 中含有 view 的数据并返回成一个列表形式

---

如果对你有帮助,那就设置个最佳吧

跳转到最佳答案楼层

ouyunfu

https://www.crummy.com/software/BeautifulSoup/bs4/doc/#calling-a-tag-is-like-calling-find-all

Twilight6

小甲鱼答案里的超链接都带有 'view'

                               
登录/注册后可看大图

但百度这几年词条里的超链接格式已经有些许的改变了，直接查找view已经没用了，只会出现几个和你想要的无关的链接

但是通过观察下图百度词条的审核元素发现他们都带有 'item' 这个字符，所以我们查找的应该是 'item' 而不是 'view'



你可用把soup.find_all(href=re.compile("view"))改成 soup.find_all(href=re.compile("item"))[7:-1]  试着打印出来

ps: 这里为什么使用切片了 因为我通过调试发现这样匹配到的数据前七条都是不属于词条内超链接的链接，最后一条是编辑者的链接使用，所有这里过滤掉

回到你的问题：

href=re.compile("view") 的作用应该是编译一个正则表达式对象，然后被Beautiful Soup用于被find_all匹配所有href 中含有 view 的数据并返回成一个列表形式

---

如果对你有帮助,那就设置个最佳吧

v.ki

你居然用爬虫爬取爬虫爬取的东西

19971023

我想问一下，each.text是什么意思，为什么会返回中文