[已解决]关于55讲爬取百度百科《网络爬虫》页面的问题

象的失踪

这是小甲鱼的代码和结果
import urllib.request
import re
from bs4 import BeautifulSoup

def main():
    url = "http://baike.baidu.com/view/284853.htm"
    response = urllib.request.urlopen(url)
    html = response.read()
    soup = BeautifulSoup(html, "html.parser") # 使用 Python 默认的解析器
   
    for each in soup.find_all(href=re.compile("view")):
        print(each.text, "->", ''.join(["http://baike.baidu.com", each["href"]]))
      
if __name__ == "__main__":
    main()


然而我的问题是：
1.我按照小甲鱼给的链接进入了百度百科《网络爬虫》页，但是为什么此时的链接、不是小甲鱼给的那个了呢？


2.当我直接使用小甲鱼的代码时，得到的结果是这个

既然按照代码中URL的那个链接打开的是《网络爬虫》页，为什么抓取的结果相差那么大呢？

求求大神帮忙解答一下疑惑，谢谢！

最佳答案

月排行榜 / 总排行榜

zltzlt

2019-8-25 14:59:08

把 url = "http://baike.baidu.com/view/284853.htm" 换成 url = "https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB" 试试

跳转到最佳答案楼层

zltzlt

1. 链接进行了跳转，转到另外一个链接去了。
2. 《网络爬虫》页面不是以前的了，可能有过更新。

象的失踪

zltzlt 发表于 2019-8-25 14:50
1. 链接进行了跳转，转到另外一个链接去了。
2. 《网络爬虫》页面不是以前的了，可能有过更新。

那我可以直接把跳转后的链接替换原来小甲鱼程序里面的那个链接吗？
把url = "http://baike.baidu.com/view/284853.htm"换成
url='https://baike.baidu.com/item/网络爬虫

但是这样运行会出错欸


请问是为什么呢？

zltzlt

把 url = "http://baike.baidu.com/view/284853.htm" 换成 url = "https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB" 试试

松_HWI3H

开发者工具里查看真实链接

象的失踪

zltzlt 发表于 2019-8-25 14:59
把 url = "http://baike.baidu.com/view/284853.htm" 换成 url = "https://baike.baidu.com/item/%E7%BD%91 ...

成功了！ 我能问一下为什么我的这个链接不行，还有就是你的这个链接是怎样和获得的啊？

zltzlt

象的失踪 发表于 2019-8-25 15:06
成功了！ 我能问一下为什么我的这个链接不行，还有就是你的这个链接是怎样和获得的啊？

直接从浏览器上复制的，中文编了码而已。可以使用下面的代码进行中文编码：

import urllib.parse
url = urllib.parse.quote("https://baike.baidu.com/item/网络爬虫").replace("%3A", ":")

象的失踪

zltzlt 发表于 2019-8-25 15:11
直接从浏览器上复制的，中文编了码而已。可以使用下面的代码进行中文编码：

哇 好的 谢谢大神！

象的失踪

松_HWI3H 发表于 2019-8-25 15:06
开发者工具里查看真实链接

请问一下怎么查看啊 那么多，我不知道哪个是欸？...

松_HWI3H

network选项卡里面

zltzlt

象的失踪 发表于 2019-8-25 15:16
哇 好的 谢谢大神！

记得设置为最佳答案哦~

象的失踪

松_HWI3H 发表于 2019-8-25 15:27
network选项卡里面

好的，谢谢！

NJer

为什么我用了新的url = 'https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB'，还是会出现楼主的问题？