鱼C论坛

 找回密码
 立即注册
查看: 969|回复: 12

[已解决]关于55讲爬取百度百科《网络爬虫》页面的问题

[复制链接]
发表于 2019-8-25 14:47:48 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
这是小甲鱼的代码和结果
import urllib.request
import re
from bs4 import BeautifulSoup

def main():
    url = "http://baike.baidu.com/view/284853.htm"
    response = urllib.request.urlopen(url)
    html = response.read()
    soup = BeautifulSoup(html, "html.parser") # 使用 Python 默认的解析器
   
    for each in soup.find_all(href=re.compile("view")):
        print(each.text, "->", ''.join(["http://baike.baidu.com", each["href"]]))
      
if __name__ == "__main__":
    main()
网络爬虫 全.PNG

然而我的问题是:
1.我按照小甲鱼给的链接进入了百度百科《网络爬虫》页,但是为什么此时的链接、不是小甲鱼给的那个了呢?

网络爬虫 我.PNG
2.当我直接使用小甲鱼的代码时,得到的结果是这个
我的结果.PNG
既然按照代码中URL的那个链接打开的是《网络爬虫》页,为什么抓取的结果相差那么大呢?

求求大神帮忙解答一下疑惑,谢谢!
最佳答案
2019-8-25 14:59:08
把 url = "http://baike.baidu.com/view/284853.htm" 换成 url = "https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB" 试试
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-8-25 14:50:25 | 显示全部楼层
1. 链接进行了跳转,转到另外一个链接去了。
2. 《网络爬虫》页面不是以前的了,可能有过更新。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-8-25 14:57:51 | 显示全部楼层
zltzlt 发表于 2019-8-25 14:50
1. 链接进行了跳转,转到另外一个链接去了。
2. 《网络爬虫》页面不是以前的了,可能有过更新。

那我可以直接把跳转后的链接替换原来小甲鱼程序里面的那个链接吗?
把url = "http://baike.baidu.com/view/284853.htm"换成
url='https://baike.baidu.com/item/网络爬虫

但是这样运行会出错欸
错误.PNG

请问是为什么呢?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-8-25 14:59:08 | 显示全部楼层    本楼为最佳答案   
把 url = "http://baike.baidu.com/view/284853.htm" 换成 url = "https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB" 试试
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-8-25 15:06:11 | 显示全部楼层
开发者工具里查看真实链接
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-8-25 15:06:56 | 显示全部楼层
zltzlt 发表于 2019-8-25 14:59
把 url = "http://baike.baidu.com/view/284853.htm" 换成 url = "https://baike.baidu.com/item/%E7%BD%91 ...

成功了! 我能问一下为什么我的这个链接不行,还有就是你的这个链接是怎样和获得的啊?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-8-25 15:11:20 | 显示全部楼层
本帖最后由 zltzlt 于 2019-8-25 15:12 编辑
象的失踪 发表于 2019-8-25 15:06
成功了! 我能问一下为什么我的这个链接不行,还有就是你的这个链接是怎样和获得的啊?


直接从浏览器上复制的,中文编了码而已。可以使用下面的代码进行中文编码:

  1. import urllib.parse
  2. url = urllib.parse.quote("https://baike.baidu.com/item/网络爬虫").replace("%3A", ":")
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-8-25 15:16:32 | 显示全部楼层
zltzlt 发表于 2019-8-25 15:11
直接从浏览器上复制的,中文编了码而已。可以使用下面的代码进行中文编码:

哇 好的 谢谢大神!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-8-25 15:22:43 | 显示全部楼层
松_HWI3H 发表于 2019-8-25 15:06
开发者工具里查看真实链接

请问一下怎么查看啊 那么多,我不知道哪个是欸?...
url.PNG
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-8-25 15:27:58 | 显示全部楼层
network选项卡里面
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2019-8-25 15:30:02 | 显示全部楼层
象的失踪 发表于 2019-8-25 15:16
哇 好的 谢谢大神!

记得设置为最佳答案哦~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-8-25 19:47:13 | 显示全部楼层

好的,谢谢!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-4-9 00:00:44 | 显示全部楼层
为什么我用了新的url = 'https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB',还是会出现楼主的问题?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 15:18

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表