鱼C论坛

 找回密码
 立即注册
查看: 3018|回复: 4

小甲鱼爬虫豆瓣top250的问题

[复制链接]
发表于 2019-11-13 22:17:54 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 tgby 于 2019-11-13 23:03 编辑

小甲鱼的视频连接:小甲鱼效率革命爬虫
下面是我跟着视频打的代码:
import requests
import bs4

res = requests.get('https://movie.douban.com/top250')
soup = bs4.BeautifulSoup(res.text,'html.paresr')
targets = soup.find_all('div',class_='hd')
for each in targets:
    print(each.a.span.text)


但是运行的时候还是报错了,错误是:
bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: html.paresr. Do you need to install a parser library?

百度翻译出来说是啥啥解析库找不到,但是我把这个错误去百度了以后.发现有人说是因为lxml新老版本的写法不一样,于是我把代码中的 ‘html.paresr’ 换成了‘lxml’,然后就成功了.......

按照网上的说法:就是库不支持‘html.paresr’的写法,还和什么版本有关系,我是小白所以具体说的啥我不清楚,我把html.paresr 换成lxml 就可以出东西了。
由于那个人也没有说清楚原因,所以我只是暂时的解决了问题,不知道为啥,希望有老哥帮忙
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2019-11-20 13:00:00 | 显示全部楼层
是有的模块你没有安装吧? 看看导入模块的时候是否有报错,有报错就安装哪个某块
pip install 模块名
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-1-30 14:06:44 | 显示全部楼层
hjp808 发表于 2019-11-20 13:00
是有的模块你没有安装吧? 看看导入模块的时候是否有报错,有报错就安装哪个某块
pip install 模块名

谢谢,之前解决了,换了写法
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-2-4 19:29:33 | 显示全部楼层
本帖最后由 fishxin 于 2020-2-4 19:31 编辑

Python标准库        BeautifulSoup(markup, "html.parser")       
Python的内置标准库 执行速度适中 文档容错能力强
Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差

lxml HTML 解析器        BeautifulSoup(markup, "lxml")       
速度快
文档容错能力强
需要安装C语言库
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-2-5 13:37:59 | 显示全部楼层
本帖最后由 XiaoPaiShen 于 2020-2-5 13:39 编辑

加个头,才能爬
第六行是 html.parser
import requests
import bs4

head = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.42 Safari/537.36'}
res = requests.get('https://movie.douban.com/top250', headers=head)
soup = bs4.BeautifulSoup(res.text,'html.parser')
targets=soup.find_all('div',class_='hd')
for each in targets:
    print(each.a.span.text)
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-12-23 05:23

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表