tgby 发表于 2019-11-13 22:17:54

小甲鱼爬虫豆瓣top250的问题

本帖最后由 tgby 于 2019-11-13 23:03 编辑

小甲鱼的视频连接：小甲鱼效率革命爬虫
下面是我跟着视频打的代码：

import requests
import bs4

res = requests.get('https://movie.douban.com/top250')
soup = bs4.BeautifulSoup(res.text,'html.paresr')
targets = soup.find_all('div',class_='hd')
for each in targets:
    print(each.a.span.text)



但是运行的时候还是报错了，错误是：
bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: html.paresr. Do you need to install a parser library?

百度翻译出来说是啥啥解析库找不到，但是我把这个错误去百度了以后.发现有人说是因为lxml新老版本的写法不一样，于是我把代码中的 ‘html.paresr’ 换成了‘lxml’，然后就成功了.......{:9_220:}

按照网上的说法：就是库不支持‘html.paresr’的写法，还和什么版本有关系，我是小白所以具体说的啥我不清楚，我把html.paresr 换成lxml 就可以出东西了。
由于那个人也没有说清楚原因，所以我只是暂时的解决了问题，不知道为啥，希望有老哥帮忙。{:9_241:}

hjp808 发表于 2019-11-20 13:00:00

是有的模块你没有安装吧? 看看导入模块的时候是否有报错，有报错就安装哪个某块
pip install 模块名

tgby 发表于 2020-1-30 14:06:44

hjp808 发表于 2019-11-20 13:00
是有的模块你没有安装吧? 看看导入模块的时候是否有报错，有报错就安装哪个某块
pip install 模块名

谢谢，之前解决了，换了写法

fishxin 发表于 2020-2-4 19:29:33

本帖最后由 fishxin 于 2020-2-4 19:31 编辑

Python标准库        BeautifulSoup(markup, "html.parser")       
Python的内置标准库 执行速度适中 文档容错能力强
Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差

lxml HTML 解析器        BeautifulSoup(markup, "lxml")       
速度快
文档容错能力强
需要安装C语言库

XiaoPaiShen 发表于 2020-2-5 13:37:59

本帖最后由 XiaoPaiShen 于 2020-2-5 13:39 编辑

加个头，才能爬
第六行是 html.parser
import requests
import bs4

head = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.42 Safari/537.36'}
res = requests.get('https://movie.douban.com/top250', headers=head)
soup = bs4.BeautifulSoup(res.text,'html.parser')
targets=soup.find_all('div',class_='hd')
for each in targets:
    print(each.a.span.text)
页: [1]
查看完整版本: 小甲鱼爬虫豆瓣top250的问题