17623095765 发表于 2021-3-25 15:30:11

爬虫bs4和findall格式不通用

本帖最后由 17623095765 于 2021-3-25 15:41 编辑

import requests
import bs4
import re
header={'ser-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
wanzhi='http://top.baidu.com/buzz.php?p=book'
a=requests.get(wanzhi,headers=header)
b=bs4.BeautifulSoup(a.text,'html.parser')


bb=re.findall(r'<a class=".*?">(..)</a>',b)
print(bb)


return _compile(pattern, flags).findall(string)
TypeError: expected string or bytes-like object

type(b)
<class 'bs4.BeautifulSoup'>


如果直接用str（b） 会把数据变少
>>> b
Sqteezed text (1516 lines).
>>> str(b)
Sqteezed text (756 lines).

suchocolate 发表于 2021-3-25 18:16:14

本帖最后由 suchocolate 于 2021-3-25 18:20 编辑

正则，bs，xpath算是并列关系，用了正则就不用bs了，bs是已经对html文本做了结构话处理，就不能直接在用正则了。import requests
import re

header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64)'}
url = 'http://top.baidu.com/buzz.php?p=book'
r = requests.get(url, headers=header)
result = re.findall(r'<a class=".*?">(.*?)</a>', r.text)
print(result)

17623095765 发表于 2021-3-28 16:38:05

suchocolate 发表于 2021-3-25 18:16
正则，bs，xpath算是并列关系，用了正则就不用bs了，bs是已经对html文本做了结构话处理，就不能直接在用正 ...

再问一下哈，那么为何要用到BS4呢？或者说什么时候要BS4什么时候用re呢

suchocolate 发表于 2021-3-28 16:54:51

17623095765 发表于 2021-3-28 16:38
再问一下哈，那么为何要用到BS4呢？或者说什么时候要BS4什么时候用re呢

re是比较暴力的提取，适合获取简单少量的数据场景，也适合在bs和xpath提取不到信息的jsavascript中。
bs或xpath相对来说比较智能，对html已做了结构化处理，提取复杂的信息更有效率。


17623095765 发表于 2021-3-28 21:52:19

suchocolate 发表于 2021-3-28 16:54
re是比较暴力的提取，适合获取简单少量的数据场景，也适合在bs和xpath提取不到信息的jsavascript中。
bs ...

好哒谢谢啦
页: [1]
查看完整版本: 爬虫bs4和findall格式不通用