[已解决]爬虫bs4和findall格式不通用

17623095765

import requests
import bs4
import re
header={'ser-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
wanzhi='http://top.baidu.com/buzz.php?p=book'
a=requests.get(wanzhi,headers=header)
b=bs4.BeautifulSoup(a.text,'html.parser')


bb=re.findall(r'<a class=".*?">(..)</a>',b)
print(bb)

return _compile(pattern, flags).findall(string)
TypeError: expected string or bytes-like object

type(b)
<class 'bs4.BeautifulSoup'>

如果直接用str（b） 会把数据变少

>>> b
Sqteezed text (1516 lines).
>>> str(b)
Sqteezed text (756 lines).

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-3-25 18:16:14

正则，bs，xpath算是并列关系，用了正则就不用bs了，bs是已经对html文本做了结构话处理，就不能直接在用正则了。

import requests
import re

header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64)'}
url = 'http://top.baidu.com/buzz.php?p=book'
r = requests.get(url, headers=header)
result = re.findall(r'<a class=".*?">(.*?)</a>', r.text)
print(result)

跳转到最佳答案楼层

suchocolate

正则，bs，xpath算是并列关系，用了正则就不用bs了，bs是已经对html文本做了结构话处理，就不能直接在用正则了。

import requests
import re

header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64)'}
url = 'http://top.baidu.com/buzz.php?p=book'
r = requests.get(url, headers=header)
result = re.findall(r'<a class=".*?">(.*?)</a>', r.text)
print(result)

17623095765

suchocolate 发表于 2021-3-25 18:16
正则，bs，xpath算是并列关系，用了正则就不用bs了，bs是已经对html文本做了结构话处理，就不能直接在用正 ...

再问一下哈，那么为何要用到BS4呢？或者说什么时候要BS4什么时候用re呢

suchocolate

17623095765 发表于 2021-3-28 16:38
再问一下哈，那么为何要用到BS4呢？或者说什么时候要BS4什么时候用re呢

re是比较暴力的提取，适合获取简单少量的数据场景，也适合在bs和xpath提取不到信息的jsavascript中。
bs或xpath相对来说比较智能，对html已做了结构化处理，提取复杂的信息更有效率。

17623095765

suchocolate 发表于 2021-3-28 16:54
re是比较暴力的提取，适合获取简单少量的数据场景，也适合在bs和xpath提取不到信息的jsavascript中。
bs ...

好哒  谢谢啦