[已解决]爬虫bs4和findall格式不通用

17623095765

1. import requests
   
2. import bs4
   
3. import re
   
4. header={'ser-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
   
5. wanzhi='http://top.baidu.com/buzz.php?p=book'
   
6. a=requests.get(wanzhi,headers=header)
   
7. b=bs4.BeautifulSoup(a.text,'html.parser')
   
8. 
   
9. 
   
10. bb=re.findall(r'<a class=".*?">(..)</a>',b)
    
11. print(bb)
    
12. 
    

复制代码

return _compile(pattern, flags).findall(string)
TypeError: expected string or bytes-like object

1. type(b)
   
2. <class 'bs4.BeautifulSoup'>
   

复制代码

如果直接用str（b） 会把数据变少

1. >>> b
   
2. Sqteezed text (1516 lines).
   
3. >>> str(b)
   
4. Sqteezed text (756 lines).

复制代码

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-3-25 18:16:14

正则，bs，xpath算是并列关系，用了正则就不用bs了，bs是已经对html文本做了结构话处理，就不能直接在用正则了。

1. import requests
   
2. import re
   
3. 
   
4. header = {
   
5.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64)'}
   
6. url = 'http://top.baidu.com/buzz.php?p=book'
   
7. r = requests.get(url, headers=header)
   
8. result = re.findall(r'<a class=".*?">(.*?)</a>', r.text)
   
9. print(result)
   

复制代码

跳转到最佳答案楼层

suchocolate

正则，bs，xpath算是并列关系，用了正则就不用bs了，bs是已经对html文本做了结构话处理，就不能直接在用正则了。

1. import requests
   
2. import re
   
3. 
   
4. header = {
   
5.     'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64)'}
   
6. url = 'http://top.baidu.com/buzz.php?p=book'
   
7. r = requests.get(url, headers=header)
   
8. result = re.findall(r'<a class=".*?">(.*?)</a>', r.text)
   
9. print(result)
   

复制代码

17623095765

suchocolate 发表于 2021-3-25 18:16
正则，bs，xpath算是并列关系，用了正则就不用bs了，bs是已经对html文本做了结构话处理，就不能直接在用正 ...

再问一下哈，那么为何要用到BS4呢？或者说什么时候要BS4什么时候用re呢

suchocolate

17623095765 发表于 2021-3-28 16:38
再问一下哈，那么为何要用到BS4呢？或者说什么时候要BS4什么时候用re呢

re是比较暴力的提取，适合获取简单少量的数据场景，也适合在bs和xpath提取不到信息的jsavascript中。
bs或xpath相对来说比较智能，对html已做了结构化处理，提取复杂的信息更有效率。

17623095765

suchocolate 发表于 2021-3-28 16:54
re是比较暴力的提取，适合获取简单少量的数据场景，也适合在bs和xpath提取不到信息的jsavascript中。
bs ...

好哒  谢谢啦