[已解决]Beautifulsoup抓取网页抓到none可能是哪些原因？

MUPING

用Beautifulsoup抓取网页抓到none，试了把<br>标签替换掉了，但是报错中说替换的代码中HTML name不准确，不知道怎么修正，求教代码：

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. response = requests.get('https://tieba.baidu.com/p/959866703?pn=1')
   
4. new_html=(html.replace('<br>','')).replace('<br/>','')
   
5. soup = BeautifulSoup(response.text,'new_html.parser')
   
6. content = soup.find('div',{'id:j_p_postlist'})
   
7. print(content)
   

复制代码

1. ============== RESTART: C:/Users/user/Desktop/数据新闻/第三次python作业.py ==============
   
2. Traceback (most recent call last):
   
3.   File "C:/Users/user/Desktop/数据新闻/第三次python作业.py", line 4, in <module>
   
4.     new_html=(html.replace('<br>','')).replace('<br/>','')
   
5. NameError: name 'html' is not defined

复制代码

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-11-26 10:15:25

1）去掉：new_html=(html.replace('<br>','')).replace('<br/>','')
2）修改解析器：soup = BeautifulSoup(response.text,'html.parser') # 第二个参数是soup支持的4个固定的解析器的名称，不是用户能自定义的变量，其他还有：lxml，xml，html5lib。
3）find里属性变成字典，不是字符串：content = soup.find('div', {'id': 'j_p_postlist'})

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. headers = {'user-agent': 'Mozilla'}
   
5. response = requests.get('https://tieba.baidu.com/p/959866703?pn=1', headers=headers)  # 养成改ua的好习惯
   
6. soup = BeautifulSoup(response.text, 'html.parser')
   
7. content = soup.find('div', attrs={'id': 'j_p_postlist'})    # 规范写法属性要加attrs=
   
8. print(content)

复制代码

跳转到最佳答案楼层

wp231957

html是一个变量，没赋值就使用，这肯定是不行的

suchocolate

1）去掉：new_html=(html.replace('<br>','')).replace('<br/>','')
2）修改解析器：soup = BeautifulSoup(response.text,'html.parser') # 第二个参数是soup支持的4个固定的解析器的名称，不是用户能自定义的变量，其他还有：lxml，xml，html5lib。
3）find里属性变成字典，不是字符串：content = soup.find('div', {'id': 'j_p_postlist'})

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. headers = {'user-agent': 'Mozilla'}
   
5. response = requests.get('https://tieba.baidu.com/p/959866703?pn=1', headers=headers)  # 养成改ua的好习惯
   
6. soup = BeautifulSoup(response.text, 'html.parser')
   
7. content = soup.find('div', attrs={'id': 'j_p_postlist'})    # 规范写法属性要加attrs=
   
8. print(content)

复制代码

MUPING

suchocolate 发表于 2020-11-26 10:15
1）去掉：new_html=(html.replace('','')).replace('','')
2）修改解析器：soup = BeautifulSoup(response ...

如果抓取的结果是none，一般可能会是哪些原因呢？