[已解决]求大佬救救我趴

1452796154

import requests
import bs4
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
res = requests.get('https://tieba.baidu.com/f?ie=utf-8&kw=%E5%B7%B4%E5%A1%9E%E7%BD%97%E9%82%A3&fr=search', headers = headers)
soup = bs4.BeautifulSoup(res.text, 'html.parser')
targets = soup.find_all("div", class_="threadlist_title threadlist_title j_th_tit")
for each in targets:
    with open("baidu.txt", "w", encoding="utf-8") as file:
        file.write(each.i.a.text)
想爬百度贴吧的标题，为什么没有这个文件呢

最佳答案

月排行榜 / 总排行榜

YunGuo

2020-12-20 20:17:31

百度中源代码是被注释的，你这样直接肯定是获取不到，需要先把注释符号替换掉。

1. html = res.text.replace('<!--', '').replace('-->', '')

复制代码

另外你确定这个class  threadlist_title threadlist_title j_th_tit是存在的？我看了下class应该是这个

1. targets = soup.find_all("div", class_="threadlist_title pull_left j_th_tit")

复制代码

最后each.i.a.text，这个错了，置顶帖中的i标签和a标签是兄弟关系，不是父子关系。如果你想获取页面所有帖子的标题，应该这样写

1. each.a.text

复制代码

修改后

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. headers = {
   
5.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
   
6.                   '(KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
   
7. }
   
8. url = 'https://tieba.baidu.com/f?ie=utf-8&kw=%E5%B7%B4%E5%A1%9E%E7%BD%97%E9%82%A3&fr=search'
   
9. res = requests.get(url, headers=headers)
   
10. html = res.text.replace('<!--', '').replace('-->', '')
    
11. soup = BeautifulSoup(html, 'html.parser')
    
12. targets = soup.find_all('div', class_="threadlist_title pull_left j_th_tit")
    
13. with open('baidu.text', 'w', encoding='utf-8') as f:
    
14.     for each in targets:
    
15.         f.write(each.a.text)
    
16.         f.write('\n')
    
17. 
    

复制代码

跳转到最佳答案楼层

记忆的欠片

我有个问题：没有的是哪个文件？本地的baidu.txt。还是贴吧的网页？

_Konglong

爬标题得爬 <title></title>   我觉得你得先获取一个URL字典 再照着这字典一次次请求每个帖子的HTML文件 然后在解析HTML文件 我看过一下 某个帖子内的title元素是会带有 这个帖子属于哪个吧的信息的 栗子:某个帖子内的title元素<title>【图片】123456【某某某吧】_百度贴吧</title>

YunGuo

百度中源代码是被注释的，你这样直接肯定是获取不到，需要先把注释符号替换掉。

1. html = res.text.replace('<!--', '').replace('-->', '')

复制代码

另外你确定这个class  threadlist_title threadlist_title j_th_tit是存在的？我看了下class应该是这个

1. targets = soup.find_all("div", class_="threadlist_title pull_left j_th_tit")

复制代码

最后each.i.a.text，这个错了，置顶帖中的i标签和a标签是兄弟关系，不是父子关系。如果你想获取页面所有帖子的标题，应该这样写

1. each.a.text

复制代码

修改后

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. 
   
4. headers = {
   
5.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
   
6.                   '(KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
   
7. }
   
8. url = 'https://tieba.baidu.com/f?ie=utf-8&kw=%E5%B7%B4%E5%A1%9E%E7%BD%97%E9%82%A3&fr=search'
   
9. res = requests.get(url, headers=headers)
   
10. html = res.text.replace('<!--', '').replace('-->', '')
    
11. soup = BeautifulSoup(html, 'html.parser')
    
12. targets = soup.find_all('div', class_="threadlist_title pull_left j_th_tit")
    
13. with open('baidu.text', 'w', encoding='utf-8') as f:
    
14.     for each in targets:
    
15.         f.write(each.a.text)
    
16.         f.write('\n')
    
17. 
    

复制代码