[已解决]求大佬救救我趴

1452796154

import requests
import bs4
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'}
res = requests.get('https://tieba.baidu.com/f?ie=utf-8&kw=%E5%B7%B4%E5%A1%9E%E7%BD%97%E9%82%A3&fr=search', headers = headers)
soup = bs4.BeautifulSoup(res.text, 'html.parser')
targets = soup.find_all("div", class_="threadlist_title threadlist_title j_th_tit")
for each in targets:
    with open("baidu.txt", "w", encoding="utf-8") as file:
        file.write(each.i.a.text)
想爬百度贴吧的标题，为什么没有这个文件呢

最佳答案

月排行榜 / 总排行榜

YunGuo

2020-12-20 20:17:31

百度中源代码是被注释的，你这样直接肯定是获取不到，需要先把注释符号替换掉。

html = res.text.replace('<!--', '').replace('-->', '')

另外你确定这个class  threadlist_title threadlist_title j_th_tit是存在的？我看了下class应该是这个

targets = soup.find_all("div", class_="threadlist_title pull_left j_th_tit")

最后each.i.a.text，这个错了，置顶帖中的i标签和a标签是兄弟关系，不是父子关系。如果你想获取页面所有帖子的标题，应该这样写

each.a.text

修改后

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                  '(KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
}
url = 'https://tieba.baidu.com/f?ie=utf-8&kw=%E5%B7%B4%E5%A1%9E%E7%BD%97%E9%82%A3&fr=search'
res = requests.get(url, headers=headers)
html = res.text.replace('<!--', '').replace('-->', '')
soup = BeautifulSoup(html, 'html.parser')
targets = soup.find_all('div', class_="threadlist_title pull_left j_th_tit")
with open('baidu.text', 'w', encoding='utf-8') as f:
    for each in targets:
        f.write(each.a.text)
        f.write('\n')

跳转到最佳答案楼层

记忆的欠片

我有个问题：没有的是哪个文件？本地的baidu.txt。还是贴吧的网页？

_Konglong

爬标题得爬 <title></title>   我觉得你得先获取一个URL字典 再照着这字典一次次请求每个帖子的HTML文件 然后在解析HTML文件 我看过一下 某个帖子内的title元素是会带有 这个帖子属于哪个吧的信息的 栗子:某个帖子内的title元素<title>【图片】123456【某某某吧】_百度贴吧</title>

YunGuo

百度中源代码是被注释的，你这样直接肯定是获取不到，需要先把注释符号替换掉。

html = res.text.replace('<!--', '').replace('-->', '')

另外你确定这个class  threadlist_title threadlist_title j_th_tit是存在的？我看了下class应该是这个

targets = soup.find_all("div", class_="threadlist_title pull_left j_th_tit")

最后each.i.a.text，这个错了，置顶帖中的i标签和a标签是兄弟关系，不是父子关系。如果你想获取页面所有帖子的标题，应该这样写

each.a.text

修改后

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 '
                  '(KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
}
url = 'https://tieba.baidu.com/f?ie=utf-8&kw=%E5%B7%B4%E5%A1%9E%E7%BD%97%E9%82%A3&fr=search'
res = requests.get(url, headers=headers)
html = res.text.replace('<!--', '').replace('-->', '')
soup = BeautifulSoup(html, 'html.parser')
targets = soup.find_all('div', class_="threadlist_title pull_left j_th_tit")
with open('baidu.text', 'w', encoding='utf-8') as f:
    for each in targets:
        f.write(each.a.text)
        f.write('\n')