[已解决]新手求助！爬到的文章标题是乱码怎么办？

还要起名字呐

我想扒学校网站新闻标题，发现结果是乱码，怎么办？

from bs4 import BeautifulSoup
import requests,chardet

url="  "      
req = requests.get(url).text  
# req.encoding = chardet.detect(req.content)['encoding']    #提取网页编码
soup = BeautifulSoup(req,"html.parser")
newnames = soup.findAll('a')  
newtimes = soup.findAll('span',attrs={"class": "time"})  
a = 1  
for newname in newnames:      
    for newtime in newtimes:     
        if newname.string == None:  
            continue  
        else:
            print(f"学校新闻版块第{a}条标题名称: {newname.string}   发布时间 {newtime.string}")  
            a+=1

打印结果如下：（标题为乱码）
学校新闻版块第1条标题名称: å­¦æ ¡ä¸»ç«™   发布时间 2023-08-17
学校新闻版块第2条标题名称: å­¦æ ¡ä¸»ç«™   发布时间 2023-08-17
学校新闻版块第3条标题名称: å­¦æ ¡ä¸»ç«™   发布时间 2023-08-16
学校新闻版块第4条标题名称: å­¦æ ¡ä¸»ç«™   发布时间 2023-08-15
学校新闻版块第5条标题名称: å­¦æ ¡ä¸»ç«™   发布时间 2023-08-13
学校新闻版块第6条标题名称: å­¦æ ¡ä¸»ç«™   发布时间 2023-08-13
学校新闻版块第7条标题名称: å­¦æ ¡ä¸»ç«™   发布时间 2023-08-12
学校新闻版块第8条标题名称: å­¦æ ¡ä¸»ç«™   发布时间 2023-08-11
学校新闻版块第9条标题名称: å­¦æ ¡ä¸»ç«™   发布时间 2023-08-11
学校新闻版块第10条标题名称: å­¦æ ¡ä¸»ç«™   发布时间 2023-08-10

最佳答案

月排行榜 / 总排行榜

陶远航

2023-8-18 18:15:38

还要起名字呐 发表于 2023-8-18 16:45
学校新闻版块第1条标题名称: 学校主站   发布时间 2023-08-17
学校新闻版块第2条标题名称: 学校主站    ...

ok，这次加了循环，可以爬以前所有的新闻了
可以给一个最佳答案吗

1. from bs4 import BeautifulSoup
   
2. import requests,chardet
   
3. 
   
4. 
   
5. def get(url):
   
6.     req = requests.get(url)
   
7.     req.encoding="utf-8"
   
8.     req=req.text
   
9.     # req.encoding = chardet.detect(req.content)['encoding']    #提取网页编码
   
10.     soup = BeautifulSoup(req,"html.parser")
    
11.     names = soup.findAll('div',class_="list")
    
12.     newnames=[a['title'] if 'title' in a.attrs else '' for a in soup.find_all('a')]
    
13.     newnames = [name for name in newnames if name!='']s's's's
    
14.     newtimes = soup.findAll('span',attrs={"class": "time"})
    
15.     a = 1
    
16.     for i in range(len(newnames)):
    
17.         if newnames[i] == None:
    
18.             continue  
    
19.         else:
    
20.             try:
    
21.                 print("学校新闻版块第",i,"条标题名称:\t",newnames[i],"     发布时间     ",newtimes[i].text)  
    
22.                 a+=1
    
23.             except:
    
24.                 pass
    
25. 
    
26. get("https://news.wtu.edu.cn/xxxw.htm")
    
27. for j in range(295):
    
28.     if 294-j!=0:
    
29.         j=294-j
    
30.     else:
    
31.         break
    
32.     get("https://news.wtu.edu.cn/xxxw/"+str(j)+".htm")

复制代码

跳转到最佳答案楼层

isdkz

你遇到的问题是爬取的文章标题出现乱码。这个问题通常是由于网页编码和解析方式不匹配导致的。解决这个问题的方法有两种：

1. 指定正确的网页编码：你可以使用 chardet 库来检测网页的编码，然后将编码应用到 requests 的  encoding  属性上。你可以取消注释  # req.encoding = chardet.detect(req.content)['encoding']  这一行代码，并将其放在  req = requests.get(url).text  之后。这样做可以尝试使用正确的编码来解析网页内容，从而避免乱码问题。

2. 解析乱码的网页内容：如果指定了正确的编码后仍然无法解决乱码问题，你可以尝试使用  html.parser  解析器之外的其他解析器，例如  lxml  或  html5lib 。你可以修改  BeautifulSoup  的第二个参数为  "lxml"  或  "html5lib" ，并重新运行代码。这些解析器可能能够更好地处理乱码问题。

希望以上解决方法能够帮助你解决乱码问题！如果还有其他问题，请随时提问。

学习编程中的Ben

你遇到的问题可能是由于网页编码不匹配导致的乱码。你可以尝试以下方法解决：

1. 使用chardet库检测网页的编码，并将其设置为正确的编码。你可以取消注释代码中的 req.encoding 这一行，并将其修改为：
  

1.    req.encoding = chardet.detect(req.content)['encoding']
2.    

复制代码

2. 如果步骤1不能解决问题，可以尝试使用不同的解析器来解析网页。你当前使用了BeautifulSoup的默认解析器"html.parser"，你可以尝试使用其他解析器，如"lxml"或"html5lib"。例如，将下面这行代码：
  

1.    soup = BeautifulSoup(req, "html.parser")
2.    

复制代码

   修改为：
  

1.    soup = BeautifulSoup(req, "lxml")
2.    

复制代码

这些方法可以帮助你解决文章标题乱码的问题。如果仍然无法解决，请提供更多关于问题的详细信息，以便我能够给出更具体的解决方案。

如果回答对你有帮助，请给我一个最佳答案！

陶远航

你遇到的问题是爬取到的文章标题显示为乱码。这个问题通常是由于编码不一致导致的。你可以尝试对爬取到的网页内容进行编码处理，确保使用正确的编码格式进行解码。

在你的代码中，可以使用 chardet 库来检测网页的编码。然后，使用正确的编码格式对网页内容进行解码。下面是修改后的代码：

1. from bs4 import BeautifulSoup
   
2. import requests
   
3. import chardet
   
4. 
   
5. url = "your_url"
   
6. req = requests.get(url).content
   
7. encoding = chardet.detect(req)['encoding']
   
8. text = req.decode(encoding)
   
9. soup = BeautifulSoup(text, "html.parser")
   
10. newnames = soup.findAll('a')
    
11. newtimes = soup.findAll('span', attrs={"class": "time"})
    
12. 
    
13. a = 1
    
14. for newname in newnames:
    
15.     for newtime in newtimes:
    
16.         if newname.string == None:
    
17.             continue
    
18.         else:
    
19.             print(f"学校新闻版块第{a}条标题名称: {newname.string} 发布时间 {newtime.string}")
    
20.         a += 1
    

复制代码

这样修改之后，应该能够正确显示文章标题了。请将 your_url 替换为你要爬取的学校网站新闻页面的链接。

希望这能帮助到你！如果还有其他问题，请随时提问。
如果问题已经解决，请设置最佳答案

15760997030

顶

还要起名字呐

不行，取消注释，修改soup语句之后，报错：
AttributeError: 'str' object has no attribute 'content'

陶远航

还要起名字呐 发表于 2023-8-18 16:21
不行，取消注释，修改soup语句之后，报错：
AttributeError: 'str' object has no attribute 'content'

你牛逼，爬学校网站。。。

我帮你看看代码哈，别急

陶远航

还要起名字呐 发表于 2023-8-18 16:21
不行，取消注释，修改soup语句之后，报错：
AttributeError: 'str' object has no attribute 'content'

你学校网站url不好公布吗

你试一下
response.encoding='utf-8'

还要起名字呐

陶远航 发表于 2023-8-18 16:24
你学校网站url不好公布吗

你试一下

fishc不让我上传网站链接。"https:/news.wtu.edu.cn/xxxw.htm"

陶远航

看看这个

1. from bs4 import BeautifulSoup
   
2. import requests,chardet
   
3. 
   
4. url="https:/news.wtu.edu.cn/xxxw.htm"      
   
5. req = requests.get(url)
   
6. req.encoding="utf-8"
   
7. req=req.text
   
8. # req.encoding = chardet.detect(req.content)['encoding']    #提取网页编码
   
9. soup = BeautifulSoup(req,"html.parser")
   
10. newnames = soup.findAll('a')  
    
11. newtimes = soup.findAll('span',attrs={"class": "time"})  
    
12. a = 1  
    
13. for newname in newnames:      
    
14.     for newtime in newtimes:     
    
15.         if newname.string == None:  
    
16.             continue  
    
17.         else:
    
18.             print(f"学校新闻版块第{a}条标题名称: {newname.string}   发布时间 {newtime.string}")  
    
19.             a+=1

复制代码

还要起名字呐

isdkz 发表于 2023-8-18 16:11
你遇到的问题是爬取的文章标题出现乱码。这个问题通常是由于网页编码和解析方式不匹配导致的。解决这个问题 ...

尝试过后，报错：AttributeError: 'str' object has no attribute 'content'

还要起名字呐

陶远航 发表于 2023-8-18 16:34
看看这个

学校新闻版块第1条标题名称: 学校主站   发布时间 2023-08-17
学校新闻版块第2条标题名称: 学校主站   发布时间 2023-08-17
学校新闻版块第3条标题名称: 学校主站   发布时间 2023-08-16
学校新闻版块第4条标题名称: 学校主站   发布时间 2023-08-15
学校新闻版块第28条标题名称: 收藏本站   发布时间 2023-08-16
学校新闻版块第29条标题名称: 收藏本站   发布时间 2023-08-15

倒是不乱码了，但我的标题呢。。
尊敬的VIP高级会员，你再帮我看看

陶远航

还要起名字呐 发表于 2023-8-18 16:45
学校新闻版块第1条标题名称: 学校主站   发布时间 2023-08-17
学校新闻版块第2条标题名称: 学校主站    ...

好的

陶远航

还要起名字呐 发表于 2023-8-18 16:45
学校新闻版块第1条标题名称: 学校主站   发布时间 2023-08-17
学校新闻版块第2条标题名称: 学校主站    ...

久等了，我再来一个循环获取所有标题

1. from bs4 import BeautifulSoup
   
2. import requests,chardet
   
3. 
   
4. url="https://news.wtu.edu.cn/xxxw.htm"      
   
5. req = requests.get(url)
   
6. req.encoding="utf-8"
   
7. req=req.text
   
8. # req.encoding = chardet.detect(req.content)['encoding']    #提取网页编码
   
9. soup = BeautifulSoup(req,"html.parser")
   
10. names = soup.findAll('div',class_="list")
    
11. newnames=[a['title'] if 'title' in a.attrs else '' for a in soup.find_all('a')]
    
12. newnames = [name for name in newnames if name!='']
    
13. print(newnames)
    
14. newtimes = soup.findAll('span',attrs={"class": "time"})
    
15. a = 1
    
16. for i in range(len(newnames)):
    
17.     if newnames[i] == None:
    
18.         continue  
    
19.     else:
    
20.         print("学校新闻版块第",i,"条标题名称:\t",newnames[i],"     发布时间     ",newtimes[i].text)  
    
21.         a+=1

复制代码

陶远航

还要起名字呐 发表于 2023-8-18 16:45
学校新闻版块第1条标题名称: 学校主站   发布时间 2023-08-17
学校新闻版块第2条标题名称: 学校主站    ...

ok，这次加了循环，可以爬以前所有的新闻了
可以给一个最佳答案吗

1. from bs4 import BeautifulSoup
   
2. import requests,chardet
   
3. 
   
4. 
   
5. def get(url):
   
6.     req = requests.get(url)
   
7.     req.encoding="utf-8"
   
8.     req=req.text
   
9.     # req.encoding = chardet.detect(req.content)['encoding']    #提取网页编码
   
10.     soup = BeautifulSoup(req,"html.parser")
    
11.     names = soup.findAll('div',class_="list")
    
12.     newnames=[a['title'] if 'title' in a.attrs else '' for a in soup.find_all('a')]
    
13.     newnames = [name for name in newnames if name!='']s's's's
    
14.     newtimes = soup.findAll('span',attrs={"class": "time"})
    
15.     a = 1
    
16.     for i in range(len(newnames)):
    
17.         if newnames[i] == None:
    
18.             continue  
    
19.         else:
    
20.             try:
    
21.                 print("学校新闻版块第",i,"条标题名称:\t",newnames[i],"     发布时间     ",newtimes[i].text)  
    
22.                 a+=1
    
23.             except:
    
24.                 pass
    
25. 
    
26. get("https://news.wtu.edu.cn/xxxw.htm")
    
27. for j in range(295):
    
28.     if 294-j!=0:
    
29.         j=294-j
    
30.     else:
    
31.         break
    
32.     get("https://news.wtu.edu.cn/xxxw/"+str(j)+".htm")

复制代码

还要起名字呐

陶远航 发表于 2023-8-18 18:15
ok，这次加了循环，可以爬以前所有的新闻了
可以给一个最佳答案吗

哇 newnames这么写我得学3天！你真的好厉害 ！感谢大佬

陶远航

还要起名字呐 发表于 2023-8-18 20:01
哇 newnames这么写我得学3天！你真的好厉害 ！感谢大佬

哈哈哈，多练你就懂了。
这是装逼的写法，小白还是建议老老实实写