[已解决]关于 BeautifulSoup 对象的.prettify() 方法

gux

以下程序生成了一个BeautifulSoup对象soup, 并打印 soup.prettify():

1. from urllib.request import urlopen
   
2. from urllib.error import HTTPError
   
3. from bs4 import BeautifulSoup
   
4. from urllib.parse import urljoin
   
5. from urllib.request import pathname2url
   
6. 
   
7. 
   
8. def path2url(path):
   
9.     return urljoin('file:', pathname2url(path))
   
10. 
    
11. html = urlopen(path2url('D:\\Webscraping\\Mathematics authors_titles \'new\'.html'), 'r')
    
12. soup = BeautifulSoup(html, 'html.parser')
    
13. print(soup.prettify())

复制代码

运行结果的前几行为

i
                      </span>
                      <span style="display: inline-block; width: 0px; height: 3.993em;">
                      </span>
                     </span>
                    </span>
                   </span>
                  </span>
                 </span>
                 <span style="display: inline-block; width: 0px; height: 3.993em;">
                 </span>



soup.prettify() 是一个字符串对象：

1. print(type(soup.prettify()))

复制代码

的运行结果为

<class 'str'>

然而，当我试图把 soup.prettify() 写入一个txt文件时，发生了异常：

1. from urllib.request import pathname2url
   
2. 
   
3. 
   
4. def path2url(path):
   
5.     return urljoin('file:', pathname2url(path))
   
6. 
   
7. html = urlopen(path2url('D:\\Webscraping\\Mathematics authors_titles \'new\'.html'), 'r')
   
8. soup = BeautifulSoup(html, 'html.parser')
   
9. 
   
10. with open('arxiv_new.txt', 'w') as arxiv_new:
    
11.     arxiv_new.write(soup.prettify())

复制代码

运行时出现异常

Traceback (most recent call last):
  File "D:\Webscraping\arxiv_math_new.py", line 18, in <module>
    arxiv_new.write(soup.prettify())
UnicodeEncodeError: 'gbk' codec can't encode character '\u22ca' in position 28183: illegal multibyte sequence

为什么一个字符串对象能被打印，却不能写入文件？

最佳答案

月排行榜 / 总排行榜

Twilight6

2021-7-11 22:57:03

网页获取的字符串编码和你 txt 文件的编码不同呗，编码不相同自然写入要么会报错、要么乱码

字符串是 utf-8 编码的可能，你 open 那加上 encoding = 'utf-8' 应该就可以了

参考代码：

1. with open('arxiv_new.txt', 'w'， encoding='utf-8') as arxiv_new:
   
2.     arxiv_new.write(soup.prettify())

复制代码

跳转到最佳答案楼层

Twilight6

网页获取的字符串编码和你 txt 文件的编码不同呗，编码不相同自然写入要么会报错、要么乱码

字符串是 utf-8 编码的可能，你 open 那加上 encoding = 'utf-8' 应该就可以了

参考代码：

1. with open('arxiv_new.txt', 'w'， encoding='utf-8') as arxiv_new:
   
2.     arxiv_new.write(soup.prettify())

复制代码

gux

Twilight6 发表于 2021-7-11 22:57
网页获取的字符串编码和你 txt 文件的编码不同呗，编码不相同自然写入要么会报错、要么乱码

字符串是  ...

非常感谢！