[已解决]将网页内容保存成txt时的编码问题

云飘飘

1. import urllib.request
   
2. import chardet
   
3. 
   
4. 
   
5. def main():
   
6.     i=0
   
7.    
   
8.     with open('urls.txt','r')as f:
   
9.         urls=f.read().splitlines()
   
10.     for each_url in urls:
    
11.         response=urllib.request.urlopen(each_url)
    
12.         html=response.read()
    
13. 
    
14.         encode=chardet.detect(html)['encoding']
    
15.         if encode=='GB2312':
    
16.             encode='GBK'
    
17. 
    
18.         i+=1
    
19.         filename='url_%d.txt'%i
    
20. 
    
21.         with open(filename,'w',encoding=encode)as each_file:
    
22.             each_file.write(html.decode(encode,'ignore'))
    
23. 
    
24. 
    
25. if __name__=='__main__':
    
26.     main()

复制代码

第22行是用unicode写入的，第21行encoding=encode


如果不设定encoding，默认的是unicode吧，那为啥要设定？
还有used to decode or encode the file是说输入一种code，这个文件在这种code和unicode之间随机选择吗？

最佳答案

月排行榜 / 总排行榜

SixPy

2016-8-6 18:13:26

这话题，说3天3夜都说不完~
你自己去摆渡 字符集 和 字符编码

encode 是把 unicode 转换为 指定的编码格式，如 utf-8，gbk。。。。
decode 相反，是把 指定的编码格式 转换回 unicode

python3中，字符串只有 unicode一种编码， str
其他编码的只能作为 字节对象 存在。 bytes

跳转到最佳答案楼层

SixPy

这话题，说3天3夜都说不完~
你自己去摆渡 字符集 和 字符编码

encode 是把 unicode 转换为 指定的编码格式，如 utf-8，gbk。。。。
decode 相反，是把 指定的编码格式 转换回 unicode

python3中，字符串只有 unicode一种编码， str
其他编码的只能作为 字节对象 存在。 bytes