python爬虫初学者求助

776667

1. import urllib.request
   
2. import chardet
   
3. 
   
4. def url_download():
   
5.     response = urllib.request.urlopen('http://www.fishc.com').read()
   
6.     with open('.\\url_1.txt','x') as record:
   
7.         print(response.decode(chardet.detect(response)['encoding']))
   
8.         record.write(response.decode(chardet.detect(response)['encoding']))
   
9. 
   
10. if __name__ == '__main__':
    
11.     url_download()

复制代码

运行上面这段程序后打印内容正常，但是执行到record.write(response.decode(chardet.detect(response)['encoding']))的时候丢出了错误：

UnicodeEncodeError: 'gbk' codec can't encode character '\u013d' in position 135: illegal multibyte sequence

请问巨巨们这是为啥，response被decode以后确定为str类型，为啥写入文本的时候会丢出UnicodeEncodeError

梦里不知身是客

在windows下面，新文件的默认编码是gbk，这样的话，python解释器会用gbk编码去解析我们的网络数据流txt，然而txt此时已经是decode过的unicode编码，这样的话就会导致解析不了，出现上述问题。（文字来源于网络）


import urllib.request
import chardet

def url_download():
    response = urllib.request.urlopen('http://www.fishc.com').read()
    with open('.\\url_1.txt','x', encoding='utf-8') as record:
        print(response.decode(chardet.detect(response)['encoding']))
        record.write(response.decode(chardet.detect(response)['encoding']))

if __name__ == '__main__':
    url_download()

776667

啊，明白了，确实忽略了这问题。。感谢
改成
with open('.\\url_1.txt','x', encoding=chardet.detect(response)['encoding']) as record:
应该就没问题了