[已解决]爬虫保存为txt文档编码报错问题

kaspersky601

问题描述：
        GBK网页保存下来后储存为txt过程中，转码为GB2312则txt打开不是中文，不转码则保存到一半报错，但是txt内容为中文。

        跪求各位大神帮忙指点，谢谢！

import requests
from bs4 import BeautifulSoup

f = open('小说.txt','w')

for i in range(1, 35):

    url = 'http://www.xs99.cc/data/yanqing2/qUsiV31908/book31908_' + str(i) + '.html'


    response = requests.get(url)
    html = response.content.decode('GBK')

    soup = BeautifulSoup(html,'html.parser')
    body = soup.body

    content = body.find('div',attrs={'id':'content'}).get_text() #不注释则会报错，注释则TXT打开后不是中文#.encode('gb2312','ignore')
   
    print('第' + str(i) + '页',file=f)
    print(content[120:],file=f)
   

最佳答案

月排行榜 / 总排行榜

ooxx7788

2017-2-28 15:47:11

f = open('小说.txt','w',encoding='utf-8')
即可

跳转到最佳答案楼层

kaspersky601

跪求各路大神指点迷津~~~~~~~~~~！！

kaspersky601

跪求各路大神指点迷津~~~~~~~~~~！！

kaspersky601

救命。。

ooxx7788

f = open('小说.txt','w',encoding='utf-8')
即可

kaspersky601

ooxx7788 发表于 2017-2-28 15:47
f = open('小说.txt','w',encoding='utf-8')
即可

太感谢了！原来在这里要修改一下，谢谢谢谢！