[已解决]有没有批量自动识别文本文件编码格式 并 转换成 utf8 的通用程序？

blackantt

有没有批量自动识别文本文件编码格式 并 转换成 utf8 的通用程序？

很多都要指定 源文件的编码格式。有没有自动识别源txt编码格式的？

最佳答案

月排行榜 / 总排行榜

jackz007

2022-7-19 12:12:22

def convert(file):
    r = 0
    with open(file , 'rb') as fp
        b = fp . read()
    try:
        s = b . decode('GB2312')
        r = 1
    except:
        try:
            s = b . decode('UTF-8')
            r = 2
        except:
            pass
    if r == 1
        with open(file , 'wt' , encoding = 'UTF-8')
            fp . write(s)
    return r

fn = input('输入文件名 : ')  . strip()
if fn:
    x = convert(fn)
    if x == 1:
        print(fn + ':' , '【GB2312】')
    elif x == 2：
        print(fn + ':' , '【UTF-8】')
    else:
        print(fn + ':' , '【未知】')

跳转到最佳答案楼层

wp231957

识别尚且有个识别率的问题
自动转换就不可能有了

blackantt

wp231957 发表于 2022-7-19 09:58
识别尚且有个识别率的问题
自动转换就不可能有了

这个不知道咋样？   https://blog.csdn.net/u011731378/article/details/122210519

jackz007

def convert(file):
    r = 0
    with open(file , 'rb') as fp
        b = fp . read()
    try:
        s = b . decode('GB2312')
        r = 1
    except:
        try:
            s = b . decode('UTF-8')
            r = 2
        except:
            pass
    if r == 1
        with open(file , 'wt' , encoding = 'UTF-8')
            fp . write(s)
    return r

fn = input('输入文件名 : ')  . strip()
if fn:
    x = convert(fn)
    if x == 1:
        print(fn + ':' , '【GB2312】')
    elif x == 2：
        print(fn + ':' , '【UTF-8】')
    else:
        print(fn + ':' , '【未知】')

blackantt

jackz007 发表于 2022-7-19 12:12

好像还有 ascii，unicode，gbk 等编码的中文小说？   能不能都考虑进去，被编码都搞糊涂了。

jackz007

blackantt 发表于 2022-7-19 13:22
好像还有 ascii，unicode，gbk 等编码的中文小说？   能不能都考虑进去

       ASCII 不是编码名称，UTF-8 属于 UNICODE，GBK 和 GB2312 是一回事。

       一切都来源于需要或问题，对于我们来说，解码出现问题的都是因为中文字符，满足需要就可以了，当然，如果你足够有雄心和耐心，也可以把你自己可能遇到的编码格式都考虑进去。

hrpzcf

使用chardet模块识别编码