[已解决]open()打开py文件 碰到UnicodeDecodeError

运维小书童

1. import easygui as g
   
2. import os
   
3. 
   
4. def countPyLines(path):
   
5.    
   
6.     for i in path:
   
7.         for each in i[2]:
   
8.             file_ext = os.path.splitext(each)
   
9.             if file_ext[1] in ['.py','.c','.cpp','.pas','.asm']:
   
10.                 ext = file_ext[1]
    
11.                 file_path = i[0] + os.sep + each #获得所有指定后缀文件路径
    
12.                 file_dict[ext] += 1
    
13.                 f = open(file_path,'rb')
    
14.                 for eachline in f:
    
15.                     codeline_dict[ext] += 1
    
16.                 f.close()
    
17.                                     
    
18.     detail = ''
    
19.     lines = 0
    
20.     for keys in file_dict.keys():      
    
21.         detail += '【%s】文件共%s个，共%s行\n'%(keys, file_dict[keys], codeline_dict[keys])
    
22.         lines += codeline_dict[keys]
    
23.     message = '您目前共累积编写了%s行代码，完成进度：%.2f%%  \n离10万行代码还差%s行，请继续努力'% (lines, lines/1000, 100000-lines)      
    
24.     g.textbox(message,'统计结果',detail)
    
25. 
    
26. file_dict = {'.py':0,'.c':0,'.cpp':0,'.pas':0,'.asm':0}     # 初始化字典 =存放指定代码文件名和文件个数
    
27. codeline_dict = {'.py':0,'.c':0,'.cpp':0,'.pas':0,'.asm':0} # 初始化字典 =存放指定代码文件名和代码行数
    
28. file = g.diropenbox()
    
29. path = os.walk(file)
    
30. countPyLines(path)

复制代码

------遍历选定文件夹下指定后缀名文件统计行数的习题。
问题就是使用open()打开py文件时碰到UnicodeDecodeError-，这种情况pass掉的话发现忽略掉了好多py的文件未统计

网上搜索使用'rb'二进制读取之后没有出现异常
但是如果读取内容要处理什么的就比较麻烦。- -为什么出现这种异常
求助求助。。

最佳答案

月排行榜 / 总排行榜

ba21

2017-8-11 17:58:20

https://pypi.python.org/pypi/chardet

import chardet
#以rb读取文件返回文件的编码(用到了chardet类)
        #获取文件编码
        with open(file_name, 'rb') as f:
            raw = f.read()
            result = chardet.detect(raw)  
            encoding = result['encoding']

         #用获取到的编码打开文件
        lines = 0   
        with open(file_name,encoding=encoding) as f:
            print('正在分析文件：%s ...' % file_name)     
            try:
                for each_line in f:
                    lines += 1
            except Exception as reason:
                print(str(reason)) # 读取出错显示错误信息......
        print('%s -> %s' % (file_name,lines))
        return lines

跳转到最佳答案楼层

ba21

https://pypi.python.org/pypi/chardet

import chardet
#以rb读取文件返回文件的编码(用到了chardet类)
        #获取文件编码
        with open(file_name, 'rb') as f:
            raw = f.read()
            result = chardet.detect(raw)  
            encoding = result['encoding']

         #用获取到的编码打开文件
        lines = 0   
        with open(file_name,encoding=encoding) as f:
            print('正在分析文件：%s ...' % file_name)     
            try:
                for each_line in f:
                    lines += 1
            except Exception as reason:
                print(str(reason)) # 读取出错显示错误信息......
        print('%s -> %s' % (file_name,lines))
        return lines

运维小书童

ba21 发表于 2017-8-11 17:58
https://pypi.python.org/pypi/chardet

import chardet

谢谢回复。已用这个办法解决。
学习了！