使用os.walk对文件夹递归进行处理时，如何排除特定文件夹

久光

小甲鱼Python零基础中有一课，统计自己的代码量，因为我使用的pycharm每建个项目都会有一个“Venv”文件夹，里面有很多py文件，所以统计时我需要排除这个名字的文件夹里的所有文件。

最后写出的代码如下(已排除venv文件夹)：

1. import os
   
2. import easygui as g
   
3. 
   
4. code_list = [".py", ".java", ".asm"]
   
5. code_type_dict = {}
   
6. line_count = {}
   
7. 
   
8. 
   
9. def choiceDir():
   
10.     start_path = g.diropenbox(title="请选择起始目录")
    
11.     return start_path
    
12. 
    
13. 
    
14. def calculateLines(start_path):
    
15.     os.chdir(start_path)
    
16.     all_files = os.walk(os.getcwd())
    
17.     for i in all_files:
    
18.         file_type = os.path.splitext(i)[1]
    
19.         if file_type in code_list:
    
20.             code_type_dict.setdefault(file_type,0)
    
21.             code_type_dict[file_type] += 1
    
22.             line_count.setdefault(file_type,0)
    
23.             for each_line in i:
    
24.                 line_count[file_type] += 1
    
25.         elif file_type == "" and i != "venv":
    
26.             calculateLines(i)
    
27.             os.chdir("..")
    
28. 
    
29. 
    
30. def printResult():
    
31.     text = ""
    
32.     total_lines = 0
    
33.     for i in line_count:
    
34.         total_lines += line_count[i]
    
35.     msg = "一共写了【%s】行代码，10万行代码任务的进度为：%.2f%%\n离10万行代码还差【%s】行" % (total_lines, total_lines/1000, 100000-total_lines)
    
36.     for i in code_type_dict:
    
37.         text += "【%s】类型的文件有 %s 个，共有【%s】行\n" % (i, code_type_dict[i], line_count[i])
    
38.     g.textbox(msg, "代码量统计", text=text)
    
39. 
    
40. 
    
41. calculateLines(choiceDir())
    
42. printResult()
    
43. 
    

复制代码

但是对文件夹递归问题处理时，还有一种方法，就是使用os.walk，代码如下（没有排除venv文件夹）：

1. import os
   
2. import easygui as g
   
3. 
   
4. code_list = [".py", ".java", ".asm"]
   
5. code_type_dict = {}
   
6. line_count = {}
   
7. 
   
8. 
   
9. def choiceDir():
   
10.     start_path = g.diropenbox(title="请选择起始目录")
    
11.     return start_path
    
12. 
    
13. 
    
14. def calculateLines(start_path):
    
15.     os.chdir(start_path)
    
16.     all_files = os.walk(os.getcwd())
    
17.     for i in all_files:
    
18.         for each_file in i[2]:
    
19.             code_type = os.path.splitext(each_file)[1]
    
20.             if code_type not in code_list:
    
21.                 continue
    
22.             code_type_dict.setdefault(code_type, 0)
    
23.             code_type_dict[code_type] += 1
    
24.             line_count.setdefault(code_type, 0)
    
25.             for eachline in each_file:
    
26.                 line_count[code_type] += 1
    
27. 
    
28. 
    
29. def printResult():
    
30.     text = ""
    
31.     total_lines = 0
    
32.     for i in line_count:
    
33.         total_lines += line_count[i]
    
34.     msg = "一共写了【%s】行代码，10万行代码任务的进度为：%.2f%%\n离10万行代码还差【%s】行" % (total_lines, total_lines/1000, 100000-total_lines)
    
35.     for i in code_type_dict:
    
36.         text += "【%s】类型的文件有 %s 个，共有【%s】行\n" % (i, code_type_dict[i], line_count[i])
    
37.     g.textbox(msg, "代码量统计", text=text)
    
38. 
    
39. 
    
40. calculateLines(choiceDir())
    
41. printResult()
    
42. 
    

复制代码

但是os.walk这种方法我不知道该怎么排除特定文件夹，求大佬指点一下

塔利班

i[1]就是dirs，判断Venv是不是在i[1]里再往下判断

喜欢吃菠菜

可以试试这样：
for root,dirs,files in os.walk('...'): #os.walk返回的结果是一个三元的tuple, root是当前要处理的目录，dirs是这个root下的子目录，files是root下的文件
        if root!='...':
           #继续处理的代码

喜欢吃菠菜

参考一下我的这个代码：
参考一下：
import os
def searchfile(start_dir,extlist):
    video_list=[]
    for root,dir,files in os.walk(start_dir):
        video_list.extend(os.path.join(root,file+'\n') for file in files if file.endswith(extlist))
    return video_list

if __name__=='__main__':
        start_dir=input('请输入要查找的路径:')
        extlist=('.mp4','.avi','.rmvb') #这里用tuple才可以，不要用list,因为endswith的参数要tuple
        program_dir=os.getcwd()
        with open(program_dir+os.sep+'videolist.txt','w') as f:
                    f.writelines(searchfile(start_dir,extlist))

孤星破红尘

喜欢吃菠菜 发表于 2018-11-11 18:20
参考一下我的这个代码：
参考一下：
import os

file+'\n' 这个‘\n'没看懂  指教一下

孤星破红尘

孤星破红尘 发表于 2018-11-11 21:41
file+'\n' 这个‘\n'没看懂  指教一下

这个写法不太懂 extend不是要求参数为一个列表嘛 求指点

喜欢吃菠菜

这个加\n是为了让找到的一个路径成为一行。调用writelines的时候，在文件中就可以一个路径一行了。

喜欢吃菠菜

孤星破红尘 发表于 2018-11-11 21:56
这个写法不太懂 extend不是要求参数为一个列表嘛 求指点

为什么用extend(),因为‘os.path.join(root,file+'\n') for file in files if file.endswith(ext list)’是一个生成器推导式，并不是单个的，所以不能append,应该extend

久光

喜欢吃菠菜 发表于 2018-11-11 18:05
可以试试这样：
for root,dirs,files in os.walk('...'): #os.walk返回的结果是一个三元的tuple, root是当 ...

老哥 按照你的方法，我将代码修改为了：
    os.chdir(start_path)
    all_files = os.walk(os.getcwd())
    for i in all_files:
        if os.path.split(i[0])[1] != "venv":  #os.path.split(i[0])[1]为root去掉路径的目录名
            for each_file in i[2]:
                code_type = os.path.splitext(each_file)[1]
                if code_type not in code_list:
                    continue
                code_type_dict.setdefault(code_type, 0)
                code_type_dict[code_type] += 1
                line_count.setdefault(code_type, 0)
                for eachline in each_file:
                    line_count[code_type] += 1

但是并不能排除venv文件夹下的文件

喜欢吃菠菜

孤星破红尘 发表于 2018-11-11 21:56
这个写法不太懂 extend不是要求参数为一个列表嘛 求指点

我的解释你能明白吗？‘os.path.join(root,file+'\n') for file in files if file.endswith(ext list)’在作为extend()的参数时，你可以省去推导式的[]或者(),这样代码看起来更简洁一点

久光

塔利班 发表于 2018-11-11 15:47
i[1]就是dirs，判断Venv是不是在i[1]里再往下判断

感谢大佬回复，但是venv在i[1]的时候，进行循环的所有文件（也就是files in i[2]）不是和venv平级的文件，而不是venv文件夹下的文件吗?

塔利班

对

喜欢吃菠菜

久光 发表于 2018-11-11 22:28
感谢大佬回复，但是venv在i[1]的时候，进行循环的所有文件（也就是files in i[2]）不是和venv平级的文件 ...

不用判断venv在i[1]里面，实际你直接判断i[0]是否是venv就可以了
因为walk本身就是一个递归过程，它的参数就是i[0].
我是这样理解的，你可以试试看

久光

喜欢吃菠菜 发表于 2018-11-11 22:31
不用判断venv在i[1]里面，实际你直接判断i[0]是否是venv就可以了
因为walk本身就是一个递归过程，它的 ...

大哥我回复你的在9楼，判断os.path.split(i[0])[1]是否为“venv”的

孤星破红尘

喜欢吃菠菜 发表于 2018-11-11 22:27
我的解释你能明白吗？‘os.path.join(root,file+'\n') for file in files if file.endswith(ext list)’ ...

‘os.path.join(root,file+'\n') for file in files if file.endswith(ext list)’ 加上（）或[] 我理解 是推导式  作为参数的时候还能把括号去掉的嘛

喜欢吃菠菜

孤星破红尘 发表于 2018-11-11 22:40
‘os.path.join(root,file+'\n') for file in files if file.endswith(ext list)’ 加上（）或[] 我理解  ...

你可以试一下看一下吧

喜欢吃菠菜

久光 发表于 2018-11-11 22:25
老哥 按照你的方法，我将代码修改为了：
    os.chdir(start_path)
    all_files = os.walk(os.getcwd ...

你的代码太多用一些数字的东西，还有命名不是很清晰，所以理解起来有点混乱。
建议这样改：
for root,dirs,files in walk(os.getcwd()):
    if os.path.split(root)[-1]!='venv':
        for file in files:
            if file.endswith(tuple(code_list)):#最好起一个贴切的变量名，比如extlists等
                ... #剩下的就是你处理你的字典的代码了

仅供参考
     

喜欢吃菠菜

孤星破红尘 发表于 2018-11-11 22:40
‘os.path.join(root,file+'\n') for file in files if file.endswith(ext list)’ 加上（）或[] 我理解  ...

举个栗子给你参考一下：

1. l=[1,2,3]
   
2. l1=[1,2,3,4,5,6,7,8,9,10]
   
3. #把l1中的偶数加到l中
   
4. l.extend([i for i in l1 if i % 2==0]) #按正常是这样
   
5. l.extend(i for i in l1 if i % 2==0) #也可以这样，更简洁
   

复制代码

久光

喜欢吃菠菜 发表于 2018-11-11 23:27
你的代码太多用一些数字的东西，还有命名不是很清晰，所以理解起来有点混乱。
建议这样改：
for root,d ...

这样并不可以排除venv的内容。。。你试一下就知道了，这个和我9l的代码其实是一样的，不过你的变量命名确实比我清晰很多

喜欢吃菠菜

如果只是跳过venv目录，这个代码可以的啊。我试过了。
实在不行，你私信我，我看看。