多个文件夹excel数据合并问题

wangpan10163

import os
import pandas as pd

def merge_excel_files_from_folders(root_folder):
   
    # 创建一个空的DataFrame来存储所有数据
    all_data = pd.DataFrame()
    # 遍历根文件夹中的所有子文件夹
    for foldername, subfolders, filenames in os.walk(root_folder):
        for filename in filenames:
            # 检查文件是否为Excel文件
            if filename.endswith('.xlsx') or filename.endswith('.xls'):
                # 构建文件的完整路径
                file_path = os.path.join(foldername, filename)
               
                # 读取Excel文件
                df = pd.read_excel(file_path)
               
                # 将读取的数据追加到all_data中
                all_data = pd.concat([all_data, df], ignore_index=True)

    return all_data

def save_merged_data_to_excel(data, output_file):
    # 将合并后的数据保存到新的Excel文件中
    data.to_excel(output_file, index=False)

if __name__ == "__main__":
    # 根文件夹路径，包含所有子文件夹和Excel文件
    root_folder = "E:/ai/shiyan"
   
    # 输出文件路径
    output_file = "E:/ai/shiyan/merged_data.xlsx"
   
    # 合并数据
    merged_data = merge_excel_files_from_folders(root_folder)
   
    # 保存合并后的数据到Excel文件
    save_merged_data_to_excel(merged_data, output_file)
   
    print(f"数据已成功合并并保存到 {output_file}")

这个程序只是将文件夹下的表格合在一张表上，怎么能够使结构相同的表格数据相加在一起。

FishC

您可以调整代码，使其在合并各个Excel文件的数据时，以结构相同的表格数据进行相加。可以使用 groupby 和 sum 方法来实现这一点。以下是修改后的代码：

1. 
   
2. import os
   
3. import pandas as pd
   
4. 
   
5. def merge_excel_files_from_folders(root_folder):
   
6.    
   
7.     # 创建一个空的DataFrame来存储所有数据
   
8.     all_data = pd.DataFrame()
   
9.     # 遍历根文件夹中的所有子文件夹
   
10.     for foldername, subfolders, filenames in os.walk(root_folder):
    
11.         for filename in filenames:
    
12.             # 检查文件是否为Excel文件
    
13.             if filename.endswith('.xlsx') or filename.endswith('.xls'):
    
14.                 # 构建文件的完整路径
    
15.                 file_path = os.path.join(foldername, filename)
    
16.                
    
17.                 # 读取Excel文件
    
18.                 df = pd.read_excel(file_path)
    
19.                
    
20.                 # 将读取的数据追加到all_data中
    
21.                 all_data = pd.concat([all_data, df], ignore_index=True)
    
22. 
    
23.     # 按相同结构的列进行分组并求和
    
24.     merged_data = all_data.groupby(list(all_data.columns), as_index=False).sum()
    
25.    
    
26.     return merged_data
    
27. 
    
28. def save_merged_data_to_excel(data, output_file):
    
29.     # 将合并后的数据保存到新的Excel文件中
    
30.     data.to_excel(output_file, index=False)
    
31. 
    
32. if __name__ == "__main__":
    
33.     # 根文件夹路径，包含所有子文件夹和Excel文件
    
34.     root_folder = "E:/ai/shiyan"
    
35.    
    
36.     # 输出文件路径
    
37.     output_file = "E:/ai/shiyan/merged_data.xlsx"
    
38.    
    
39.     # 合并数据
    
40.     merged_data = merge_excel_files_from_folders(root_folder)
    
41.    
    
42.     # 保存合并后的数据到Excel文件
    
43.     save_merged_data_to_excel(merged_data, output_file)
    
44.    
    
45.     print(f"数据已成功合并并保存到 {output_file}")
    

复制代码

以上代码通过 groupby 方法将相同结构的表格数据进行分组，并使用 sum 方法对这些分组数据进行求和。这样可以实现将多个Excel文件中的相同结构数据进行相加合并。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

wangpan10163

表头有合并，行中有小标题，该怎么修改

FishC

wangpan10163 发表于 2025-02-17 19:25
表头有合并，行中有小标题，该怎么修改

对于表头存在合并单元格、行中有小标题的情况，可以先处理表头以将其标准化为扁平的单层结构（例如，通过合并多层表头为一层，或者删除无用的表头信息），然后，再处理数据中的小标题行，将其过滤或跳过。

下面是调整后的代码模板，假设您希望跳过带有小标题的行，并且将合并单元格的表头扁平化：

1. import os
   
2. import pandas as pd
   
3. 
   
4. def process_excel_file(file_path):
   
5.     # 读取Excel文件，并指定header=None以逐行读取
   
6.     df = pd.read_excel(file_path, header=None)
   
7.    
   
8.     # 假定第一行为表头（处理合并单元格）
   
9.     df.columns = df.iloc[0]  # 使用第一行作为列名
   
10.     df = df[1:]  # 删除第一行（已作为表头）
    
11.    
    
12.     # 处理小标题行，例如，假设小标题行中某一列值为特定的标志
    
13.     df = df[~df.iloc[:, 0].str.contains('小标题', na=False)]  # 根据具体规则过滤掉小标题行
    
14.    
    
15.     return df
    
16. 
    
17. def merge_excel_files_from_folders(root_folder):
    
18.     all_data = pd.DataFrame()
    
19.    
    
20.     for foldername, subfolders, filenames in os.walk(root_folder):
    
21.         for filename in filenames:
    
22.             if filename.endswith('.xlsx') or filename.endswith('.xls'):
    
23.                 file_path = os.path.join(foldername, filename)
    
24.                
    
25.                 # 处理单个文件并标准化数据
    
26.                 df = process_excel_file(file_path)
    
27.                
    
28.                 # 合并数据
    
29.                 all_data = pd.concat([all_data, df], ignore_index=True)
    
30. 
    
31.     return all_data
    
32. 
    
33. def save_merged_data_to_excel(data, output_file):
    
34.     data.to_excel(output_file, index=False)
    
35. 
    
36. if __name__ == "__main__":
    
37.     root_folder = "E:/ai/shiyan"
    
38.     output_file = "E:/ai/shiyan/merged_data.xlsx"
    
39.    
    
40.     merged_data = merge_excel_files_from_folders(root_folder)
    
41.     save_merged_data_to_excel(merged_data, output_file)
    
42.    
    
43.     print(f"数据已成功合并并保存到 {output_file}")

复制代码

### 关键修改点：
1. **处理合并单元格的表头**：使用 header=None 读取表格的所有内容后，将第一行的数据设置为列名。
2. **移除小标题行**：通过条件判断（如 str.contains('小标题')）来过滤掉不需要的小标题行。
3. **确保数据一致性**：在处理过程中保证每个文件生成标准化的结构。

你需要根据具体的表格特点调整 process_excel_file 函数中的逻辑，比如表头的位置和小标题的判定规则。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

wangpan10163

如果需要将第一列忽略，以小标题的其中1列作为表头呢

FishC

wangpan10163 发表于 2025-02-17 23:26
如果需要将第一列忽略，以小标题的其中1列作为表头呢

好的，如果需要忽略第一列，并将小标题的某一列作为表头，可以参考下面的代码进行调整。以下代码假设小标题行中某一列具有特定的标志，用于识别和设置表头：

1. import os
   
2. import pandas as pd
   
3. 
   
4. def process_excel_file(file_path):
   
5.     # 读取Excel文件，并指定header=None以逐行读取
   
6.     df = pd.read_excel(file_path, header=None)
   
7.    
   
8.     # 忽略第一列
   
9.     df = df.iloc[:, 1:]
   
10.    
    
11.     # 找到小标题行，假设小标题具有特定标志（例如，该行的某一列包含特定值）
    
12.     header_row_index = df[df.iloc[:, 0].str.contains('小标题标志', na=False)].index[0]
    
13.    
    
14.     # 设定该行为新的表头，并重新读取数据
    
15.     df.columns = df.iloc[header_row_index]
    
16.     df = df[header_row_index + 1:]  # 删除小标题行及其之前的行
    
17.    
    
18.     # 重置索引
    
19.     df.reset_index(drop=True, inplace=True)
    
20.    
    
21.     return df
    
22. 
    
23. def merge_excel_files_from_folders(root_folder):
    
24.     all_data = pd.DataFrame()
    
25.    
    
26.     for foldername, subfolders, filenames in os.walk(root_folder):
    
27.         for filename in filenames:
    
28.             if filename.endswith('.xlsx') or filename.endswith('.xls'):
    
29.                 file_path = os.path.join(foldername, filename)
    
30.                
    
31.                 # 处理单个文件并标准化数据
    
32.                 df = process_excel_file(file_path)
    
33.                
    
34.                 # 合并数据
    
35.                 all_data = pd.concat([all_data, df], ignore_index=True)
    
36. 
    
37.     return all_data
    
38. 
    
39. def save_merged_data_to_excel(data, output_file):
    
40.     data.to_excel(output_file, index=False)
    
41. 
    
42. if __name__ == "__main__":
    
43.     root_folder = "E:/ai/shiyan"
    
44.     output_file = "E:/ai/shiyan/merged_data.xlsx"
    
45.    
    
46.     merged_data = merge_excel_files_from_folders(root_folder)
    
47.     save_merged_data_to_excel(merged_data, output_file)
    
48.    
    
49.     print(f"数据已成功合并并保存到 {output_file}")

复制代码

### 关键修改点：
1. **忽略第一列**：使用 df = df.iloc[:, 1:] 来忽略第一列。
2. **找到并设置新的表头**：通过指定标志（如小标题标志）找到小标题行的索引，并将此行设为新的表头。
3. **删除小标题行及其之前的行**：根据计算出的索引范围删除这些行。
4. **重置索引**：使用 df.reset_index(drop=True, inplace=True) 重新设置DataFrame的索引。

请根据具体的小标题标志来调整识别条件和处理逻辑。这段代码将帮助您根据需求合并多个Excel文件的数据。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

凊风

FishC 发表于 2025-2-17 23:29
好的，如果需要忽略第一列，并将小标题的某一列作为表头，可以参考下面的代码进行调整。以下代码假设小 ...

能不能在程序开始前让用户录入需要排除的行号(如1、2、3、4、5)和列号（如A   B  C）？

FishC

凊风 发表于 2025-10-21 15:02
FishC 发表于 2025-2-17 23:29
好的，如果需要忽略第 ...

当然可以！我们可以让用户在程序开始时输入要排除的行号和列号。以下是修改后的代码：

1. import os
   
2. import pandas as pd
   
3. import re
   
4. 
   
5. def get_user_input():
   
6.     print("请输入要排除的行号（用逗号分隔，例如：1,2,3,4,5）：")
   
7.     skip_rows_input = input().strip()
   
8.     skip_rows = [int(x.strip()) - 1 for x in skip_rows_input.split(',') if x.strip()]
   
9.    
   
10.     print("请输入要排除的列号（用逗号分隔，例如：A,B,C）：")
    
11.     skip_cols_input = input().strip()
    
12.     skip_cols = []
    
13.    
    
14.     for col in skip_cols_input.split(','):
    
15.         col = col.strip().upper()
    
16.         if col:
    
17.             # 将列字母转换为数字索引（A=0, B=1, ...）
    
18.             col_idx = 0
    
19.             for i, char in enumerate(col[::-1]):
    
20.                 col_idx += (ord(char) - 64) * (26 ** i)
    
21.             skip_cols.append(col_idx - 1)
    
22.    
    
23.     return skip_rows, skip_cols
    
24. 
    
25. def process_excel_file(file_path, skip_rows, skip_cols):
    
26.     # 读取Excel文件
    
27.     df = pd.read_excel(file_path, header=None)
    
28.    
    
29.     # 排除指定的行
    
30.     if skip_rows:
    
31.         df = df.drop(skip_rows)
    
32.    
    
33.     # 排除指定的列
    
34.     if skip_cols:
    
35.         df = df.drop(columns=skip_cols)
    
36.    
    
37.     # 重置索引
    
38.     df.reset_index(drop=True, inplace=True)
    
39.    
    
40.     # 将第一行作为表头
    
41.     df.columns = df.iloc[0]
    
42.     df = df[1:]
    
43.     df.reset_index(drop=True, inplace=True)
    
44.    
    
45.     return df
    
46. 
    
47. def merge_excel_files_from_folders(root_folder, skip_rows, skip_cols):
    
48.     all_data = pd.DataFrame()
    
49.    
    
50.     for foldername, subfolders, filenames in os.walk(root_folder):
    
51.         for filename in filenames:
    
52.             if filename.endswith('.xlsx') or filename.endswith('.xls'):
    
53.                 file_path = os.path.join(foldername, filename)
    
54.                
    
55.                 # 处理单个文件
    
56.                 df = process_excel_file(file_path, skip_rows, skip_cols)
    
57.                
    
58.                 # 合并数据
    
59.                 all_data = pd.concat([all_data, df], ignore_index=True)
    
60.    
    
61.     return all_data
    
62. 
    
63. def save_merged_data_to_excel(data, output_file):
    
64.     data.to_excel(output_file, index=False)
    
65. 
    
66. if __name__ == "__main__":
    
67.     # 获取用户输入
    
68.     skip_rows, skip_cols = get_user_input()
    
69.    
    
70.     # 根文件夹路径
    
71.     root_folder = "E:/ai/shiyan"
    
72.    
    
73.     # 输出文件路径
    
74.     output_file = "E:/ai/shiyan/merged_data.xlsx"
    
75.    
    
76.     # 合并数据
    
77.     merged_data = merge_excel_files_from_folders(root_folder, skip_rows, skip_cols)
    
78.    
    
79.     # 保存合并后的数据
    
80.     save_merged_data_to_excel(merged_data, output_file)
    
81.    
    
82.     print(f"数据已成功合并并保存到 {output_file}")

复制代码

这个修改后的代码具有以下特点：

1. 添加了 get_user_input() 函数，用于获取用户输入的要排除的行号和列号
2. 行号从1开始计数（符合Excel的习惯），程序内部会自动转换为从0开始的索引
3. 列号支持字母表示（A, B, C等），程序会自动转换为数字索引
4. 处理Excel文件时会跳过指定的行和列
5. 将处理后的数据的第一行作为表头

使用示例：
- 当程序提示输入行号时，输入：1,2,3,4,5
- 当程序提示输入列号时，输入：A,B,C

这样程序就会排除第1-5行和A、B、C列，然后将剩余数据的第一行作为表头进行合并。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。