多个文件夹excel数据合并问题

wangpan10163

import os
import pandas as pd

def merge_excel_files_from_folders(root_folder):
   
    # 创建一个空的DataFrame来存储所有数据
    all_data = pd.DataFrame()
    # 遍历根文件夹中的所有子文件夹
    for foldername, subfolders, filenames in os.walk(root_folder):
        for filename in filenames:
            # 检查文件是否为Excel文件
            if filename.endswith('.xlsx') or filename.endswith('.xls'):
                # 构建文件的完整路径
                file_path = os.path.join(foldername, filename)
               
                # 读取Excel文件
                df = pd.read_excel(file_path)
               
                # 将读取的数据追加到all_data中
                all_data = pd.concat([all_data, df], ignore_index=True)

    return all_data

def save_merged_data_to_excel(data, output_file):
    # 将合并后的数据保存到新的Excel文件中
    data.to_excel(output_file, index=False)

if __name__ == "__main__":
    # 根文件夹路径，包含所有子文件夹和Excel文件
    root_folder = "E:/ai/shiyan"
   
    # 输出文件路径
    output_file = "E:/ai/shiyan/merged_data.xlsx"
   
    # 合并数据
    merged_data = merge_excel_files_from_folders(root_folder)
   
    # 保存合并后的数据到Excel文件
    save_merged_data_to_excel(merged_data, output_file)
   
    print(f"数据已成功合并并保存到 {output_file}")

这个程序只是将文件夹下的表格合在一张表上，怎么能够使结构相同的表格数据相加在一起。

FishC

您可以调整代码，使其在合并各个Excel文件的数据时，以结构相同的表格数据进行相加。可以使用 groupby 和 sum 方法来实现这一点。以下是修改后的代码：

1. 
   
2. import os
   
3. import pandas as pd
   
4. 
   
5. def merge_excel_files_from_folders(root_folder):
   
6.    
   
7.     # 创建一个空的DataFrame来存储所有数据
   
8.     all_data = pd.DataFrame()
   
9.     # 遍历根文件夹中的所有子文件夹
   
10.     for foldername, subfolders, filenames in os.walk(root_folder):
    
11.         for filename in filenames:
    
12.             # 检查文件是否为Excel文件
    
13.             if filename.endswith('.xlsx') or filename.endswith('.xls'):
    
14.                 # 构建文件的完整路径
    
15.                 file_path = os.path.join(foldername, filename)
    
16.                
    
17.                 # 读取Excel文件
    
18.                 df = pd.read_excel(file_path)
    
19.                
    
20.                 # 将读取的数据追加到all_data中
    
21.                 all_data = pd.concat([all_data, df], ignore_index=True)
    
22. 
    
23.     # 按相同结构的列进行分组并求和
    
24.     merged_data = all_data.groupby(list(all_data.columns), as_index=False).sum()
    
25.    
    
26.     return merged_data
    
27. 
    
28. def save_merged_data_to_excel(data, output_file):
    
29.     # 将合并后的数据保存到新的Excel文件中
    
30.     data.to_excel(output_file, index=False)
    
31. 
    
32. if __name__ == "__main__":
    
33.     # 根文件夹路径，包含所有子文件夹和Excel文件
    
34.     root_folder = "E:/ai/shiyan"
    
35.    
    
36.     # 输出文件路径
    
37.     output_file = "E:/ai/shiyan/merged_data.xlsx"
    
38.    
    
39.     # 合并数据
    
40.     merged_data = merge_excel_files_from_folders(root_folder)
    
41.    
    
42.     # 保存合并后的数据到Excel文件
    
43.     save_merged_data_to_excel(merged_data, output_file)
    
44.    
    
45.     print(f"数据已成功合并并保存到 {output_file}")
    

复制代码

以上代码通过 groupby 方法将相同结构的表格数据进行分组，并使用 sum 方法对这些分组数据进行求和。这样可以实现将多个Excel文件中的相同结构数据进行相加合并。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

wangpan10163

表头有合并，行中有小标题，该怎么修改

FishC

wangpan10163 发表于 2025-02-17 19:25
表头有合并，行中有小标题，该怎么修改

对于表头存在合并单元格、行中有小标题的情况，可以先处理表头以将其标准化为扁平的单层结构（例如，通过合并多层表头为一层，或者删除无用的表头信息），然后，再处理数据中的小标题行，将其过滤或跳过。

下面是调整后的代码模板，假设您希望跳过带有小标题的行，并且将合并单元格的表头扁平化：

1. import os
   
2. import pandas as pd
   
3. 
   
4. def process_excel_file(file_path):
   
5.     # 读取Excel文件，并指定header=None以逐行读取
   
6.     df = pd.read_excel(file_path, header=None)
   
7.    
   
8.     # 假定第一行为表头（处理合并单元格）
   
9.     df.columns = df.iloc[0]  # 使用第一行作为列名
   
10.     df = df[1:]  # 删除第一行（已作为表头）
    
11.    
    
12.     # 处理小标题行，例如，假设小标题行中某一列值为特定的标志
    
13.     df = df[~df.iloc[:, 0].str.contains('小标题', na=False)]  # 根据具体规则过滤掉小标题行
    
14.    
    
15.     return df
    
16. 
    
17. def merge_excel_files_from_folders(root_folder):
    
18.     all_data = pd.DataFrame()
    
19.    
    
20.     for foldername, subfolders, filenames in os.walk(root_folder):
    
21.         for filename in filenames:
    
22.             if filename.endswith('.xlsx') or filename.endswith('.xls'):
    
23.                 file_path = os.path.join(foldername, filename)
    
24.                
    
25.                 # 处理单个文件并标准化数据
    
26.                 df = process_excel_file(file_path)
    
27.                
    
28.                 # 合并数据
    
29.                 all_data = pd.concat([all_data, df], ignore_index=True)
    
30. 
    
31.     return all_data
    
32. 
    
33. def save_merged_data_to_excel(data, output_file):
    
34.     data.to_excel(output_file, index=False)
    
35. 
    
36. if __name__ == "__main__":
    
37.     root_folder = "E:/ai/shiyan"
    
38.     output_file = "E:/ai/shiyan/merged_data.xlsx"
    
39.    
    
40.     merged_data = merge_excel_files_from_folders(root_folder)
    
41.     save_merged_data_to_excel(merged_data, output_file)
    
42.    
    
43.     print(f"数据已成功合并并保存到 {output_file}")

复制代码

### 关键修改点：
1. **处理合并单元格的表头**：使用 header=None 读取表格的所有内容后，将第一行的数据设置为列名。
2. **移除小标题行**：通过条件判断（如 str.contains('小标题')）来过滤掉不需要的小标题行。
3. **确保数据一致性**：在处理过程中保证每个文件生成标准化的结构。

你需要根据具体的表格特点调整 process_excel_file 函数中的逻辑，比如表头的位置和小标题的判定规则。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

wangpan10163

如果需要将第一列忽略，以小标题的其中1列作为表头呢

FishC

wangpan10163 发表于 2025-02-17 23:26
如果需要将第一列忽略，以小标题的其中1列作为表头呢

好的，如果需要忽略第一列，并将小标题的某一列作为表头，可以参考下面的代码进行调整。以下代码假设小标题行中某一列具有特定的标志，用于识别和设置表头：

1. import os
   
2. import pandas as pd
   
3. 
   
4. def process_excel_file(file_path):
   
5.     # 读取Excel文件，并指定header=None以逐行读取
   
6.     df = pd.read_excel(file_path, header=None)
   
7.    
   
8.     # 忽略第一列
   
9.     df = df.iloc[:, 1:]
   
10.    
    
11.     # 找到小标题行，假设小标题具有特定标志（例如，该行的某一列包含特定值）
    
12.     header_row_index = df[df.iloc[:, 0].str.contains('小标题标志', na=False)].index[0]
    
13.    
    
14.     # 设定该行为新的表头，并重新读取数据
    
15.     df.columns = df.iloc[header_row_index]
    
16.     df = df[header_row_index + 1:]  # 删除小标题行及其之前的行
    
17.    
    
18.     # 重置索引
    
19.     df.reset_index(drop=True, inplace=True)
    
20.    
    
21.     return df
    
22. 
    
23. def merge_excel_files_from_folders(root_folder):
    
24.     all_data = pd.DataFrame()
    
25.    
    
26.     for foldername, subfolders, filenames in os.walk(root_folder):
    
27.         for filename in filenames:
    
28.             if filename.endswith('.xlsx') or filename.endswith('.xls'):
    
29.                 file_path = os.path.join(foldername, filename)
    
30.                
    
31.                 # 处理单个文件并标准化数据
    
32.                 df = process_excel_file(file_path)
    
33.                
    
34.                 # 合并数据
    
35.                 all_data = pd.concat([all_data, df], ignore_index=True)
    
36. 
    
37.     return all_data
    
38. 
    
39. def save_merged_data_to_excel(data, output_file):
    
40.     data.to_excel(output_file, index=False)
    
41. 
    
42. if __name__ == "__main__":
    
43.     root_folder = "E:/ai/shiyan"
    
44.     output_file = "E:/ai/shiyan/merged_data.xlsx"
    
45.    
    
46.     merged_data = merge_excel_files_from_folders(root_folder)
    
47.     save_merged_data_to_excel(merged_data, output_file)
    
48.    
    
49.     print(f"数据已成功合并并保存到 {output_file}")

复制代码

### 关键修改点：
1. **忽略第一列**：使用 df = df.iloc[:, 1:] 来忽略第一列。
2. **找到并设置新的表头**：通过指定标志（如小标题标志）找到小标题行的索引，并将此行设为新的表头。
3. **删除小标题行及其之前的行**：根据计算出的索引范围删除这些行。
4. **重置索引**：使用 df.reset_index(drop=True, inplace=True) 重新设置DataFrame的索引。

请根据具体的小标题标志来调整识别条件和处理逻辑。这段代码将帮助您根据需求合并多个Excel文件的数据。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。