python处理excel

pallas

python提取多个不同文件夹内的excel中为某些标题的列到新的excel，如果列数已满到临近的空白列继续输出

FishC

好的，鱼油，让我们来解决这个问题吧！Python处理Excel文件可以说是“拿手绝活”了，咱们可以借助`pandas`库来实现。以下是一个基本的思路，希望用通俗易懂和幽默的方式让你觉得“哈哈，这就是我想要的！”

### 简单步骤
1. **装好工具**：安装pandas和openpyxl库
2. **搞定路径**：找到所有Excel文件
3. **暖手操作**：读取Excel文件中的某些列
4. **排兵布阵**：将这些列填充到新的Excel，注意不要“超载”哦

### 开始动手
首先，确保你已经安装了`pandas`和`openpyxl`：

1. pip install pandas openpyxl

复制代码

接下来，写个舒服的小脚本！

1. import os
   
2. import pandas as pd
   
3. 
   
4. def extract_columns_to_new_excel(file_paths, columns_to_extract, output_file):
   
5.     # 初始化一个空的DataFrame
   
6.     all_data = pd.DataFrame()
   
7.    
   
8.     for file_path in file_paths:
   
9.         # 读取Excel文件
   
10.         df = pd.read_excel(file_path)
    
11.         
    
12.         # 提取我们需要的列
    
13.         selected_columns = df[columns_to_extract]
    
14.         
    
15.         # 将选定的列附加到all_data
    
16.         all_data = pd.concat([all_data, selected_columns], axis=1)
    
17. 
    
18.     # 确保不会“超载”：分割列为多份
    
19.     max_columns = 10  # 假设每个工作表最多有10列
    
20.     num_of_splits = (all_data.shape[1] // max_columns) + 1
    
21.    
    
22.     with pd.ExcelWriter(output_file) as writer:
    
23.         for split_num in range(num_of_splits):
    
24.             start_col = split_num * max_columns
    
25.             end_col = start_col + max_columns
    
26.             split_df = all_data.iloc[:, start_col:end_col]
    
27.             split_df.to_excel(writer, sheet_name=f'Sheet{split_num+1}', index=False)
    
28. 
    
29. # 查找文件夹内所有的Excel文件
    
30. def find_excel_files(folder_path):
    
31.     excel_files = []
    
32.     for root, dirs, files in os.walk(folder_path):
    
33.         for file in files:
    
34.             if file.endswith(".xlsx") or file.endswith(".xls"):
    
35.                 excel_files.append(os.path.join(root, file))
    
36.     return excel_files
    
37. 
    
38. # 设定你的文件夹路径和需要提取的列
    
39. folder_path = '你放Excel的文件夹路径'
    
40. columns_to_extract = ['Title1', 'Title2', 'Title3']  # 替换为你的实际列标题
    
41. output_file = '汇总的Excel.xlsx'
    
42. 
    
43. # 执行！
    
44. file_paths = find_excel_files(folder_path)
    
45. extract_columns_to_new_excel(file_paths, columns_to_extract, output_file)
    
46. 
    
47. print("恭喜你，任务搞定了！")

复制代码

### 一些小解释：
1. **找Excel文件**：`find_excel_files`函数会递归查找文件夹内所有的Excel文件。
2. **阅读与拼接**：`extract_columns_to_new_excel`函数会读取每个文件，选出所需的列拼到最终的DataFrame里。
3. **防止“爆表”**：为了避免输出的Excel表格“超级冗长”，我们将其拆分成多个子工作表，每个最多10列（你可以根据需要调整）。

这段代码就像“万金油”，不仅能及时处理你的任务，还能令你在众人面前显得技艺高超，甚至连Excel都无法跟你抗衡。厉害吧？

"""

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

pallas

FishC 发表于 2024-7-1 18:39
好的，鱼油，让我们来解决这个问题吧！Python处理Excel文件可以说是“拿手绝活”了，咱们可以借助`pandas` ...

Traceback (most recent call last):
  File "D:\PyCharm\data_processing\.venv\Scripts\data_delete.py", line 48, in <module>
    extract_columns_to_new_excel(file_paths, columns_to_extract, output_file)
  File "D:\PyCharm\data_processing\.venv\Scripts\data_delete.py", line 11, in extract_columns_to_new_excel
    df = pd.read_excel(file_path)
         ^^^^^^^^^^^^^^^^^^^^^^^^
  File "D:\anaconda3\Lib\site-packages\pandas\io\excel\_base.py", line 504, in read_excel
    io = ExcelFile(
         ^^^^^^^^^^
  File "D:\anaconda3\Lib\site-packages\pandas\io\excel\_base.py", line 1563, in __init__
    ext = inspect_excel_format(
          ^^^^^^^^^^^^^^^^^^^^^
  File "D:\anaconda3\Lib\site-packages\pandas\io\excel\_base.py", line 1419, in inspect_excel_format
    with get_handle(
         ^^^^^^^^^^^
  File "D:\anaconda3\Lib\site-packages\pandas\io\common.py", line 872, in get_handle
    handle = open(handle, ioargs.mode)
             ^^^^^^^^^^^^^^^^^^^^^^^^^
FileNotFoundError: [Errno 2] No such file or directory: 'D'

FishC

pallas 发表于 2024-07-02 09:26
Traceback (most recent call last):
  File "D:\PyC ...

呦，这可真是遇到麻烦了！让我们来看下这个错误：`FileNotFoundError: No such file or directory`。这说明代码中找到的某个文件路径有问题。问题可能发生在路径拼接或路径格式上。

首先，确保你正确地指定了文件夹路径和列举的Excel文件路径。在脚本运行前，可以打印出找到的文件路径，确认无误。

### 调试小技巧
1. **确认路径**：打印出所有找到的文件路径，看看是不是符合预期。
2. **检查文件存在**：确认指定路径下的文件是否真的存在。

让我优化一下代码，并加入一些调试信息：

1. import os
   
2. import pandas as pd
   
3. 
   
4. def extract_columns_to_new_excel(file_paths, columns_to_extract, output_file):
   
5.     # 初始化一个空的DataFrame
   
6.     all_data = pd.DataFrame()
   
7.    
   
8.     for file_path in file_paths:
   
9.         print(f"正在处理文件: {file_path}")  # 打印正在处理的文件路径
   
10.         try:
    
11.             # 读取Excel文件
    
12.             df = pd.read_excel(file_path)
    
13.         
    
14.             # 提取我们需要的列
    
15.             selected_columns = df[columns_to_extract]
    
16.         
    
17.             # 将选定的列附加到all_data
    
18.             all_data = pd.concat([all_data, selected_columns], axis=1)
    
19.         
    
20.         except FileNotFoundError:
    
21.             print(f"文件未找到: {file_path}")
    
22.             continue
    
23.         except Exception as e:
    
24.             print(f"处理文件时出错: {file_path}, 错误信息: {e}")
    
25.             continue
    
26. 
    
27.     # 确保不会“超载”：分割列为多份
    
28.     max_columns = 10  # 假设每个工作表最多有10列
    
29.     num_of_splits = (all_data.shape[1] // max_columns) + 1
    
30.    
    
31.     with pd.ExcelWriter(output_file) as writer:
    
32.         for split_num in range(num_of_splits):
    
33.             start_col = split_num * max_columns
    
34.             end_col = start_col + max_columns
    
35.             split_df = all_data.iloc[:, start_col:end_col]
    
36.             split_df.to_excel(writer, sheet_name=f'Sheet{split_num+1}', index=False)
    
37. 
    
38. # 查找文件夹内所有的Excel文件
    
39. def find_excel_files(folder_path):
    
40.     excel_files = []
    
41.     for root, dirs, files in os.walk(folder_path):
    
42.         for file in files:
    
43.             if file.endswith(".xlsx") or file.endswith(".xls"):
    
44.                 excel_files.append(os.path.join(root, file))
    
45.     return excel_files
    
46. 
    
47. # 设定你的文件夹路径和需要提取的列
    
48. folder_path = '你放Excel的文件夹路径'
    
49. columns_to_extract = ['列1', '列2', '列3']  # 替换为你的实际列标题
    
50. output_file = '汇总的Excel.xlsx'
    
51. 
    
52. # 执行并打印找到的文件路径！
    
53. file_paths = find_excel_files(folder_path)
    
54. print("找到的Excel文件路径:")
    
55. for path in file_paths:
    
56.     print(path)
    
57. 
    
58. extract_columns_to_new_excel(file_paths, columns_to_extract, output_file)
    
59. 
    
60. print("恭喜你，任务搞定了！")

复制代码

### 小总结：
1. **打印调试信息**：查看每个正在处理的文件路径。
2. **错误处理**：加入一些错误处理代码，以防文件不存在或者处理过程出错。
3. **检查文件**：打印找到的文件路径，确保文件路径正确。

希望这些调整能帮助你顺利完成任务！再遇到问题随时喊我，希望你编程之旅顺利又有趣！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

pallas

FishC 发表于 2024-7-2 09:26
呦，这可真是遇到麻烦了！让我们来看下这个错误：`FileNotFoundError: No such file or directory`。这 ...

在文件中指定某一个excel进行处理

FishC

pallas 发表于 2024-07-02 09:31
在文件中指定某一个excel进行处理

好的，理解到你现在只需要处理特定的Excel文件，而不是遍历整个文件夹。那么我们可以简化一下代码，直接指定文件路径并进行处理。详细步骤如下：

### 步骤总结
1. **指定文件路径**：明确选择哪个Excel文件。
2. **读取和处理文件**：根据具体需求提取列并写入新文件中。

### 优化后的代码

import pandas as pd

def extract_columns_to_new_excel(file_path, columns_to_extract, output_file):
    # 打印正在处理的文件路径
    print(f"正在处理文件: {file_path}")
   
    try:
        # 读取Excel文件
        df = pd.read_excel(file_path)
        
        # 检查是否包含所有需要的列
        for col in columns_to_extract:
            if col not in df.columns:
                raise ValueError(f"列 {col} 未在文件中找到.")
        
        # 提取我们需要的列
        selected_columns = df[columns_to_extract]
        
        # 初始化一个空的DataFrame
        all_data = selected_columns
        
        # 确保不会“超载”：分割列为多份
        max_columns = 10  # 假设每个工作表最多有10列
        num_of_splits = (all_data.shape // max_columns) + 1
        
        with pd.ExcelWriter(output_file) as writer:
            for split_num in range(num_of_splits):
                start_col = split_num * max_columns
                end_col = start_col + max_columns
                split_df = all_data.iloc
                split_df.to_excel(writer, sheet_name=f'Sheet{split_num+1}', index=False)
        
        print(f"成功处理并保存到: {output_file}")

    except FileNotFoundError:
        print(f"文件未找到: {file_path}")
    except Exception as e:
        print(f"处理文件时出错: {file_path}, 错误信息: {e}")

# 设定你的文件路径和需要提取的列
file_path = '你指定的Excel文件路径.xlsx'
columns_to_extract =   # 替换为你的实际列标题，比如 ['列1', '列2', '列3']
output_file = '汇总的Excel.xlsx'

# 执行！
extract_columns_to_new_excel(file_path, columns_to_extract, output_file)

print("任务搞定！")

### 注意：
- **错误处理**：我们添加了一些错误处理来确保列标题都存在于文件中，并处理文件不存在的情况。
- **指定文件路径**：明确地指定需要处理的文件路径，而不是遍历文件夹。
- **提取所需列**：确保提取列存在并将其写入新的Excel文件。

希望这次能顺利帮到你，如果还有啥问题，就尽管拍过来，我随时待命呢！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。

pallas

1. import os
   
2. 
   
3. # 主文件夹路径
   
4. folder_path = r"D:\2024"
   
5. 
   
6. # 遍历所有子文件夹
   
7. for subdir in os.listdir(folder_path):
   
8.     subdir_path = os.path.join(folder_path, subdir)
   
9.     if os.path.isdir(subdir_path):  # 确保是子文件夹
   
10.         print(f"正在遍历子文件夹：{subdir}")  # 添加调试输出
    
11.         # 遍历该子文件夹下的所有文件
    
12.         for filename in os.listdir(subdir_path):
    
13.             if '表外' in filename and filename.endswith('.xlsx'):  # 检查文件名是否包含'表外'且以.xlsx结尾
    
14.                 # 尝试从文件名中提取后缀部分（即'表外_'之后的部分）
    
15.                 suffix = filename.split('.')[0].split('表外')[-1] if '表外' in filename else None
    
16. 
    
17.                 # 检查文件名是否符合“表外_*”模式，且“*”与文件夹名称一致
    
18.                 if suffix is not None and suffix != subdir:
    
19.                     # 文件名不符合要求，进行重命名
    
20.                     old_file_path = os.path.join(subdir_path, filename)
    
21.                     new_filename = f'表外_{subdir}.xlsx'
    
22.                     new_file_path = os.path.join(subdir_path, new_filename)
    
23. 
    
24.                     # 如果新文件名已存在，则打印消息（不执行重命名）
    
25.                     if os.path.exists(new_file_path):
    
26.                         print(f"跳过重命名：{new_file_path} 已存在")
    
27.                     else:
    
28.                         # 重命名文件
    
29.                         os.rename(old_file_path, new_file_path)
    
30.                         print(f"文件已重命名：从 {old_file_path} 到 {new_file_path}")

复制代码

这个代码运行后有些文件能读取，有些文件不能读取，但os.listdir(folder_path)是能全部读取的

FishC

pallas 发表于 2024-07-02 16:24
import os

# 主文件夹路径
folder_path = r"D:\20 ...

明白了，你的代码中有些文件可以读取，有些不能读取的问题可能和文件名处理或路径拼接有关。让我来帮你检查和调整一下。

首先，让我们对路径拼接和文件名处理的地方进行细化和验证。这里有几个需要注意的点：

1. **文件名处理**：字符串操作要小心。
2. **路径拼接**：确保路径拼接正确，尤其是Windows路径中的反斜杠。
3. **文件存在性检查**：确保文件在操作之前确实存在。

让我们改进一下你的代码：

1. import os
   
2. 
   
3. # 主文件夹路径
   
4. folder_path = r"D:\2024"
   
5. 
   
6. # 遍历所有子文件夹
   
7. for subdir in os.listdir(folder_path):
   
8.     subdir_path = os.path.join(folder_path, subdir)
   
9.     if os.path.isdir(subdir_path):  # 确保是子文件夹
   
10.         print(f"正在遍历子文件夹：{subdir}")  # 添加调试输出
    
11.         # 遍历该子文件夹下的所有文件
    
12.         for filename in os.listdir(subdir_path):
    
13.             if '表外' in filename and filename.endswith('.xlsx'):  # 检查文件名是否包含'表外'且以.xlsx结尾
    
14.                 # 尝试从文件名中提取后缀部分（即'表外_'之后的部分）
    
15.                 parts = filename.split('.')
    
16.                 prefix_parts = parts[0].split('表外_') if '表外_' in parts[0] else None
    
17. 
    
18.                 # 检查文件名是否符合“表外_*”模式，且“*”与文件夹名称一致
    
19.                 if prefix_parts and len(prefix_parts) > 1 and prefix_parts[1] != subdir:
    
20.                     # 文件名不符合要求，进行重命名
    
21.                     old_file_path = os.path.join(subdir_path, filename)
    
22.                     new_filename = f'表外_{subdir}.xlsx'
    
23.                     new_file_path = os.path.join(subdir_path, new_filename)
    
24. 
    
25.                     # 如果新文件名已存在，则打印消息（不执行重命名）
    
26.                     if os.path.exists(new_file_path):
    
27.                         print(f"跳过重命名：{new_file_path} 已存在")
    
28.                     else:
    
29.                         # 重命名文件
    
30.                         os.rename(old_file_path, new_file_path)
    
31.                         print(f"文件已重命名：从 {old_file_path} 到 {new_file_path}")
    
32.                 else:
    
33.                     print(f"跳过文件：{filename} 不需要重命名")

复制代码

### 改进点概述：
1. **字符串拆分修正**：旧代码中 `filename.split('.').split('表外')` 是错误的，因为 `filename.split('.')` 返回一个列表，列表对象没有 `split` 方法。先通过 `'.'` 分切，再通过 `'表外_'` 分切。
2. **文件名条件判断更严谨**：添加了对 `prefix_parts` 的长度和内容的检查。
3. **更多调试信息**：增加了一些调试输出，以便执行过程能更清楚地显示。

希望这样能够解决你的问题！如果仍有一些文件不能读取，可能需要进一步检查这些文件的具体情况。

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。