论坛 › Python交流 › python处理Excel大文件速度太慢！！

pytao 发表于 2022-4-4 14:35:51

{:9_241:}

andy大宝 发表于 2022-4-4 18:37:29

file是什么啊

andy大宝 发表于 2022-4-4 18:38:00

{:10_245:}

qq1151985918 发表于 2022-4-4 21:32:34

{:9_227:}

elven08 发表于 2022-4-5 09:26:00

我也处理过类似的，有点经验仅供参考，其实读取不慢，慢的是append和concat。
我采取的是循环读取，然后再concat。

隔壁老程呀 发表于 2022-4-5 09:42:31

加油

tiangtian 发表于 2022-4-5 18:15:59

怎么解决的？

1050293757 发表于 2022-4-10 20:40:17

{:5_109:}

AFAEGA 发表于 2022-4-11 10:15:53

{:7_146:}

a1372245671 发表于 2022-4-11 10:18:22

{:5_109:}

东方天晨 发表于 2022-4-11 19:38:25

？？？

我叫武炜昊 发表于 2022-4-11 19:38:57

？？？

QQ小鱼 发表于 2022-4-11 19:59:29

有钱人，加油

okamn 发表于 2022-4-11 20:14:04

不知道啊{:10_266:}

AFAEGA 发表于 2022-4-12 11:27:09

{:7_146:}

一身腱子肉 发表于 2022-4-12 17:21:51

路过进来学习，pandas优势在于数据处理（类似统计等），针对excel处理还是推荐openpyxl和xlwings

DetConan 发表于 2022-4-13 13:19:28

可以看看具体慢的是read还是concat

rsj0315 发表于 2022-4-14 08:17:59

10个文件，能不能试试多线程去读呢，def concat_file():
    with concurrent.futures.ThreadPoolExecutor() as executor:
    # with concurrent.futures.ProcessPoolExecutor() as executor:
      f_451 = executor.submit(read_txt,path_45_1,'45-1')
      f_452 = executor.submit(read_txt,path_45_2, '45-2')
      f_651 = executor.submit(read_txt,path_65_1, '65-1')
      f_120 = executor.submit(read_txt,path_120, '120')
      f_ws = executor.submit(read_txt,path_wenshui, '温水')
      f_1501 = executor.submit(read_txt,path_150_1, '150-1')
      f_1502 = executor.submit(read_txt,path_150_2, '150-2')
      df_451 = f_451.result()
      df_452 = f_452.result()
      df_651 = f_651.result()
      df_120 = f_120.result()
      df_ws = f_ws.result()
      df_1501 = f_1501.result()
      df_1502 = f_1502.result()
    df = pd.concat()

songwentao 发表于 2022-4-14 08:54:50

加油

阿萨德按时 发表于 2022-4-14 10:17:49

{:10_254:}

查看完整版本: python处理Excel大文件速度太慢！！