python处理Excel大文件速度太慢！！

pytao

andy大宝

file是什么啊

andy大宝

qq1151985918

elven08

我也处理过类似的，有点经验仅供参考，其实读取不慢，慢的是append和concat。
我采取的是循环读取，然后再concat。

隔壁老程呀

加油

tiangtian

怎么解决的？

1050293757

AFAEGA

a1372245671

东方天晨

？？？

我叫武炜昊

？？？

QQ小鱼

有钱人，加油

okamn

不知道啊

AFAEGA

一身腱子肉

路过进来学习，pandas优势在于数据处理（类似统计等），针对excel处理还是推荐openpyxl和xlwings

DetConan

可以看看具体慢的是read还是concat

rsj0315

10个文件，能不能试试多线程去读呢，

1. def concat_file():
   
2.     with concurrent.futures.ThreadPoolExecutor() as executor:
   
3.     # with concurrent.futures.ProcessPoolExecutor() as executor:
   
4.         f_451 = executor.submit(read_txt,path_45_1,'45-1')
   
5.         f_452 = executor.submit(read_txt,path_45_2, '45-2')
   
6.         f_651 = executor.submit(read_txt,path_65_1, '65-1')
   
7.         f_120 = executor.submit(read_txt,path_120, '120')
   
8.         f_ws = executor.submit(read_txt,path_wenshui, '温水')
   
9.         f_1501 = executor.submit(read_txt,path_150_1, '150-1')
   
10.         f_1502 = executor.submit(read_txt,path_150_2, '150-2')
    
11.         df_451 = f_451.result()
    
12.         df_452 = f_452.result()
    
13.         df_651 = f_651.result()
    
14.         df_120 = f_120.result()
    
15.         df_ws = f_ws.result()
    
16.         df_1501 = f_1501.result()
    
17.         df_1502 = f_1502.result()
    
18.     df = pd.concat([df_451,df_452,df_651,df_120,df_ws,df_1501,df_1502])

复制代码

songwentao

加油

阿萨德按时