Lwq_Official
发表于 2022-3-28 17:01:43
python处理Excel大文件速度太慢！！
本人想做个小工具用来处理Excel文件，总计10个文件，每个文件大概100多M，读取所有文件后合并，后进行一些字段的处理，然后生成数据透视表并保存。但是使用pandas中的read_excel去读取Excel文件速度太慢，单个读取大概需要十多分钟，速度太慢了。请问各位大佬们有什么好的解决办法吗？
wp231957
发表于 2022-3-28 17:14:42
那好像没啥办法，你原始文件太大
wiselin
发表于 2022-3-28 17:24:10
我也遇到过，网上资料说用只读模式打开会快很多，但是处理还是慢，看看哪位有更好的办法
阿奇_o
发表于 2022-3-28 20:49:16
100多M？ 有点大哦。。不过你的代码可以优化一下，改用生成器，如
pd.concat( (pd.read_excel(f, usecols=[], ...) for f in files ),) #可以先测试一下第一个，耗时多久
这样看看，能否满足你的需要。
另外，read_excel() 可以指定读写engine，如果速度还是不够快，那试着指定和配置一个更强大的engine，看看行不行。
hrpzcf
发表于 2022-3-28 20:52:35
除了像楼上所说的优化逻辑，还可以试试xlwings这个库，这个库性能比较好
1050293757
发表于 2022-3-28 21:00:36
{:5_109:}
tjweiyanmin
发表于 2022-3-28 21:03:31
加油
myqf123
发表于 2022-3-28 22:33:38
路过看看
hornwong
发表于 2022-3-28 23:15:21
顶顶
amazed
发表于 2022-3-29 01:28:40
66666666666
isdkz
发表于 2022-3-29 08:04:05
{:10_260:}
心驰神往
发表于 2022-3-29 08:04:32
顶
fxj2002
发表于 2022-3-29 08:22:28
{:5_95:}
藤井树s
发表于 2022-3-29 08:36:28
{:5_105:}
sunyt
发表于 2022-3-29 09:00:33
6
C丁洞杀O
发表于 2022-3-29 10:03:38
哎，我真的是太拉了，都会Python？？？
礼拜天
发表于 2022-3-29 10:25:56
加油。
hornwong
发表于 2022-3-29 10:27:07
{:5_95:}
伽羅~
发表于 2022-3-29 13:20:35
{:10_279:}
a1372245671
发表于 2022-3-29 14:11:23
{:10_289:}