python处理Excel大文件速度太慢！！

Lwq_Official · 发表于 2022-3-28 17:01:43

您需要登录才可以下载或查看，没有账号？立即注册

x

本人想做个小工具用来处理Excel文件，总计10个文件，每个文件大概100多M，读取所有文件后合并，后进行一些字段的处理，然后生成数据透视表并保存。但是使用pandas中的read_excel去读取Excel文件速度太慢，单个读取大概需要十多分钟，速度太慢了。请问各位大佬们有什么好的解决办法吗？

wp231957 · 发表于 2022-3-28 17:14:42

那好像没啥办法，你原始文件太大

wiselin · 发表于 2022-3-28 17:24:10

我也遇到过，网上资料说用只读模式打开会快很多，但是处理还是慢，看看哪位有更好的办法

阿奇_o · 发表于 2022-3-28 20:49:16

100多M？有点大哦。。不过你的代码可以优化一下，改用生成器，如

pd.concat( (pd.read_excel(f, usecols=[], ...) for f in files[0] ), ) #可以先测试一下第一个，耗时多久

复制代码

这样看看，能否满足你的需要。

另外，read_excel() 可以指定读写engine，如果速度还是不够快，那试着指定和配置一个更强大的engine，看看行不行。

hrpzcf · 发表于 2022-3-28 20:52:35

除了像楼上所说的优化逻辑，还可以试试xlwings这个库，这个库性能比较好

1050293757 · 发表于 2022-3-28 21:00:36

tjweiyanmin · 发表于 2022-3-28 21:03:31

加油

myqf123 · 发表于 2022-3-28 22:33:38

路过看看

hornwong · 发表于 2022-3-28 23:15:21

顶顶

amazed · 发表于 2022-3-29 01:28:40

66666666666

isdkz · 发表于 2022-3-29 08:04:05

心驰神往 · 发表于 2022-3-29 08:04:32

fxj2002 · 发表于 2022-3-29 08:22:28

藤井树s · 发表于 2022-3-29 08:36:28

sunyt · 发表于 2022-3-29 09:00:33

C丁洞杀O · 发表于 2022-3-29 10:03:38

哎，我真的是太拉了，都会Python？？？

礼拜天 · 发表于 2022-3-29 10:25:56

加油。

hornwong · 发表于 2022-3-29 10:27:07

伽羅~ · 发表于 2022-3-29 13:20:35

a1372245671 · 发表于 2022-3-29 14:11:23

账号		自动登录	找回密码
密码			立即注册