鱼C论坛

 找回密码
 立即注册
查看: 2939|回复: 4

如何使用多进程载入数据,谢谢

[复制链接]
发表于 2020-9-23 17:35:07 | 显示全部楼层 |阅读模式
20鱼币
本帖最后由 flyps 于 2020-9-23 20:12 编辑

有时因为数据过多,甚至是几十万多,光载入时间就需要几分钟,请问下面的代码,如何使用多进程提高载入的速度?谢谢!!
需载入的文件,我已上传至附件,需先解压,谢谢!!
import pandas as pd
import numpy as np
import tkinter as tk
from pandas import read_csv
from tkinter import ttk
from tkinter import filedialog
import time


root = tk.Tk()
root.geometry('300x600')
allframe = tk.Frame(root,height=300,width=600)
allframe.grid(row=0)

tree = ttk.Treeview(allframe,show='headings',height=30)

tree["columns"] = ('A','B')

tree.column("A",width=40,anchor='center')
tree.column("B",width=40,anchor='center')

tree.heading("A",text="#")
tree.heading("B",text="#")

tree.grid(row=0,column=0,sticky=tk.NSEW)

def load(treename):
        x=treename.get_children()
        for item in x:
            treename.delete(item)
        filename = filedialog.askopenfilename()
        #global file
        st = time.time()
        file = read_csv(filename,names=['a','b'])
        #print(file)
        for n in range(len(file)):
            file_list = list(file.iloc[n])
            #print(self.file_list)
            treename.insert('','end',values=file_list)
        ft = time.time()
        print('time:', ft - st)

theButton1 = tk.Button(allframe,text='载入',command=lambda:load(tree))
theButton1.grid(row=0,column=1,padx=25,pady=15,sticky=tk.N)

tk.mainloop()

66.rar

1.99 KB, 下载次数: 5

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-9-23 19:58:05 | 显示全部楼层
求大神解答,谢谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-9-23 20:34:38 | 显示全部楼层
看看https://www.cnblogs.com/cloud-ken/p/8432999.html是不是你要找的,用Tensorflow的那个。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-9-24 00:42:01 | 显示全部楼层
https://www.jianshu.com/p/4eb6be82b7cb,Modin库
可以试试
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

头像被屏蔽
发表于 2020-9-24 07:12:40 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-18 13:41

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表