鱼C论坛

 找回密码
 立即注册
查看: 1679|回复: 1

有关csv文件处理求助!新手的自编内存溢出!求助大神

[复制链接]
发表于 2018-2-26 22:58:57 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
A.csv格式如下:
时间                                         id                                lng                        lat
2018/01/01 00:00:00        4589657                112.0002                23.0001
2018/01/01 04:00:00        4589564                112.0322                23.1501
2018/01/01 06:00:00        4589333                112.0332                23.0032
2018/01/01 09:00:00        4589222                112.0003                23.0004                                (任务需要选中行)
2018/01/02 08:00:00        4589111                112.0034                23.1101
如此数据100w行

B.csv格式如下:
编号                                        时间                                                lng                        lat
12345678910                2018/01/01 09:00:00                112.0004                23.0005                        (任务需要选中行)
12345678912                2018/01/01 03:00:00                112.1103                23.0004
12345678914                2018/01/02 02:00:00                112.1203                23.0004
12345678934                2018/01/04 06:00:00                112.2303                23.0004
12345678977                2018/01/05 09:00:00                112.9903                23.0004

如此数据1000+行
读取B数据,每一行
输入时间误差N小时,输入lng,lat的误差
比如读取B的第一条数据 12345678910                2018/01/01 09:00:00                112.0004                23.0005       
误差为2小时,则把A中时间在2018/01/01 07--09:00:00时间内A的该行数据选出
输入lng,lat的误差比如输入0.001,B数据第一条中的112.0004 正负0.001,和l 23.0005 正负0.001的数值范围内
如果上面在误差时间选出的该条数据,又满足lng,lat的误差范围内,则选出A的该条数据和B的该条数据合并输出到新的csv文件中

小弟新手菜鸟,自己是编写出来了,无奈8g内存的6代I7直接内存溢出。。。求高手解救什么办法可以解决这个问题
可以运行1小时出结果都行,不内存溢出即可。
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-2-26 23:00:11 | 显示全部楼层
因为满足上述写的条件,因此带括号注明任务需要选中行的两行就选出,需要合并输出到新csv中
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-12-28 05:01

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表