[已解决]读一个大型txt文件，8列数据，删除第8列数据中为1的行数。求大佬讲下代码思路

zzu圈圈

读一个大型txt文件，8列数据，删除第8列数据中为1的行数。求大佬讲下代码思路

最佳答案

月排行榜 / 总排行榜

snaker

2019-11-29 10:30:35

我猜你还要问怎么保存文件，所以一并给你写了

1. lists=[]    # 创建空白列表
   
2. with open('TEST.txt','r') as f:
   
3.     for line in f:    # 循环遍历每一行
   
4.         if line.split(' ')[7].strip() != '1':    # 按空格分列，判断第8列不等于1
   
5.             lists.append(line)    # 条件为真，将这一行加入到新列表中
   
6. new_file=open('NEW.txt','w')
   
7. new_file.write(''.join(lists))
   
8. new_file.close()

复制代码

跳转到最佳答案楼层

snaker

lists=[]    # 创建空白列表
for line in lines:    # 循环遍历每一行
    if line.split(' ')[7]!='1':    # 按空格分列，判断第8列不等于1
        lists.append(line)    # 条件为真，将这一行加入到新列表中

zzu圈圈

snaker 发表于 2019-11-29 09:41
lists=[]    # 创建空白列表
for line in lines:    # 循环遍历每一行
    if line.split(' ')[7]!='1':  ...

读大型txt怎么读啊，大佬

wp231957

zzu圈圈 发表于 2019-11-29 09:45
读大型txt怎么读啊，大佬

大型能有多大啊

zzu圈圈

wp231957 发表于 2019-11-29 09:48
大型能有多大啊

700M   2千万行  8列

yjsx86

zzu圈圈 发表于 2019-11-29 09:50
700M   2千万行  8列

with open('xxx.txt') as f:
    //读取一行
    for x in f:
        code

这样是带buffer的io, 不用担心爆内存

snaker

我猜你还要问怎么保存文件，所以一并给你写了

1. lists=[]    # 创建空白列表
   
2. with open('TEST.txt','r') as f:
   
3.     for line in f:    # 循环遍历每一行
   
4.         if line.split(' ')[7].strip() != '1':    # 按空格分列，判断第8列不等于1
   
5.             lists.append(line)    # 条件为真，将这一行加入到新列表中
   
6. new_file=open('NEW.txt','w')
   
7. new_file.write(''.join(lists))
   
8. new_file.close()

复制代码