Python调用grep，根据关键字生成多个文件

鬼王

python调用linux中的grep，根据多个不同关键字提取所在行的内容，生成多个文件

如文件1.txt（文件很大很大）

22333        124a                4328
3214                de12                213123423A
2321                2a23                ADLKEIO
4421                12cD                44839X
。。。。

关键词“a”，"de"，“c” 生成a.txt de.txt c.txt
a.txt包含：
22333        124a                4328
2321                2a23                ADLKEIO
。。。
de.txt包含：
3214                de12                213123423A
。。。
c.txt包含：
4421                12cD                44839X
。。。

只是拿三个关键字举例

nahongyan1997

我保证这是你没讲明白不是我没看明白。

鬼王

python调用linux中的grep，根据多个不同关键字提取所在行的内容，生成多个文件

如文件1.txt（文件很大很大）

22333        124a                4328
3214                de12                213123423A
2321                2a23                ADLKEIO
4421                12cD                44839X
。。。。

如关键词有三个，为a，de和c，通过提取关键词所在的行生成a.txt， de.txt 和c.txt三个文件
a.txt包含：
22333        124a                4328
2321                2a23                ADLKEIO
。。。
de.txt包含：
3214                de12                213123423A
。。。
c.txt包含：
4421                12cD                44839X
。。。

这里只是拿三个关键字举例，关键词可能有多个，因此生成的文件也可能有多个

Twilight6

pandas 直接提取参考代码：

1. import pandas as pd
   
2. 
   
3. df = pd.read_csv('Test.txt', sep='\t', header=None)
   
4. keys = ['a', 'de', 'c']
   
5. for key in keys:
   
6.     df[df[1].str.contains(key)].to_csv(key+'.txt', sep='\t', index=False, header=None)

复制代码

nahongyan1997

Twilight6 发表于 2021-6-27 21:32
pandas 直接提取参考代码：

他这个是用来干嘛的啊

Twilight6

nahongyan1997 发表于 2021-6-27 21:54
他这个是用来干嘛的啊

数据提取吧，不太清楚做什么用的

阿奇_o

1. 可以试一下：
   
2. from subprocess import call
   
3. call('cat t1.txt |grep -E "a+" >a.txt', shell=True)
   
4. 
   
5. 若文件真的很大，可以先拆分为小文件，如用shell命令split，
   
6. 将每一百万行拆分为一个文件，每个拆分后的文件名带指定序号后缀：
   
7. split --lines=1000000 --numeric-suffixes --suffix-length=2 Big_File.txt  bigfile_sp
   

复制代码

超级玛尼哄

超级玛尼哄

我来领币了，命中率10%，哭了

懒狗李

明日之光

1835575828

好