python读取大的txt文件问题

gaoren2017

现在有一个几百m大小的txt文件，里面有六百多万行，每行有76个指标的数据，用#号隔开的，有什么快速的读取办法啊，我用pandas的readtable读到猴年马月也没读完，我最后要分析每个指标的情况的。网上搜过用readline，但详细怎么做呢，新手请教

ooxx7788

1. 
   
2. # File: readline-example-3.py
   
3. 
   
4. file = open("sample.txt")
   
5. 
   
6. while 1:
   
7.     lines = file.readlines(100000)
   
8.     if not lines:
   
9.         break
   
10.     for line in lines:
    
11.         pass # do something

复制代码

试试看这样咯！

gopythoner

1. with open("yourfile.txt","r") as f:
   
2.   data = f.readlines()
   
3. #data 就是所有行的数据组成的列表

复制代码

不过你不单纯是想要读取数据，你的目的是在于分析数据，所以还是要用pandas和numpy库

gaoren2017

gopythoner 发表于 2017-4-13 09:09
不过你不单纯是想要读取数据，你的目的是在于分析数据，所以还是要用pandas和numpy库

对的，我读成list再用dataframe转换呢？可以吗

没有土豆的洋芋

大哥 你会了没 教一下我啊