python读取大的txt文件问题

gaoren2017

现在有一个几百m大小的txt文件，里面有六百多万行，每行有76个指标的数据，用#号隔开的，有什么快速的读取办法啊，我用pandas的readtable读到猴年马月也没读完，我最后要分析每个指标的情况的。网上搜过用readline，但详细怎么做呢，新手请教

ooxx7788

# File: readline-example-3.py
 
file = open("sample.txt")
 
while 1:
    lines = file.readlines(100000)
    if not lines:
        break
    for line in lines:
        pass # do something

试试看这样咯！

gopythoner

with open("yourfile.txt","r") as f:
  data = f.readlines()
#data 就是所有行的数据组成的列表

不过你不单纯是想要读取数据，你的目的是在于分析数据，所以还是要用pandas和numpy库

gaoren2017

gopythoner 发表于 2017-4-13 09:09
不过你不单纯是想要读取数据，你的目的是在于分析数据，所以还是要用pandas和numpy库

对的，我读成list再用dataframe转换呢？可以吗

没有土豆的洋芋

大哥 你会了没 教一下我啊