【求助】pandas导入40G的csv运行内存不足问题

我要先python

我写的代码：

1. trips = pd.read_csv('D:\BA302\data source\Trips.csv')

复制代码

用的是juypter notebook。
关于大数据的处理，，我有了解到pandas库的IO工具和用for循环写的，无奈本人水平有限，网上的看不太懂。
想求助大佬看看，怎么写代码能导入这40G的数据呢

下面是报错的内容。

1. ---------------------------------------------------------------------------
   
2. MemoryError                               Traceback (most recent call last)
   
3. <ipython-input-3-f832ad24d0d6> in <module>
   
4. ----> 1 trips = pd.read_csv('D:\BA302\data source\Trips.csv')
   
5. 
   
6. D:\software\anaconda\lib\site-packages\pandas\io\parsers.py in parser_f(filepath_or_buffer, sep, delimiter, header, names, index_col, usecols, squeeze, prefix, mangle_dupe_cols, dtype, engine, converters, true_values, false_values, skipinitialspace, skiprows, skipfooter, nrows, na_values, keep_default_na, na_filter, verbose, skip_blank_lines, parse_dates, infer_datetime_format, keep_date_col, date_parser, dayfirst, cache_dates, iterator, chunksize, compression, thousands, decimal, lineterminator, quotechar, quoting, doublequote, escapechar, comment, encoding, dialect, error_bad_lines, warn_bad_lines, delim_whitespace, low_memory, memory_map, float_precision)
   
7.     683         )
   
8.     684
   
9. --> 685         return _read(filepath_or_buffer, kwds)
   
10.     686
    
11.     687     parser_f.__name__ = name
    
12. 
    
13. D:\software\anaconda\lib\site-packages\pandas\io\parsers.py in _read(filepath_or_buffer, kwds)
    
14.     461
    
15.     462     try:
    
16. --> 463         data = parser.read(nrows)
    
17.     464     finally:
    
18.     465         parser.close()
    
19. 
    
20. D:\software\anaconda\lib\site-packages\pandas\io\parsers.py in read(self, nrows)
    
21.    1152     def read(self, nrows=None):
    
22.    1153         nrows = _validate_integer("nrows", nrows)
    
23. -> 1154         ret = self._engine.read(nrows)
    
24.    1155
    
25.    1156         # May alter columns / col_dict
    
26. 
    
27. D:\software\anaconda\lib\site-packages\pandas\io\parsers.py in read(self, nrows)
    
28.    2057     def read(self, nrows=None):
    
29.    2058         try:
    
30. -> 2059             data = self._reader.read(nrows)
    
31.    2060         except StopIteration:
    
32.    2061             if self._first_chunk:
    
33. 
    
34. pandas\_libs\parsers.pyx in pandas._libs.parsers.TextReader.read()
    
35. 
    
36. pandas\_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory()
    
37. 
    
38. pandas\_libs\parsers.pyx in pandas._libs.parsers.TextReader._read_rows()
    
39. 
    
40. pandas\_libs\parsers.pyx in pandas._libs.parsers.TextReader._convert_column_data()
    
41. 
    
42. pandas\_libs\parsers.pyx in pandas._libs.parsers._maybe_upcast()
    
43. 
    
44. MemoryError:

复制代码

qq1151985918

我的天40G的数据，不懂帮顶，感觉是有点难度啊

我要先python

糖逗

电脑内存不足？这个似乎也没办法。

叙白

用数据库吧

zgwzgw

彩虹七号

我也想知道怎么读取这么大的文件，可以试一试nrows 这个参数，按行数读取

Stubborn

可以自己写一个上下文管理器方便点，或者用自带的with去逐行读取（读取到一定数量进行任务操作）