pickle能处理股票数据吗？

qianczar · 发表于 2015-5-26 23:43:58

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 qianczar 于 2015-5-27 23:07 编辑

我现在已经把所有A股数据通过pandas读取的方式导入了DataFrame。详细说明见5楼。题目写的不对，我想问的是如何用pandas快速处理大量股票数据？之前写的不对，但是改不了

qianczar · 发表于 2015-5-26 23:51:17

其实我的本意就是想对所有历史股票数据进行回测，数据量大概几百兆，现在已经用pandas的DataFrame导入每只股票的数据，到了一个列表中。然后想知道有什么方法能快速的进行回测？

Reed · 发表于 2015-5-27 00:36:50

pandas 和 sqlite3 都有内置的来回转换的方法，google一下

aauutthh · 发表于 2015-5-27 09:56:32

这个很简单呀. 要么用struct.pack 要么用 ctype
可以像C一样直接转换内存数据.

qianczar · 发表于 2015-5-27 23:03:17

首先谢谢上面两位的解答。我之前没表达明白，情况是现在我已经把股票的数据导入了DataFrame，是每只股票一个DataFrame，然后把这2000多个股票对应DataFrame导入了一个列表中。每个DataFrame中是column是几个指标，index是时间序列（时间跨度不等，平均上千天）。然后我的目标是想对过去这么多天中，每一天的每一只股票通过相关指标进行计算，最后在每一天都选出几只符合我要求的股票，然后持有几天后卖出，算出收益率。然后将这一过程持续上千次（实际上就是对选股模型进行回测），算出最后的收益率等等数据。然后这一过程如果直接在DataFrame中运行的话，速度好像不快（可能是我代码写的不好），现在就想问，有没有任何工具或者库之类的，能结合DataFrame进行快速的查询，检索，运算等等，最好能说的稍微详细点，因为本人新手，刚接触pandas。还有上面3楼朋友说的sqlite是否能达到这个快速运算的要求？4楼朋友说的这两个是能提速的吗？@Reed @aauutthh

kissbar · 发表于 2015-5-27 23:15:48

你学得也太快了吧帮顶了

kissbar · 发表于 2015-5-31 20:28:26

没有大神来吗我也想学

liyf · 发表于 2015-6-1 06:51:39

你这样做估计机子挺累，人也等着累，最好是分类统计结果保存成零时数据表，快速加载:lol:

我是一只小菜鸟 · 发表于 2015-6-1 10:15:44

菜鸟帮顶

qianczar · 发表于 2015-6-1 18:33:52

具体的说，我是想实现这个网站 https://www.ricequant.com/api#dividends-splits-header 类似的选股策略的回测。问题是这个网站用的是JAVA，然而我并不会，所以想用python，使用已经下载到本地的股票数据完成它。然而我发现这个网站的策略回测只要几秒中，但我用python自己编程光是一天的运算就要好几秒，更不用说几年了。所以有好心鱼油帮帮我么？

我是一只小菜鸟 · 发表于 2015-6-1 19:17:44

来过求鱼币

hdfrr · 发表于 2015-6-12 11:06:43

哇好复杂哦，观摩高手解答

qianczar · 发表于 2015-7-6 23:04:04

我是一只小菜鸟发表于 2015-6-1 19:17
来过求鱼币

还需要鱼币吗，这个问题已经想到办法了

qianczar · 发表于 2015-7-19 00:56:57

自问自答，发现大规模数据存储一个很好的模块，h5py或者PyTables,都是用的HDF5格式。

无所谓无的 · 发表于 2015-7-23 11:26:50

你学得也太快了吧·！！h5py或者PyTables,

xuff · 发表于 2015-9-13 09:55:03

观望高手们

yejiawei1234 · 发表于 2015-9-20 18:22:22

观望高手支招

yejiawei1234 · 发表于 2015-9-20 19:13:37

希望楼主可以公开代码，一起交流学习

yejiawei1234 · 发表于 2015-9-20 19:14:08

@qianczar

assd · 发表于 2015-11-9 15:11:30

我来观摩观摩

账号		自动登录	找回密码
密码			立即注册