[已解决]如何利用Python进行数据建模？

越越大宝贝

  最近，单位打算组织一个数据建模大赛（名字是这样的，不知道和数学建模有什么区别？），奖金比较丰厚，所以我打算参加这个比赛。但是，我对于数据建模一窍不通，所以就不知道该从哪些知识学起，在百度上逛了好几天，看的眼睛都花了也没有看出个所谓出来。就想问问论坛里面，有没有那种利用Python进行数据建模的速成方法。如果有的话，我应该从哪些方面着手呢？如果可以的话，最好能够推荐一个速成的教程给我。
  注：我对单位的数据建模大赛的理解是这样的，单位希望我们对单位现在汇聚的内外部数据进行分析，数据碰撞，从而得出一个可行性的结论出来。
①数据已经全部清洗好了，已存入oracle数据库中
②模型的主要功能侧重于大数据分析，找去潜在规律

最佳答案

月排行榜 / 总排行榜

jerryxjr1220

2017-8-7 15:46:02

越越大宝贝 发表于 2017-8-7 15:29
没人回吗！！我先抢个沙发！！

利用python进行数据建模和分析是很有优势的，因为python有非常强大的第三方库，比如numpy，dataframe等，对于数据的获取，也可以利用python的爬虫。

你的问题问得太宽泛，比如你要建模的数据主要是用来进行数学分析的？还是大数据统计的？你的数据来源是现成的？还是需要自己爬取的？你的数据量有多大？需不需要用到数据库等等。

对于，不同类型的问题有不同的处理方法。

跳转到最佳答案楼层

越越大宝贝

没人回吗！！我先抢个沙发！！

jerryxjr1220

越越大宝贝 发表于 2017-8-7 15:29
没人回吗！！我先抢个沙发！！

利用python进行数据建模和分析是很有优势的，因为python有非常强大的第三方库，比如numpy，dataframe等，对于数据的获取，也可以利用python的爬虫。

你的问题问得太宽泛，比如你要建模的数据主要是用来进行数学分析的？还是大数据统计的？你的数据来源是现成的？还是需要自己爬取的？你的数据量有多大？需不需要用到数据库等等。

对于，不同类型的问题有不同的处理方法。

越越大宝贝

jerryxjr1220 发表于 2017-8-7 15:46
利用python进行数据建模和分析是很有优势的，因为python有非常强大的第三方库，比如numpy，dataframe等， ...

问题确实很大！数据已经清洗好了，现成的在oracle里面，需要用到数据库的，主要用来进行大数据统计。数据量的话需要根据自己的模型来定，总数据量7亿条左右。

jerryxjr1220

越越大宝贝 发表于 2017-8-7 15:54
问题确实很大！数据已经清洗好了，现成的在oracle里面，需要用到数据库的，主要用来进行大数据统计。数据 ...

7亿条数据量已经不算小的了，如果需要用数据库的话，你必须先要熟悉一下python的相关库。另外，对于大数据的处理，最好用多线程或者分布式处理，不然执行会很慢。

越越大宝贝

jerryxjr1220 发表于 2017-8-7 17:23
7亿条数据量已经不算小的了，如果需要用数据库的话，你必须先要熟悉一下python的相关库。另外，对于大数 ...

7亿条数据是数据总量，估计真正用到的数据量也就在百万级别！！
你觉得《Python数据分析》怎么样，能够应对我们单位低级别的数据建模比赛吗！！
注：我们单位的其他参数人员估计都停留在理论基础上，语言，数据库神马的估计都不会。

                               
登录/注册后可看大图

新手·ing

越越大宝贝 发表于 2017-8-7 17:38
7亿条数据是数据总量，估计真正用到的数据量也就在百万级别！！
你觉得《Python数据分析》怎么样，能够 ...

大神，你会Python吗

新手·ing

建模什么的不是很懂
帮你百度下

http://www.so.com/link?m=avg%2BcTh9JEe8klG9Vb9zNF06%2BzzrKkoJPKG%2Bb1iW7EUhawXf3kmHdSLK8cet5P5HYCM6RAUFGjaKId6mkKBm7fd0l6XOgManuQYZWs1ALq2VlQQx6rg1jhu4FEMqDV9rA

只能告诉你，numpy + scipy + pandas + matplotlib

越越大宝贝

新手·ing 发表于 2017-8-7 19:24
大神，你会Python吗

简单学过！基本语法能看懂。

越越大宝贝

新手·ing 发表于 2017-8-7 19:28
建模什么的不是很懂
帮你百度下

好的，谢谢！

Cathaysian

前排围观

SixPy

越越大宝贝 发表于 2017-8-7 21:48
简单学过！基本语法能看懂。

难~

数据库，SQL
线性代数，矩阵，各种变换
统计，以及各种统计分析方法
再往下，就是 机器学习和深度神经网络了~

小锟

可以先用PCA降维的方法，提取出主要特征，然后针对主要特征进行分析，这样能减轻很多数据负担

越越大宝贝

SixPy 发表于 2017-8-7 23:04
难~

数据库，SQL

如果要真正的编写出一个模型，或者分析出数据结果出来!跟你说的一样需要学很多的东西，不过，我们单位的这个比赛还是很菜的，大家都不懂还举行建模大赛，硬着头皮赶潮流！！所有，只需皮毛定能斩获奖项，重要的是要酷炫！！！

越越大宝贝

小锟 发表于 2017-8-7 23:39
可以先用PCA降维的方法，提取出主要特征，然后针对主要特征进行分析，这样能减轻很多数据负担

等到我知识积累起来，估计我就能理解你的话了！！谢啦~

whdd

GOD乌索普

看看

钱闻韬

666

2418

666

13572044595

还有回帖鱼币，别浪费了~