第一列相同数据合并，第二列对应相加

一个很小白的人

如题，两列数据，第一列数据相同，第二列对应的数据合并相加  

Python中如何能够快速实现，因为数据量有点大，而且第二列数据合并后，会比较多


求大神们指点 万分感谢

ooxx7788

numpy或者pandas两者你要会一个

一个很小白的人

ooxx7788 发表于 2017-9-8 16:58
numpy或者pandas两者你要会一个

想用pandas  pandas我也会一点 但是写不好

ooxx7788

一个很小白的人 发表于 2017-9-8 19:24
想用pandas  pandas我也会一点 但是写不好

对于numpy而言，只需要你把A咧,B列分别做为array对象，然后直接对加就是你要的结果。不过因为你说的也不是太清楚，可能具体细节有出入。不过如果不使用这种工具，光靠python自身而言，如果特别大量的数字，可能会稍微有点慢。不过你也没说你有的数据大概是个什么量级。

一个很小白的人

ooxx7788 发表于 2017-9-8 20:20
对于numpy而言，只需要你把A咧,B列分别做为array对象，然后直接对加就是你要的结果。不过因为你说的也 ...

数据量 大约有5千万行这样子   然后是两列数据   比如：
a    123
a    358
b    789
c    556
数据结构大致上面这样 两列 需要把第一列相同数据，对应的第二列的合并
a    123  358
b    789
c     556
处理后这个样子

ooxx7788

一个很小白的人 发表于 2017-9-8 23:04
数据量 大约有5千万行这样子   然后是两列数据   比如：
a    123
a    358

1. import pandas as pd
   
2. import numpy as np
   
3. df = pd.DataFrame({'A':['a','a','b','c'],'B':[123,456,555,888]})
   
4. df
   
5.         A        B
   
6. 0        a        123
   
7. 1        a        456
   
8. 2        b        555
   
9. 3        c        888
   
10. 
    
11. df.groupby('A')['B'].apply(lambda x: pd.Series(x.values)).unstack()
    
12.              0              1
    
13. A               
    
14. a        123.0        456.0
    
15. b        555.0        NaN
    
16. c        888.0        NaN

复制代码

我不知道这样算不算你想要的结果。至于速度，5000万条我也没试过，感觉压力还是很大的，建议还是分割成若干小DF进行读取，然后进行再操作。

一个很小白的人

ooxx7788 发表于 2017-9-9 10:31
我不知道这样算不算你想要的结果。至于速度，5000万条我也没试过，感觉压力还是很大的，建议还是分 ...

好的~万分感谢，我试试看，有什么问题再请教你啦 感谢感谢~