Pandas的数据清洗——构造NaN数据与查看

gzj137070928

Pandas的数据清洗——构造NaN数据
在Pandas的各类数据Series和DataFrame里字段值为NaN的为缺失数据，
不代表0而是说没有赋值数据。数据的缺失有很多原因，缺失不是错误、无效，
需要对缺失的数据进行必要的技术处理，以便后续的计算、统计

1. import pandas as pd
   
2. import numpy as np
   
3. val = np.arange(10, 38).reshape(7, 4)
   
4. col = list("abcd")
   
5. idx = "cake make fake sake wake lake take".split()
   
6. df = pd.DataFrame(val, columns = col, index = idx)
   
7. print df
   
8. df["e"] = np.nan
   
9. df.at["make", "e"] = 100
   
10. df.at["wake", "e"] = 300
    
11. df.loc["jake"] = np.nan
    
12. df.at["jake", "c"] = 200
    
13. df["f"] = np.nan
    
14. print (df)
    
15. # 下面是查看NaN数据
    
16. # 查看缺失数据的情况可以用pandas的isnull函数看看有那些字段上的数据缺失，
    
17. # 可以用sum进行统计。也可使用notnull和count函数统计非NaN数据量。
    
18. print ("which has Nan?\n", df.isnull(),"\n")
    
19. print ("each column has NaN\n", df.isnull().sum(),"\n")
    
20. print ("total has NaN\n", df.isnull().sum().sum(),"\n")
    
21. print ("each column values\n", df.count(),"\n")
    
22. print ("which column values\n", df.notnull())

复制代码