TTTMMMXXX 发表于 2022-8-21 22:52:44

矩阵的缺失值统计

我有一个20K*20K的矩阵要统计其中哪些位置的值是缺失值以及各行的缺失值个数,请问大佬们有没有相对节省运算空间的运算思路?

qq1151985918 发表于 2022-8-21 23:04:03

咋搞都得遍历要不怎么知道哪个是缺失值?遍历都差不多

Hello. 发表于 2022-8-21 23:04:46

1.检查是否有缺失值
列:

data.isnull().any()
print(data.isnull().any())

false无缺失值/true有缺失值

结果例样:
age false
name false
school true

school的这一列有缺失值,其他列无缺失值。

行:

data.isnull().any(axis=1)
print(data.isnull().any(axis=1))

false无缺失值/true有缺失值

结果例样:
0 False
1 False
2 False
3 False
4 False
5 False
6 False
7 False
8 True

0-7行无缺失值,第8行有缺失值。

2.统计缺失值的数量
列:

data.isnull().sum()
print(data.isnull().sum())
#想只显示age这一列的缺失值数量:
#data.age.isnull().sum()
#print(data.age.isnull().sum())

输出例样:
age 0
name 0
school 20

data.isnull().any().sum()#统计共有几列存在缺失值
print(data.isnull().any().sum())

结果为:1

行:

data.isnull().sum(axis=1)
print(data.isnull().sum(axis=1))

输出例样:
1 0
2 2
3 1
第二行有2个缺失值,第三行有1个缺失值。

data.isnull().any().sum(axis=1)#统计共有几行存在缺失值
print(data.isnull().any().sum(axis=1))

结果为2
页: [1]
查看完整版本: 矩阵的缺失值统计