[已解决]如何快速地刪除所有不在每一列IQR 內的数

kkken

一个dataframe, 有28列。
我只会一个一个列找它的IQR，然後刪除相应的行。
如何快速地刪除所有不在每一列IQR 內的行数。
谢谢。

最佳答案

月排行榜 / 总排行榜

阿奇_o

2021-11-20 00:35:22

你说的IQR 应该是统计学的 四分位距（InterQuantile Range） 吧，它的是 第三分位数Q3 - 第一分位数Q1 的 差值。
所以，你要过滤出"在每一列IQR內的行数"，也就是 分别过滤 大于Q1，小于Q3的 部分，
具体看如下的例子：

>>> df = pd.DataFrame({'a':[1, 3, 5, 7, 9], 'b':[0, 2, 4, 6, 8]})
>>> df
   a  b
0  1  0
1  3  2
2  5  4
3  7  6
4  9  8
>>> Q1, Q3 = df.quantile(0.25), df.quantile(0.75) # a,b两列的 Q1分别为3, 2  Q3分别为7, 6
>>> df = df[ df>=Q1 ]
>>> df = df[ df<Q3 ]
>>> df.dropna()
     a    b
1  3.0  2.0
2  5.0  4.0
>>> 

ps: 个人对统计学也不懂（只是曾自学过），以上可能有错误。

跳转到最佳答案楼层

suchocolate

看得一头雾水

阿奇_o

你说的IQR 应该是统计学的 四分位距（InterQuantile Range） 吧，它的是 第三分位数Q3 - 第一分位数Q1 的 差值。
所以，你要过滤出"在每一列IQR內的行数"，也就是 分别过滤 大于Q1，小于Q3的 部分，
具体看如下的例子：

>>> df = pd.DataFrame({'a':[1, 3, 5, 7, 9], 'b':[0, 2, 4, 6, 8]})
>>> df
   a  b
0  1  0
1  3  2
2  5  4
3  7  6
4  9  8
>>> Q1, Q3 = df.quantile(0.25), df.quantile(0.75) # a,b两列的 Q1分别为3, 2  Q3分别为7, 6
>>> df = df[ df>=Q1 ]
>>> df = df[ df<Q3 ]
>>> df.dropna()
     a    b
1  3.0  2.0
2  5.0  4.0
>>> 

ps: 个人对统计学也不懂（只是曾自学过），以上可能有错误。

kkken

阿奇_o 发表于 2021-11-20 00:35
你说的IQR 应该是统计学的 四分位距（InterQuantile Range） 吧，它的是 第三分位数Q3 - 第一分位数Q1 的  ...

谢谢。
另外，我想问您知道dimension reduction (PCA) 吗？
我是python 新手。