关于获取数据异常值的代码几处疑问。问题可能有点多。已经加了注释。请大神帮忙指点

鹿酸梅

1.     # predict y value using model
   
2.     try:
   
3.         y_pred=pd.Series(model.predict(X),index=y.index)       #这里try里面和except里面的代码不懂是什么意思，,index=y.index是什么意思，为什么在except里面加上model.fit(X,y)
   
4.     except:
   
5.         model.fit(X,y)
   
6.         y_pred=pd.Series(model.predict(X),index=y.index)
   
7. 
   
8.     reside=y-y_pred  
   
9.     mean_reside=reside.mean()  
   
10.     std_reside=reside.std()   
    
11. 
    
12.     z=(reside-mean_reside)/std_reside
    
13.     outliers=z[abs(z)>sigma].index        #设置异常数据的条件
    
14. 
    
15.   
    
16.     print('R2=',model.score(X,y))
    
17.     print('mse=',mean_squared_error(y,y_pred))  
    
18.     print('----------------------------------')
    
19. 
    
20.     print(len(outliers),'outliers')
    
21.     print(outliers.tolist)      
    
22. 
    
23.     plt.figure(figsize=(15,5))
    
24.     ax_131=plt.subplot(1,3,1)
    
25.     plt.plot(y,y_pred,'.')
    
26.     plt.plot(y.loc[outliers],y_pred.loc[outliers],'ro')
    
27.    
    
28.     plt.legend(['Accepted','Outlier'])   
    
29.     plt.xlabel('y')
    
30.     plt.ylabel('y_pred');
    
31.     plt.show()  ###################代码运行结果(如图)，是因为这里的区别，不加这一句就是正常结果，但是想不明白加了为什么会是图片所示的那样紫
    
32. 
    
33. 
    
34. 
    
35.     ax_132=plt.subplot(1,3,2)
    
36.     plt.plot(y,y-y_pred,'.')
    
37.     plt.plot(y.loc[outliers],y.loc[outliers]-y_pred.loc[outliers],'ro')
    
38.     plt.legend(['Accepled','Outlier'])
    
39.     plt.xlabel('y')
    
40.     plt.ylabel('y-y_pred')
    
41.    
    
42. 
    
43.     ax_133=plt.subplot(1,3,3)
    
44.     z.plot.hist(bins=50,ax=ax_133)
    
45.     z.loc[outliers].plot.hist(color='r',bins=50,ax=ax_133)     #ax=ax_133是什么意思，并没有在hist函数中找到ax参数
    
46.     plt.legend(['Accepted','Outlier'])
    
47.     plt.xlabel('z')
    
48.    
    
49. 
    
50. 
    
51.     plt.savefig('outliers.png')
    
52. 
    
53.     return outliers
    
54. from sklearn.linear_model import Ridge
    
55. from sklearn.metrics import mean_squared_error
    
56. X_train=train_data.iloc[:,0:-1]                                           #不明白这句代码的意思
    
57. y_train=train_data.iloc[:,-1]
    
58. outliers=find_outliers(Ridge(),X_train,y_train)

复制代码

Python初学者8号

我是用箱线图方法做的

Python初学者8号

1. import pandas as pd
   
2. import numpy as np
   
3. # 读取文件
   
4. file = 'S3地下水位高程-step2.CSV'
   
5. f = pd.read_csv(file, encoding='gbk')
   
6. f.head()
   
7. # 定义 异常点 正常点 的集合
   
8. anomalies,normal= [],[]
   
9. 
   
10. # 统计高程的信息
    
11. f1 = f.describe()
    
12. sdata = dict(pd.Series(f1.level, index = list(f1.index)))
    
13. print(sdata)
    
14. 
    
15. # 求 分位数和上下胡须
    
16. Q1, Q3 = sdata['25%'],sdata['75%']
    
17. IQR = Q3 - Q1
    
18. lower_limit = Q1 - 1.5 * IQR
    
19. upper_limit = Q3 + 1.5 * IQR
    
20. print("下限:{0:3f} \n上限：{1:3f}".format(lower_limit,upper_limit))
    
21. # 下限:203.020000
    
22. # 上限：205.960000
    
23. 
    
24. # 给出两种异常点，并且获取新的无异常点的数据集合
    
25. low_point = f.loc[f['level'] < lower_limit, :]
    
26. up_point = f.loc[f['level'] > upper_limit, :]
    
27. 
    
28. # 留下正常值啊
    
29. norm_data = f.loc[(lower_limit < f['level'] ) & (f['level'] < upper_limit) , :]
    
30. # (lower_limit > f['level'] ) + (f['level'] > upper_limit) 这个可以做加和，是我理解的&负号的那种or作用
    
31. 
    
32. norm_data.to_csv('S3地下水位高程-step2-去异常值版本.csv')

复制代码