Python实现ROC和P-R曲线绘制以及AUC计算

糖逗

参考书籍：《美团机器学习实战》

1. import numpy as np
   
2. import pandas as pd
   
3. import matplotlib.pyplot as plt
   
4. import seaborn as sns
   
5. %matplotlib inline
   
6. 
   
7. #分类指标
   
8. class cat_plot():
   
9.     def __init__(self, data, cat):
   
10.         self.data = data
    
11.         self.cat = cat
    
12.         
    
13.     def Precision(self, threshold):
    
14.         data["预测分类"] = self.data.iloc[:, 1].apply(lambda x : 1 if x > threshold else 0)
    
15.         TP = np.sum((self.data["预测分类"] == 1) & (self.data["二分类"] == 1))
    
16.         FP = np.sum((self.data["预测分类"] == 1) & (self.data["二分类"] == 0))
    
17.         comput = TP / (TP + FP)
    
18.         return comput
    
19. 
    
20.     def Recall(self, threshold):
    
21.         data["预测分类"] = self.data.iloc[:, 1].apply(lambda x : 1 if x > threshold else 0)
    
22.         TP = np.sum((self.data["预测分类"] == 1) & (self.data["二分类"] == 1))
    
23.         FN = np.sum((self.data["预测分类"] == 0) & (self.data["二分类"] == 0))
    
24.         comput = TP / (TP + FN)
    
25.         return comput
    
26. 
    
27.     def FPR(self, threshold):
    
28.         data["预测分类"] = self.data.iloc[:, 1].apply(lambda x : 1 if x > threshold else 0)
    
29.         FP = np.sum((self.data["预测分类"] == 1) & (self.data["二分类"] == 0))
    
30.         TN = np.sum((self.data["预测分类"] == 0) & (self.data["二分类"] == 1))
    
31.         comput = FP / (FP + TN)
    
32.         return comput
    
33.    
    
34.     def plot(self):
    
35.         point_x = []   
    
36.         point_y = []
    
37.         if self.cat == "P-R":
    
38.             for i in range(len(self.data)):
    
39.                 threshold = self.data.iloc[i, 1]
    
40.                 point_x.append(self.Recall(threshold))
    
41.                 point_y.append(self.Precision(threshold))
    
42.             ax1 = sns.lineplot(x = point_x, y = point_y)
    
43.             ax1.set_title("P-R")
    
44.             plt.show()
    
45.         elif self.cat == "ROC":
    
46.             for i in range(len(self.data)):
    
47.                 threshold = self.data.iloc[i, 1]
    
48.                 point_x.append(self.FPR(threshold))
    
49.                 point_y.append(self.Recall(threshold))
    
50.             ax2 = sns.lineplot(x = point_x, y = point_y)
    
51.             ax2.set_title("ROC")
    
52.             plt.show()
    
53.    
    
54.     def AUC(self):
    
55.         self.data = self.data.sort_values(by= "预测概率",ascending = True)
    
56.         self.data["rank"] = self.data["预测概率"].rank(method='average')
    
57.         M = np.sum(self.data["二分类"])
    
58.         comput = np.sum(self.data.loc[data["二分类"] == 1, "rank"]) - (M+1)*M / 2
    
59.         print(comput/(M * (len(self.data) - M)))
    
60.             
    
61.    
    
62. if __name__ == '__main__':
    
63.     #数据
    
64.     data = {"二分类" :[1, 0, 1, 0, 0, 1, 1, 0, 1, 1, 1, 0, 1, 0, 1, 0, 1, 1, 0, 1, 0, 1],
    
65.             "预测概率" :[0.99, 0.12, 0.29, 0.45, 0.93, 0.78, 0.89, 0.34, 0.78,
    
66.                      0.67, 0.99, 0.17, 0.88, 0.29, 0.72, 0.11, 0.89, 0.49, 0.34, 0.78,
    
67.                      0.11, 0.99]}
    
68.     data = pd.DataFrame(data)
    
69.     temp1 = cat_plot(data, "P-R")
    
70.     temp2 = cat_plot(data, "ROC")
    
71.     temp1.plot()
    
72.     temp2.plot()
    
73.     temp1.AUC()
    
74.    

复制代码

糖逗

Nate_2020

%matplotlib inline
这个是起什么作用, 运行报错, 直接删掉也可以运行.

不过运行后有以下揭示, 是怎么回事?
Warning (from warnings module):
  File "D:/python/Lib/idlelib/0.py", line 17
    comput = TP / (TP + FP)
RuntimeWarning: invalid value encountered in longlong_scalars

糖逗

Nate_2020 发表于 2020-11-2 15:08
%matplotlib inline
这个是起什么作用, 运行报错, 直接删掉也可以运行.

我是本地3.7的python可以运行。
%matplotlib inline是为了让图直接显示，我一般习惯性加上这句。

糖逗

AUC参考链接：https://blog.csdn.net/lieyingkub99/article/details/81266664

Nate_2020

糖逗 发表于 2020-11-2 19:03
我是本地3.7的python可以运行。
%matplotlib inline是为了让图直接显示，我一般习惯性加上这句。

哦, 我的是3.8的.
知不知道为什么用pyinstaller转成exe文件后不能运行,揭示RuntimeError:Could not find the matplotlib data files.

糖逗

Nate_2020 发表于 2020-11-4 08:50
哦, 我的是3.8的.
知不知道为什么用pyinstaller转成exe文件后不能运行,揭示RuntimeError:Could not find ...

你为啥不查一下百度呢，鱼油？百度能解决99%以上的问题。

Nate_2020

糖逗 发表于 2020-11-4 09:22
你为啥不查一下百度呢，鱼油？百度能解决99%以上的问题。

找了,没什么好方法, 都是说要降低版本. 试了一圈, 结果把我的IDLE整坏了, 双击一闪而过, 没有窗口,没有揭示. 修复都没有用. 不知道怎么回事.

糖逗

Nate_2020 发表于 2020-11-4 10:24
找了,没什么好方法, 都是说要降低版本. 试了一圈, 结果把我的IDLE整坏了, 双击一闪而过, 没有窗口,没有揭 ...

摸摸头，没有遇到过这种情况

Nate_2020

糖逗 发表于 2020-11-4 10:47
摸摸头，没有遇到过这种情况

刚搞好了, 直接repair不行, 要删掉一部分文件再repair才好了. 谢谢了.
刚安装了pycharm, 试用这个看看.

糖逗

Nate_2020 发表于 2020-11-4 14:09
刚搞好了, 直接repair不行, 要删掉一部分文件再repair才好了. 谢谢了.
刚安装了pycharm, 试用这个看看.

我用的是Anaconda

Nate_2020

糖逗 发表于 2020-11-4 14:14
我用的是Anaconda

你都会写那个程序, 应该是高手了, 怎么不用pycharm.

糖逗

Nate_2020 发表于 2020-11-4 15:07
你都会写那个程序, 应该是高手了, 怎么不用pycharm.

不是高手