abalone年龄预测案例

yinda_peng

  由abalone的特征、标签数据来预测其年龄

1. import pandas as pd
   
2. 
   
3. ## 读取数据
   
4. columns = ['Abalone sex','Longest shell length','Vertical length','Whole height','Whole weight','Shucked weight','Viscera weight','Shell weight','age']
   
5. df = pd.read_csv('./input/abalone-data.txt',names=columns, header=None, sep=",")
   
6. ## 查看数据前5行
   
7. df.head()

复制代码

记得更换路径

1. ## 查看数据集的基本信息
   
2. df.info()
   
3. # 返回各类数据的统计变量
   
4. df.describe()
   
5. # 可观测到数据近似服从正态分布
   
6. 
   
7. import seaborn as sb
   
8. 
   
9. # 查看各变量两两之间的数据关系，同一变量使用直方图
   
10. 
    
11. sb.pairplot(df)
    
12. # 绘制热力图，查看各变量间的线性相关性
    
13. 
    
14. # 变量之间的线性关系默认使用皮尔森相关系数(-1,1)进行衡量
    
15. 
    
16. sb.heatmap(df.corr(),annot=True,cmap='Greens')

复制代码

  接下来对数据做一些处理，并完成求闭式解后得到的预测结果的验证

1. # 处理数据
   
2. 
   
3. def loadDataset(filepath):
   
4.     data = []
   
5.     label = []
   
6.    
   
7.     # 读取(r)的方式打开 filepath 路径下的数据集
   
8.     # with 语句可实现自动调用 close的功能
   
9.    
   
10.     with open(filepath,'r') as f:
    
11.         
    
12.         #  读取文件的所有行，返回一个列表，每一行为一个元素
    
13.         # 元素的数据类型为字符型，末尾部分存在符号：\n，需要删除
    
14.         files = f.readlines()
    
15.         
    
16.         # 观察数据，第一列为鲍鱼性别，转为整型数据
    
17.         # 分出特征与标签
    
18.         
    
19.         for line in files:
    
20.             line = line.strip('\n').split(',')
    
21.             # 去掉末尾符号：\n，将字符串以','为分隔符转化为一系列字符并存入一个列表中
    
22.             if line[0]=='M':
    
23.                 line[0] = 0
    
24.             elif line[0] == 'F':
    
25.                 line[0] = 1
    
26.             else:
    
27.                 line[0]=2
    
28.             # 利用 for循环 将 字符类型 强制转换为 浮点类型   
    
29.             line = [float(i) for i in line]
    
30.             data.append(line[:-1])
    
31.             label.append(line[-1])
    
32.     return data,label
    
33. 
    
34. abalonedata,abalonelabel = loadDataset('./input/abalone-data.txt')
    
35. # 划分数据集
    
36. from sklearn.model_selection import train_test_split
    
37. x_train,x_test,y_train,y_test = train_test_split(np.array(abalonedata),np.array(abalonelabel),test_size=0.2)
    
38. print(x_train)
    
39. print(y_train)
    
40. 
    
41. # 按列添加偏置项
    
42. x_train_1 = np.c_[x_train,np.ones(len(x_train))]
    
43. x_test_1 = np.c_[x_test,np.ones(len(x_test))]
    
44. # 求闭式解
    
45. w=np.linalg.pinv(x_train_1).dot(y_train)
    
46. print(w)
    
47. # 验证预测结果
    
48. # 从测试集中随机抽取某个样本数据 x得到预测结构y_predict与对应的标签数据 y进行对比
    
49. 
    
50. # 随机抽取样本序号
    
51. a = np.random.choice(list(range(len(y_test))))
    
52. 
    
53. # 取出样本序号对应的样本与标签
    
54. test_data,test_label = x_test[a],y_test[a]
    
55. print(test_label)
    
56. predict_label = np.sum(np.c_[test_data.reshape(1,-1),np.ones(1)] * w)
    
57. print(predict_label)
    
58. # 评价指标：均值绝对误差 与 均方误差
    
59. from sklearn.metrics import mean_absolute_error,mean_squared_error
    
60. 
    
61. # 对整个测试集进行预测，并计算与测试标签之间的误差
    
62. predict_label = x_test_1.dot(w.reshape(-1,1))
    
63. print(mean_squared_error(y_test,predict_label),mean_absolute_error(y_test,predict_label))

复制代码

FishC

这是一个用于预测abalone（一种贻贝）年龄的案例。我们首先要导入必要的包，并读取数据集。

1. import pandas as pd
   
2. 
   
3. # 读取数据
   
4. columns = ['Sex', 'Length', 'Diameter', 'Height', 'Whole weight',
   
5.            'Shucked weight', 'Viscera weight', 'Shell weight', 'Rings']
   
6. df = pd.read_csv('./input/abalone-data.txt',names=columns, header=None, sep=",")
   
7. # 查看数据前5行
   
8. df.head()
   
9. # 查看数据集的基本信息
   
10. df.info()
    
11. # 返回各类数据的统计变量
    
12. df.describe()

复制代码

接下来，我们可以使用seaborn库绘制两个变量之间的关系图和热力图，以了解它们之间的线性相关性。

1. import seaborn as sb
   
2. 
   
3. # 查看各变量两两之间的数据关系，同一变量使用直方图
   
4. sb.pairplot(df)
   
5. # 绘制热力图，查看各变量间的线性相关性。变量之间的线性关系默认使用皮尔森相关系数(-1,1)进行衡量
   
6. sb.heatmap(df.corr(),annot=True)

复制代码

接下来，我们需要对数据进行处理并完成闭式解。

1. import numpy as np
   
2. 
   
3. # 处理数据
   
4. def loadDataset(filepath):
   
5.     data = []
   
6.     label = []
   
7.    
   
8.     with open(filepath,'r') as f:
   
9.         files = f.readlines()
   
10.         
    
11.         for line in files:
    
12.             line = line.strip('\n').split(',')
    
13.             
    
14.             if line=='M':
    
15.                 line = 0
    
16.             elif line == 'F':
    
17.                 line = 1
    
18.             else:
    
19.                 line=2
    
20.             
    
21.             line = [float(elem) for elem in line]
    
22.             
    
23.             data.append(line)
    
24.             label.append(line)
    
25.     return data,label
    
26. 
    
27. abalonedata,abalonelabel = loadDataset('./input/abalone-data.txt')
    
28. 
    
29. from sklearn.model_selection import train_test_split
    
30. 
    
31. x_train,x_test,y_train,y_test = train_test_split(np.array(abalonedata),np.array(abalonelabel),test_size=0.2)
    
32. 
    
33. # 按列添加偏置项
    
34. x_train_1 = np.c_[np.ones(len(x_train)), x_train]
    
35. x_test_1 = np.c_[np.ones(len(x_test)), x_test]
    
36. 
    
37. # 求闭式解
    
38. w=np.linalg.pinv(x_train_1).dot(y_train)

复制代码

最后，我们可以验证预测结果，并计算均值绝对误差和均方误差作为评价指标。

1. # 验证预测结果
   
2. a = np.random.choice(list(range(len(y_test))))
   
3. test_data,test_label = x_test,y_test
   
4. predict_label = np.sum(x_test_1 * w)
   
5. 
   
6. # 评价指标：均值绝对误差 与 均方误差
   
7. from sklearn.metrics import mean_absolute_error,mean_squared_error
   
8. 
   
9. predict_label = x_test_1.dot(w.reshape(-1,1))
   
10. print(mean_squared_error(y_test,predict_label),mean_absolute_error(y_test,predict_label))

复制代码

希望这个案例能帮助到你！

以上回复来自 FishC AI 小助理，如未能正确解答您的问题，请继续追问。