[已解决]人工智能中关于逻辑回归问题

shaomin

1、基于Sklearn机器学习工具或自编码实现经典逻辑回归（无正则化）、带有L1正则化和L2正则化的逻辑回归方法；并通过调整学习参数，比较其对分类精度的影响。
2、数据集：Iris数据集（选择两个特征，自己划分训练集和测试集）；
3、编程语言：Python

最佳答案

月排行榜 / 总排行榜

isdkz

2023-10-14 16:17:28

1、基于Sklearn机器学习工具或自编码实现经典逻辑回归（无正则化）、带有L1正则化和L2正则化的逻辑回归方法；并通过调整学习参数，比较其对分类精度的影响。



经典逻辑回归（无正则化）的实现：

1. from sklearn.linear_model import LogisticRegression
   
   
2. from sklearn.datasets import load_iris
   
   
3. from sklearn.model_selection import train_test_split
   
   
4. 
   
   
5. # 加载数据集
   
   
6. iris = load_iris()
   
   
7. X = iris.data[:, :2]
   
   
8. y = iris.target
   
   
9. 
   
   
10. # 划分数据集
    
    
11. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    
    
12. 
    
    
13. # 构建逻辑回归模型
    
    
14. lr = LogisticRegression(penalty='none', solver='lbfgs', max_iter=1000)
    
    
15. 
    
    
16. # 训练模型
    
    
17. lr.fit(X_train, y_train)
    
    
18. 
    
    
19. # 预测测试集
    
    
20. y_pred = lr.predict(X_test)
    
    
21. 
    
    
22. # 计算准确率
    
    
23. accuracy = lr.score(X_test, y_test)
    
    
24. print("Accuracy:", accuracy)
    
    

复制代码

带有L1正则化的逻辑回归方法实现：

1. from sklearn.linear_model import LogisticRegression
   
   
2. from sklearn.datasets import load_iris
   
   
3. from sklearn.model_selection import train_test_split
   
   
4. 
   
   
5. # 加载数据集
   
   
6. iris = load_iris()
   
   
7. X = iris.data[:, :2]
   
   
8. y = iris.target
   
   
9. 
   
   
10. # 划分数据集
    
    
11. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    
    
12. 
    
    
13. # 构建逻辑回归模型
    
    
14. lr = LogisticRegression(penalty='l1', solver='saga', max_iter=1000)
    
    
15. 
    
    
16. # 训练模型
    
    
17. lr.fit(X_train, y_train)
    
    
18. 
    
    
19. # 预测测试集
    
    
20. y_pred = lr.predict(X_test)
    
    
21. 
    
    
22. # 计算准确率
    
    
23. accuracy = lr.score(X_test, y_test)
    
    
24. print("Accuracy:", accuracy)
    
    

复制代码

带有L2正则化的逻辑回归方法实现：

1. from sklearn.linear_model import LogisticRegression
   
   
2. from sklearn.datasets import load_iris
   
   
3. from sklearn.model_selection import train_test_split
   
   
4. 
   
   
5. # 加载数据集
   
   
6. iris = load_iris()
   
   
7. X = iris.data[:, :2]
   
   
8. y = iris.target
   
   
9. 
   
   
10. # 划分数据集
    
    
11. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    
    
12. 
    
    
13. # 构建逻辑回归模型
    
    
14. lr = LogisticRegression(penalty='l2', solver='lbfgs', max_iter=1000)
    
    
15. 
    
    
16. # 训练模型
    
    
17. lr.fit(X_train, y_train)
    
    
18. 
    
    
19. # 预测测试集
    
    
20. y_pred = lr.predict(X_test)
    
    
21. 
    
    
22. # 计算准确率
    
    
23. accuracy = lr.score(X_test, y_test)
    
    
24. print("Accuracy:", accuracy)
    
    

复制代码

通过调整学习参数，比较其对分类精度的影响：

可以通过调整学习率、正则化系数等参数来影响分类精度。例如，可以使用GridSearchCV来搜索最优的参数组合：

1. from sklearn.model_selection import GridSearchCV
   
   
2. 
   
   
3. # 定义参数范围
   
   
4. param_grid = {'penalty': ['none', 'l1', 'l2'],
   
   
5.               'C': [0.001, 0.01, 0.1, 1, 10, 100],
   
   
6.               'solver': ['lbfgs', 'saga']}
   
   
7. 
   
   
8. # 构建逻辑回归模型
   
   
9. lr = LogisticRegression(max_iter=1000)
   
   
10. 
    
    
11. # 使用GridSearchCV搜索最优参数
    
    
12. grid_search = GridSearchCV(estimator=lr, param_grid=param_grid, cv=5, n_jobs=-1)
    
    
13. grid_search.fit(X_train, y_train)
    
    
14. 
    
    
15. # 输出最优参数和准确率
    
    
16. print("Best parameters:", grid_search.best_params_)
    
    
17. print("Accuracy:", grid_search.best_score_)
    
    

复制代码

2、数据集：Iris数据集（选择两个特征，自己划分训练集和测试集）；



加载数据集并选择两个特征：

1. from sklearn.datasets import load_iris
   
   
2. from sklearn.model_selection import train_test_split
   
   
3. 
   
   
4. # 加载数据集
   
   
5. iris = load_iris()
   
   
6. X = iris.data[:, :2]
   
   
7. y = iris.target
   
   
8. 
   
   
9. # 划分数据集
   
   
10. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    
    

复制代码

自己划分训练集和测试集，可以使用train_test_split函数。

跳转到最佳答案楼层

Mike_python小

1. 实现经典逻辑回归（无正则化）、带有L1正则化和L2正则化的逻辑回归方法

以下是使用Scikit-learn库实现经典逻辑回归、L1正则化逻辑回归和L2正则化逻辑回归的示例代码：

2. from sklearn.datasets import load_iris
3. from sklearn.linear_model import LogisticRegression
4. from sklearn.model_selection import train_test_split
5. from sklearn.metrics import accuracy_score
7. # 加载数据集
8. iris = load_iris()
9. X = iris.data[:, :2]  # 选择前两个特征
10. y = iris.target
12. # 划分训练集和测试集
13. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
15. # 经典逻辑回归
16. clf_lr = LogisticRegression(penalty='none', solver='saga')
17. clf_lr.fit(X_train, y_train)
19. # L1正则化逻辑回归
20. clf_lr_l1 = LogisticRegression(penalty='l1', solver='liblinear')
21. clf_lr_l1.fit(X_train, y_train)
23. # L2正则化逻辑回归
24. clf_lr_l2 = LogisticRegression(penalty='l2', solver='liblinear')
25. clf_lr_l2.fit(X_train, y_train)
27. # 在测试集上进行预测
28. y_pred_lr = clf_lr.predict(X_test)
29. y_pred_lr_l1 = clf_lr_l1.predict(X_test)
30. y_pred_lr_l2 = clf_lr_l2.predict(X_test)
32. # 计算分类精度
33. accuracy_lr = accuracy_score(y_test, y_pred_lr)
34. accuracy_lr_l1 = accuracy_score(y_test, y_pred_lr_l1)
35. accuracy_lr_l2 = accuracy_score(y_test, y_pred_lr_l2)
37. print("经典逻辑回归的分类精度：", accuracy_lr)
38. print("L1正则化逻辑回归的分类精度：", accuracy_lr_l1)
39. print("L2正则化逻辑回归的分类精度：", accuracy_lr_l2)

复制代码

在上述代码中，首先加载Iris数据集，并选择前两个特征作为输入数据。然后，使用train_test_split函数将数据集划分为训练集和测试集。接下来，分别创建了经典逻辑回归、L1正则化逻辑回归和L2正则化逻辑回归的分类器，并使用训练集进行拟合。最后，利用测试集对模型进行预测，并计算分类精度。

2. 数据集：Iris数据集（选择两个特征，自己划分训练集和测试集）

上述示例代码已经包含了对Iris数据集的处理，选择了其中的前两个特征作为输入数据。通过使用train_test_split函数，将数据集划分为训练集和测试集。你可以根据需要调整test_size参数来设置测试集的比例。

希望以上代码和说明对你有帮助！如果有任何问题，请随时提问。

球一个最佳答案谢谢啦！这对我非常重要！

isdkz

1、基于Sklearn机器学习工具或自编码实现经典逻辑回归（无正则化）、带有L1正则化和L2正则化的逻辑回归方法；并通过调整学习参数，比较其对分类精度的影响。



经典逻辑回归（无正则化）的实现：

1. from sklearn.linear_model import LogisticRegression
   
   
2. from sklearn.datasets import load_iris
   
   
3. from sklearn.model_selection import train_test_split
   
   
4. 
   
   
5. # 加载数据集
   
   
6. iris = load_iris()
   
   
7. X = iris.data[:, :2]
   
   
8. y = iris.target
   
   
9. 
   
   
10. # 划分数据集
    
    
11. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    
    
12. 
    
    
13. # 构建逻辑回归模型
    
    
14. lr = LogisticRegression(penalty='none', solver='lbfgs', max_iter=1000)
    
    
15. 
    
    
16. # 训练模型
    
    
17. lr.fit(X_train, y_train)
    
    
18. 
    
    
19. # 预测测试集
    
    
20. y_pred = lr.predict(X_test)
    
    
21. 
    
    
22. # 计算准确率
    
    
23. accuracy = lr.score(X_test, y_test)
    
    
24. print("Accuracy:", accuracy)
    
    

复制代码

带有L1正则化的逻辑回归方法实现：

1. from sklearn.linear_model import LogisticRegression
   
   
2. from sklearn.datasets import load_iris
   
   
3. from sklearn.model_selection import train_test_split
   
   
4. 
   
   
5. # 加载数据集
   
   
6. iris = load_iris()
   
   
7. X = iris.data[:, :2]
   
   
8. y = iris.target
   
   
9. 
   
   
10. # 划分数据集
    
    
11. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    
    
12. 
    
    
13. # 构建逻辑回归模型
    
    
14. lr = LogisticRegression(penalty='l1', solver='saga', max_iter=1000)
    
    
15. 
    
    
16. # 训练模型
    
    
17. lr.fit(X_train, y_train)
    
    
18. 
    
    
19. # 预测测试集
    
    
20. y_pred = lr.predict(X_test)
    
    
21. 
    
    
22. # 计算准确率
    
    
23. accuracy = lr.score(X_test, y_test)
    
    
24. print("Accuracy:", accuracy)
    
    

复制代码

带有L2正则化的逻辑回归方法实现：

1. from sklearn.linear_model import LogisticRegression
   
   
2. from sklearn.datasets import load_iris
   
   
3. from sklearn.model_selection import train_test_split
   
   
4. 
   
   
5. # 加载数据集
   
   
6. iris = load_iris()
   
   
7. X = iris.data[:, :2]
   
   
8. y = iris.target
   
   
9. 
   
   
10. # 划分数据集
    
    
11. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    
    
12. 
    
    
13. # 构建逻辑回归模型
    
    
14. lr = LogisticRegression(penalty='l2', solver='lbfgs', max_iter=1000)
    
    
15. 
    
    
16. # 训练模型
    
    
17. lr.fit(X_train, y_train)
    
    
18. 
    
    
19. # 预测测试集
    
    
20. y_pred = lr.predict(X_test)
    
    
21. 
    
    
22. # 计算准确率
    
    
23. accuracy = lr.score(X_test, y_test)
    
    
24. print("Accuracy:", accuracy)
    
    

复制代码

通过调整学习参数，比较其对分类精度的影响：

可以通过调整学习率、正则化系数等参数来影响分类精度。例如，可以使用GridSearchCV来搜索最优的参数组合：

1. from sklearn.model_selection import GridSearchCV
   
   
2. 
   
   
3. # 定义参数范围
   
   
4. param_grid = {'penalty': ['none', 'l1', 'l2'],
   
   
5.               'C': [0.001, 0.01, 0.1, 1, 10, 100],
   
   
6.               'solver': ['lbfgs', 'saga']}
   
   
7. 
   
   
8. # 构建逻辑回归模型
   
   
9. lr = LogisticRegression(max_iter=1000)
   
   
10. 
    
    
11. # 使用GridSearchCV搜索最优参数
    
    
12. grid_search = GridSearchCV(estimator=lr, param_grid=param_grid, cv=5, n_jobs=-1)
    
    
13. grid_search.fit(X_train, y_train)
    
    
14. 
    
    
15. # 输出最优参数和准确率
    
    
16. print("Best parameters:", grid_search.best_params_)
    
    
17. print("Accuracy:", grid_search.best_score_)
    
    

复制代码

2、数据集：Iris数据集（选择两个特征，自己划分训练集和测试集）；



加载数据集并选择两个特征：

1. from sklearn.datasets import load_iris
   
   
2. from sklearn.model_selection import train_test_split
   
   
3. 
   
   
4. # 加载数据集
   
   
5. iris = load_iris()
   
   
6. X = iris.data[:, :2]
   
   
7. y = iris.target
   
   
8. 
   
   
9. # 划分数据集
   
   
10. X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    
    

复制代码

自己划分训练集和测试集，可以使用train_test_split函数。