[已解决]人工智能中关于逻辑回归问题

shaomin

1、基于Sklearn机器学习工具或自编码实现经典逻辑回归（无正则化）、带有L1正则化和L2正则化的逻辑回归方法；并通过调整学习参数，比较其对分类精度的影响。
2、数据集：Iris数据集（选择两个特征，自己划分训练集和测试集）；
3、编程语言：Python

最佳答案

月排行榜 / 总排行榜

isdkz

2023-10-14 16:17:28

1、基于Sklearn机器学习工具或自编码实现经典逻辑回归（无正则化）、带有L1正则化和L2正则化的逻辑回归方法；并通过调整学习参数，比较其对分类精度的影响。



经典逻辑回归（无正则化）的实现：

from sklearn.linear_model import LogisticRegression

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split



# 加载数据集

iris = load_iris()

X = iris.data[:, :2]

y = iris.target



# 划分数据集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)



# 构建逻辑回归模型

lr = LogisticRegression(penalty='none', solver='lbfgs', max_iter=1000)



# 训练模型

lr.fit(X_train, y_train)



# 预测测试集

y_pred = lr.predict(X_test)



# 计算准确率

accuracy = lr.score(X_test, y_test)

print("Accuracy:", accuracy)

带有L1正则化的逻辑回归方法实现：

from sklearn.linear_model import LogisticRegression

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split



# 加载数据集

iris = load_iris()

X = iris.data[:, :2]

y = iris.target



# 划分数据集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)



# 构建逻辑回归模型

lr = LogisticRegression(penalty='l1', solver='saga', max_iter=1000)



# 训练模型

lr.fit(X_train, y_train)



# 预测测试集

y_pred = lr.predict(X_test)



# 计算准确率

accuracy = lr.score(X_test, y_test)

print("Accuracy:", accuracy)

带有L2正则化的逻辑回归方法实现：

from sklearn.linear_model import LogisticRegression

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split



# 加载数据集

iris = load_iris()

X = iris.data[:, :2]

y = iris.target



# 划分数据集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)



# 构建逻辑回归模型

lr = LogisticRegression(penalty='l2', solver='lbfgs', max_iter=1000)



# 训练模型

lr.fit(X_train, y_train)



# 预测测试集

y_pred = lr.predict(X_test)



# 计算准确率

accuracy = lr.score(X_test, y_test)

print("Accuracy:", accuracy)

通过调整学习参数，比较其对分类精度的影响：

可以通过调整学习率、正则化系数等参数来影响分类精度。例如，可以使用GridSearchCV来搜索最优的参数组合：

from sklearn.model_selection import GridSearchCV



# 定义参数范围

param_grid = {'penalty': ['none', 'l1', 'l2'],

              'C': [0.001, 0.01, 0.1, 1, 10, 100],

              'solver': ['lbfgs', 'saga']}



# 构建逻辑回归模型

lr = LogisticRegression(max_iter=1000)



# 使用GridSearchCV搜索最优参数

grid_search = GridSearchCV(estimator=lr, param_grid=param_grid, cv=5, n_jobs=-1)

grid_search.fit(X_train, y_train)



# 输出最优参数和准确率

print("Best parameters:", grid_search.best_params_)

print("Accuracy:", grid_search.best_score_)

2、数据集：Iris数据集（选择两个特征，自己划分训练集和测试集）；



加载数据集并选择两个特征：

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split



# 加载数据集

iris = load_iris()

X = iris.data[:, :2]

y = iris.target



# 划分数据集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

自己划分训练集和测试集，可以使用train_test_split函数。

跳转到最佳答案楼层

Mike_python小

1. 实现经典逻辑回归（无正则化）、带有L1正则化和L2正则化的逻辑回归方法

以下是使用Scikit-learn库实现经典逻辑回归、L1正则化逻辑回归和L2正则化逻辑回归的示例代码：

from sklearn.datasets import load_irisfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score# 加载数据集iris = load_iris()X = iris.data[:, :2]  # 选择前两个特征y = iris.target# 划分训练集和测试集X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 经典逻辑回归clf_lr = LogisticRegression(penalty='none', solver='saga')clf_lr.fit(X_train, y_train)# L1正则化逻辑回归clf_lr_l1 = LogisticRegression(penalty='l1', solver='liblinear')clf_lr_l1.fit(X_train, y_train)# L2正则化逻辑回归clf_lr_l2 = LogisticRegression(penalty='l2', solver='liblinear')clf_lr_l2.fit(X_train, y_train)# 在测试集上进行预测y_pred_lr = clf_lr.predict(X_test)y_pred_lr_l1 = clf_lr_l1.predict(X_test)y_pred_lr_l2 = clf_lr_l2.predict(X_test)# 计算分类精度accuracy_lr = accuracy_score(y_test, y_pred_lr)accuracy_lr_l1 = accuracy_score(y_test, y_pred_lr_l1)accuracy_lr_l2 = accuracy_score(y_test, y_pred_lr_l2)print("经典逻辑回归的分类精度：", accuracy_lr)print("L1正则化逻辑回归的分类精度：", accuracy_lr_l1)print("L2正则化逻辑回归的分类精度：", accuracy_lr_l2)

在上述代码中，首先加载Iris数据集，并选择前两个特征作为输入数据。然后，使用train_test_split函数将数据集划分为训练集和测试集。接下来，分别创建了经典逻辑回归、L1正则化逻辑回归和L2正则化逻辑回归的分类器，并使用训练集进行拟合。最后，利用测试集对模型进行预测，并计算分类精度。

2. 数据集：Iris数据集（选择两个特征，自己划分训练集和测试集）

上述示例代码已经包含了对Iris数据集的处理，选择了其中的前两个特征作为输入数据。通过使用train_test_split函数，将数据集划分为训练集和测试集。你可以根据需要调整test_size参数来设置测试集的比例。

希望以上代码和说明对你有帮助！如果有任何问题，请随时提问。

球一个最佳答案谢谢啦！这对我非常重要！

isdkz

1、基于Sklearn机器学习工具或自编码实现经典逻辑回归（无正则化）、带有L1正则化和L2正则化的逻辑回归方法；并通过调整学习参数，比较其对分类精度的影响。



经典逻辑回归（无正则化）的实现：

from sklearn.linear_model import LogisticRegression

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split



# 加载数据集

iris = load_iris()

X = iris.data[:, :2]

y = iris.target



# 划分数据集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)



# 构建逻辑回归模型

lr = LogisticRegression(penalty='none', solver='lbfgs', max_iter=1000)



# 训练模型

lr.fit(X_train, y_train)



# 预测测试集

y_pred = lr.predict(X_test)



# 计算准确率

accuracy = lr.score(X_test, y_test)

print("Accuracy:", accuracy)

带有L1正则化的逻辑回归方法实现：

from sklearn.linear_model import LogisticRegression

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split



# 加载数据集

iris = load_iris()

X = iris.data[:, :2]

y = iris.target



# 划分数据集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)



# 构建逻辑回归模型

lr = LogisticRegression(penalty='l1', solver='saga', max_iter=1000)



# 训练模型

lr.fit(X_train, y_train)



# 预测测试集

y_pred = lr.predict(X_test)



# 计算准确率

accuracy = lr.score(X_test, y_test)

print("Accuracy:", accuracy)

带有L2正则化的逻辑回归方法实现：

from sklearn.linear_model import LogisticRegression

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split



# 加载数据集

iris = load_iris()

X = iris.data[:, :2]

y = iris.target



# 划分数据集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)



# 构建逻辑回归模型

lr = LogisticRegression(penalty='l2', solver='lbfgs', max_iter=1000)



# 训练模型

lr.fit(X_train, y_train)



# 预测测试集

y_pred = lr.predict(X_test)



# 计算准确率

accuracy = lr.score(X_test, y_test)

print("Accuracy:", accuracy)

通过调整学习参数，比较其对分类精度的影响：

可以通过调整学习率、正则化系数等参数来影响分类精度。例如，可以使用GridSearchCV来搜索最优的参数组合：

from sklearn.model_selection import GridSearchCV



# 定义参数范围

param_grid = {'penalty': ['none', 'l1', 'l2'],

              'C': [0.001, 0.01, 0.1, 1, 10, 100],

              'solver': ['lbfgs', 'saga']}



# 构建逻辑回归模型

lr = LogisticRegression(max_iter=1000)



# 使用GridSearchCV搜索最优参数

grid_search = GridSearchCV(estimator=lr, param_grid=param_grid, cv=5, n_jobs=-1)

grid_search.fit(X_train, y_train)



# 输出最优参数和准确率

print("Best parameters:", grid_search.best_params_)

print("Accuracy:", grid_search.best_score_)

2、数据集：Iris数据集（选择两个特征，自己划分训练集和测试集）；



加载数据集并选择两个特征：

from sklearn.datasets import load_iris

from sklearn.model_selection import train_test_split



# 加载数据集

iris = load_iris()

X = iris.data[:, :2]

y = iris.target



# 划分数据集

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

自己划分训练集和测试集，可以使用train_test_split函数。