|
|
马上注册，结交更多好友，享用更多功能^_^
您需要 登录 才可以下载或查看，没有账号？立即注册
x
下面的代码使用了qlearning模型，模型较为简单 一般来说十几分钟就能运行出结果 但是现在运行了三个小时还没有结果 有哪些可能的错误？怎么解决（最好能给出修改后的代码 感谢感谢）
tf.keras.layers.Dense(32, activation='relu'),
tf.keras.layers.Dense(1)
])
# 编译模型
model.compile(optimizer='adam', loss='mse')
# 定义市场价格函数
def market_price(x, y):
return 80 - (x + y) - 10
# 定义Q-learning算法
def q_learning():
num_episodes = 1000 # 训练的轮数
rewards = [] # 收集每个episode的总收益
for episode in range(num_episodes):
state = np.random.choice(states) # 随机选择初始状态
done = False
total_reward = 0
while not done:
if np.random.uniform(0, 1) < epsilon:
# 探索：以epsilon的概率随机选择动作
action = np.random.uniform(0, 40)
else:
# 开发：根据模型预测选择最优动作
action = model.predict(np.array([state]))[0][0]
# 更新市场价格并计算收益
x = state
y = action
price = market_price(x, y)
reward = price * x
# 进行动作并观察新的状态和收益
new_state = np.random.choice(states)
new_reward = market_price(new_state, y) * new_state
# 计算目标Q值
target = reward + gamma * model.predict(np.array([new_state]))[0][0]
# 使用样本(state, target)训练神经网络
model.fit(np.array([state]), np.array([target]), verbose=0)
state = new_state
total_reward += reward
if new_reward == 0:
done = True
rewards.append(total_reward)
return rewards
# 进行Q-learning训练
rewards = q_learning()
# 绘制产量选择和利润的图像
x_values = states
y_values = model.predict(x_values)
rewards = np.array(rewards)
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.plot(x_values, y_values)
plt.xlabel('Production of A')
plt.ylabel('Production of B')
plt.title('Production Selection')
plt.subplot(1, 2, 2)
plt.plot(rewards)
plt.xlabel('Episode')
plt.ylabel('Total Reward')
plt.title('Total Rewards')
plt.tight_layout()
plt.show()
这份代码可能陷入了死循环，导致无法得出结果。在Q-Learning算法的主循环中，只有当市场价格收益为0时才会跳出循环。但是，由于随机选择新状态的方式不保证总是能够达到市场价格收益为0的状态，因此可能会导致程序陷入死循环。
为了解决这个问题，可以添加一个最大步数的限制。如果步数达到限制但是没有达到市场价格收益为0的状态，就强制跳出循环并将该次训练视为失败。
修改后的代码如下所示：
python
Copy Code
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt
# 定义模型
model = tf.keras.Sequential([
tf.keras.layers.Dense(32, activation='relu', input_shape=(1,)),
tf.keras.layers.Dense(32, activation='relu'),
tf.keras.layers.Dense(1)
])
# 编译模型
model.compile(optimizer='adam', loss='mse')
# 定义市场价格函数
def market_price(x, y):
return 80 - (x + y) - 10
# 定义Q-learning算法
def q_learning():
num_episodes = 1000 # 训练的轮数
rewards = [] # 收集每个episode的总收益
max_steps = 10000 # 每个episode最大的步数
for episode in range(num_episodes):
state = np.random.choice(states) # 随机选择初始状态
done = False
total_reward = 0
step = 0
while not done and step < max_steps:
if np.random.uniform(0, 1) < epsilon:
# 探索：以epsilon的概率随机选择动作
action = np.random.uniform(0, 40)
else:
# 开发：根据模型预测选择最优动作
action = model.predict(np.array([state]))[0][0]
# 更新市场价格并计算收益
x = state
y = action
price = market_price(x, y)
reward = price * x
# 进行动作并观察新的状态和收益
new_state = np.random.choice(states)
new_reward = market_price(new_state, y) * new_state
# 计算目标Q值
target = reward + gamma * model.predict(np.array([new_state]))[0][0]
# 使用样本(state, target)训练神经网络
model.fit(np.array([state]), np.array([target]), verbose=0)
state = new_state
total_reward += reward
step += 1
if new_reward == 0:
done = True
rewards.append(total_reward)
return rewards
# 进行Q-learning训练
rewards = q_learning()
# 绘制产量选择和利润的图像
x_values = states
y_values = model.predict(x_values)
rewards = np.array(rewards)
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.plot(x_values, y_values)
plt.xlabel('Production of A')
plt.ylabel('Production of B')
plt.title('Production Selection')
plt.subplot(1, 2, 2)
plt.plot(rewards)
plt.xlabel('Episode')
plt.ylabel('Total Reward')
plt.title('Total Rewards')
plt.tight_layout()
plt.show()
这里添加了max_steps变量和step计数器，当step达到max_steps时跳出循环。需要注意的是，如果max_steps设置得过小，可能会影响算法的收敛效果。
|
-
|
( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)
狗仔卡
发表于 2023-6-3 21:28:47
置顶卡
千斤顶
显身卡
发表于 2023-6-3 21:55:37
