[已解决]qlearning时间问题

1493916656

下面的代码使用了qlearning模型，模型较为简单 一般来说十几分钟就能运行出结果 但是现在运行了三个小时还没有结果 有哪些可能的错误？怎么解决（最好能给出修改后的代码 感谢感谢）
    tf.keras.layers.Dense(32, activation='relu'),
    tf.keras.layers.Dense(1)
])

# 编译模型
model.compile(optimizer='adam', loss='mse')

# 定义市场价格函数
def market_price(x, y):
    return 80 - (x + y) - 10

# 定义Q-learning算法
def q_learning():
    num_episodes = 1000  # 训练的轮数
    rewards = []  # 收集每个episode的总收益

    for episode in range(num_episodes):
        state = np.random.choice(states)  # 随机选择初始状态
        done = False
        total_reward = 0

        while not done:
            if np.random.uniform(0, 1) < epsilon:
                # 探索：以epsilon的概率随机选择动作
                action = np.random.uniform(0, 40)
            else:
                # 开发：根据模型预测选择最优动作
                action = model.predict(np.array([state]))[0][0]

            # 更新市场价格并计算收益
            x = state
            y = action
            price = market_price(x, y)
            reward = price * x

            # 进行动作并观察新的状态和收益
            new_state = np.random.choice(states)
            new_reward = market_price(new_state, y) * new_state

            # 计算目标Q值
            target = reward + gamma * model.predict(np.array([new_state]))[0][0]

            # 使用样本(state, target)训练神经网络
            model.fit(np.array([state]), np.array([target]), verbose=0)

            state = new_state
            total_reward += reward

            if new_reward == 0:
                done = True

        rewards.append(total_reward)

    return rewards

# 进行Q-learning训练
rewards = q_learning()

# 绘制产量选择和利润的图像
x_values = states
y_values = model.predict(x_values)
rewards = np.array(rewards)

plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.plot(x_values, y_values)
plt.xlabel('Production of A')
plt.ylabel('Production of B')
plt.title('Production Selection')

plt.subplot(1, 2, 2)
plt.plot(rewards)
plt.xlabel('Episode')
plt.ylabel('Total Reward')
plt.title('Total Rewards')

plt.tight_layout()
plt.show()

最佳答案

月排行榜 / 总排行榜

歌者文明清理员

2023-6-4 09:02:45

这份代码可能陷入了死循环，导致无法得出结果。在Q-Learning算法的主循环中，只有当市场价格收益为0时才会跳出循环。但是，由于随机选择新状态的方式不保证总是能够达到市场价格收益为0的状态，因此可能会导致程序陷入死循环。
为了解决这个问题，可以添加一个最大步数的限制。如果步数达到限制但是没有达到市场价格收益为0的状态，就强制跳出循环并将该次训练视为失败。
修改后的代码如下所示：
python
Copy Code
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt

# 定义模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(32, activation='relu', input_shape=(1,)),
    tf.keras.layers.Dense(32, activation='relu'),
    tf.keras.layers.Dense(1)
])

# 编译模型
model.compile(optimizer='adam', loss='mse')

# 定义市场价格函数
def market_price(x, y):
    return 80 - (x + y) - 10

# 定义Q-learning算法
def q_learning():
    num_episodes = 1000  # 训练的轮数
    rewards = []  # 收集每个episode的总收益
    max_steps = 10000  # 每个episode最大的步数

    for episode in range(num_episodes):
        state = np.random.choice(states)  # 随机选择初始状态
        done = False
        total_reward = 0
        step = 0

        while not done and step < max_steps:
            if np.random.uniform(0, 1) < epsilon:
                # 探索：以epsilon的概率随机选择动作
                action = np.random.uniform(0, 40)
            else:
                # 开发：根据模型预测选择最优动作
                action = model.predict(np.array([state]))[0][0]

            # 更新市场价格并计算收益
            x = state
            y = action
            price = market_price(x, y)
            reward = price * x

            # 进行动作并观察新的状态和收益
            new_state = np.random.choice(states)
            new_reward = market_price(new_state, y) * new_state

            # 计算目标Q值
            target = reward + gamma * model.predict(np.array([new_state]))[0][0]

            # 使用样本(state, target)训练神经网络
            model.fit(np.array([state]), np.array([target]), verbose=0)

            state = new_state
            total_reward += reward
            step += 1

            if new_reward == 0:
                done = True

        rewards.append(total_reward)

    return rewards

# 进行Q-learning训练
rewards = q_learning()

# 绘制产量选择和利润的图像
x_values = states
y_values = model.predict(x_values)
rewards = np.array(rewards)

plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.plot(x_values, y_values)
plt.xlabel('Production of A')
plt.ylabel('Production of B')
plt.title('Production Selection')

plt.subplot(1, 2, 2)
plt.plot(rewards)
plt.xlabel('Episode')
plt.ylabel('Total Reward')
plt.title('Total Rewards')

plt.tight_layout()
plt.show()
这里添加了max_steps变量和step计数器，当step达到max_steps时跳出循环。需要注意的是，如果max_steps设置得过小，可能会影响算法的收敛效果。

跳转到最佳答案楼层

isdkz

可能的错误有以下几个方面：

1. 模型参数设置不合理，导致训练时间过长。可以尝试调整模型参数，如增大batch_size，减小网络层数等。

2. 数据集过大，导致训练时间过长。可以尝试缩小数据集，或者使用采样的方式进行训练。

3. 训练过程中出现了梯度消失或爆炸等问题，导致训练时间过长。可以尝试使用其他的优化器，或者使用梯度裁剪等方法进行优化。

修改后的代码如下：

# 定义Q-learning算法
def q_learning():
    num_episodes = 1000  # 训练的轮数
    rewards = []  # 收集每个episode的总收益

    for episode in range(num_episodes):
        state = np.random.choice(states)  # 随机选择初始状态
        done = False
        total_reward = 0

        while not done:
            if np.random.uniform(0, 1) < epsilon:
                # 探索：以epsilon的概率随机选择动作
                action = np.random.uniform(0, 40)
            else:
                # 开发：根据模型预测选择最优动作
                action = model.predict(np.array([state]))[0][0]

            # 更新市场价格并计算收益
            x = state
            y = action
            price = market_price(x, y)
            reward = price * x

            # 进行动作并观察新的状态和收益
            new_state = np.random.choice(states)
            new_reward = market_price(new_state, y) * new_state

            # 计算目标Q值
            target = reward + gamma * model.predict(np.array([new_state]))[0][0]

            # 使用样本(state, target)训练神经网络
            model.train_on_batch(np.array([state]), np.array([target]))

            state = new_state
            total_reward += reward

            if new_reward == 0:
                done = True

        rewards.append(total_reward)

    return rewards

# 进行Q-learning训练
rewards = q_learning()

# 绘制产量选择和利润的图像
x_values = states
y_values = model.predict(x_values)
rewards = np.array(rewards)

plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.plot(x_values, y_values)
plt.xlabel('Production of A')
plt.ylabel('Production of B')
plt.title('Production Selection')

plt.subplot(1, 2, 2)
plt.plot(rewards)
plt.xlabel('Episode')
plt.ylabel('Total Reward')
plt.title('Total Rewards')

plt.tight_layout()
plt.show()

陶远航

这段代码会运行非常久，可能的原因是模型训练次数太多或者采样数量过大导致计算时间增长。建议使用更小的采样数量和更少的轮数进行训练，并且增加一些早停条件，如连续多次收益不变就停止训练。

另外，这段代码中没有给出states数组的具体定义，需要确保其定义正确。

以下是修改建议（仅供参考）：

1. import tensorflow as tf
   
2. import numpy as np
   
3. import matplotlib.pyplot as plt
   
4. 
   
5. # 定义神经网络模型
   
6. model = tf.keras.Sequential([
   
7.     tf.keras.layers.Dense(32, activation='relu', input_shape=(1,)),
   
8.     tf.keras.layers.Dense(1)
   
9. ])
   
10. 
    
11. # 编译模型
    
12. model.compile(optimizer='adam', loss='mse')
    
13. 
    
14. # 定义市场价格函数
    
15. def market_price(x, y):
    
16.     return 80 - (x + y) - 10
    
17. 
    
18. # 定义Q-learning算法
    
19. def q_learning():
    
20.     states = np.arange(0, 100, 5)
    
21.     num_episodes = 100  # 训练的轮数
    
22.     rewards = []  # 收集每个episode的总收益
    
23.     consecutive_no_gain = 0  # 连续多少次没有增益
    
24. 
    
25.     for episode in range(num_episodes):
    
26.         state = np.random.choice(states)  # 随机选择初始状态
    
27.         done = False
    
28.         total_reward = 0
    
29. 
    
30.         while not done:
    
31.             if np.random.uniform(0, 1) < epsilon:
    
32.                 # 探索：以epsilon的概率随机选择动作
    
33.                 action = np.random.uniform(0, 40)
    
34.             else:
    
35.                 # 开发：根据模型预测选择最优动作
    
36.                 action = model.predict(np.array([state]))[0][0]
    
37. 
    
38.             # 更新市场价格并计算收益
    
39.             x = state
    
40.             y = action
    
41.             price = market_price(x, y)
    
42.             reward = price * x
    
43. 
    
44.             # 进行动作并观察新的状态和收益
    
45.             new_state = np.random.choice(states)
    
46.             new_reward = market_price(new_state, y) * new_state
    
47. 
    
48.             # 计算目标Q值
    
49.             target = reward + gamma * model.predict(np.array([new_state]))[0][0]
    
50. 
    
51.             # 使用样本(state, target)训练神经网络
    
52.             model.fit(np.array([state]), np.array([target]), verbose=0)
    
53. 
    
54.             state = new_state
    
55.             total_reward += reward
    
56. 
    
57.             if new_reward == 0 or consecutive_no_gain > 10:
    
58.                 done = True
    
59. 
    
60.             if total_reward == rewards[-1]:
    
61.                 consecutive_no_gain += 1
    
62.             else:
    
63.                 consecutive_no_gain = 0
    
64. 
    
65.         rewards.append(total_reward)
    
66. 
    
67.     return rewards
    
68. 
    
69. # 定义超参数
    
70. epsilon = 0.1
    
71. gamma = 0.9
    
72. 
    
73. # 进行Q-learning训练
    
74. rewards = q_learning()
    
75. 
    
76. # 绘制产量选择和利润的图像
    
77. x_values = np.arange(0, 100, 5)
    
78. y_values = model.predict(x_values)
    
79. rewards = np.array(rewards)
    
80. 
    
81. plt.figure(figsize=(10, 5))
    
82. plt.subplot(1, 2, 1)
    
83. plt.plot(x_values, y_values)
    
84. plt.xlabel('Production of A')
    
85. plt.ylabel('Production of B')
    
86. plt.title('Production Selection')
    
87. 
    
88. plt.subplot(1, 2, 2)
    
89. plt.plot(rewards)
    
90. plt.xlabel('Episode')
    
91. plt.ylabel('Total Reward')
    
92. plt.title('Total Rewards')
    
93. 
    
94. plt.tight_layout()
    
95. plt.show()

复制代码

这里采样数量减少到了20个状态，轮数减少到了100轮，并增加了停止条件。这些超参数可以根据任务具体情况进行调整。

cmu052115

歌者文明清理员

这份代码可能陷入了死循环，导致无法得出结果。在Q-Learning算法的主循环中，只有当市场价格收益为0时才会跳出循环。但是，由于随机选择新状态的方式不保证总是能够达到市场价格收益为0的状态，因此可能会导致程序陷入死循环。
为了解决这个问题，可以添加一个最大步数的限制。如果步数达到限制但是没有达到市场价格收益为0的状态，就强制跳出循环并将该次训练视为失败。
修改后的代码如下所示：
python
Copy Code
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt

# 定义模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(32, activation='relu', input_shape=(1,)),
    tf.keras.layers.Dense(32, activation='relu'),
    tf.keras.layers.Dense(1)
])

# 编译模型
model.compile(optimizer='adam', loss='mse')

# 定义市场价格函数
def market_price(x, y):
    return 80 - (x + y) - 10

# 定义Q-learning算法
def q_learning():
    num_episodes = 1000  # 训练的轮数
    rewards = []  # 收集每个episode的总收益
    max_steps = 10000  # 每个episode最大的步数

    for episode in range(num_episodes):
        state = np.random.choice(states)  # 随机选择初始状态
        done = False
        total_reward = 0
        step = 0

        while not done and step < max_steps:
            if np.random.uniform(0, 1) < epsilon:
                # 探索：以epsilon的概率随机选择动作
                action = np.random.uniform(0, 40)
            else:
                # 开发：根据模型预测选择最优动作
                action = model.predict(np.array([state]))[0][0]

            # 更新市场价格并计算收益
            x = state
            y = action
            price = market_price(x, y)
            reward = price * x

            # 进行动作并观察新的状态和收益
            new_state = np.random.choice(states)
            new_reward = market_price(new_state, y) * new_state

            # 计算目标Q值
            target = reward + gamma * model.predict(np.array([new_state]))[0][0]

            # 使用样本(state, target)训练神经网络
            model.fit(np.array([state]), np.array([target]), verbose=0)

            state = new_state
            total_reward += reward
            step += 1

            if new_reward == 0:
                done = True

        rewards.append(total_reward)

    return rewards

# 进行Q-learning训练
rewards = q_learning()

# 绘制产量选择和利润的图像
x_values = states
y_values = model.predict(x_values)
rewards = np.array(rewards)

plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.plot(x_values, y_values)
plt.xlabel('Production of A')
plt.ylabel('Production of B')
plt.title('Production Selection')

plt.subplot(1, 2, 2)
plt.plot(rewards)
plt.xlabel('Episode')
plt.ylabel('Total Reward')
plt.title('Total Rewards')

plt.tight_layout()
plt.show()
这里添加了max_steps变量和step计数器，当step达到max_steps时跳出循环。需要注意的是，如果max_steps设置得过小，可能会影响算法的收敛效果。

cmu052115

歌者文明清理员 发表于 2023-6-4 09:02
这份代码可能陷入了死循环，导致无法得出结果。在Q-Learning算法的主循环中，只有当市场价格收益为0时才会 ...

活跃一下气氛还扣分，什么情况！！！

歌者文明清理员

cmu052115 发表于 2023-6-8 09:46
活跃一下气氛还扣分，什么情况！！！

灌水