python用softmax算法实现多摇臂老虎机强化学习的问题

野良良良猫

我在网上找到了用贪心算法实现多摇臂老虎机强化学习的代码，把贪心算法换成了softmax算法，但是关于老虎机各个摇臂被选中的概率有一些疑问，代码如下：

1. import numpy as np
   
2. import random
   
3. 
   
4. #老虎机的定义
   
5. class Bandit:
   
6. 
   
7.     def __init__(self, arms_prob):
   
8.         self.arms_prob = arms_prob
   
9.         self.size = len(self.arms_prob)
   
10. 
    
11.     def play(self, i):
    
12.         if not 0 <= i < self.size:
    
13.             return -1
    
14.         else:
    
15.             if random.uniform(0, 1) < self.arms_prob[i]:
    
16.                 return 1
    
17.             else:
    
18.                 return 0
    
19. 
    
20. class Model:
    
21.     def __init__(self, bandit, temperature=0.2, training_epochs=10000):
    
22.         self.bandit = bandit #摇臂老虎机
    
23.         self.temperature = temperature #温度参数
    
24.         self.training_epochs = training_epochs #尝试次数
    
25.         self.values = np.zeros(bandit.size) #摇臂的平均奖赏
    
26.         self.times = np.zeros(bandit.size) #尝试次数
    
27.         self.p = [1/bandit.size for i in range(bandit.size)] #摇臂的概率分布
    
28.         self.size = bandit.size #摇臂数
    
29.         self.result = 0 #回报率最高的摇臂编号
    
30. 
    
31.     #计算摇臂选择的概率分布
    
32.     def probability(self,index):
    
33.         self.a = 0
    
34.         for i in range(bandit.size):
    
35.             self.a += np.e ** (self.values[i] / self.temperature)
    
36.         return (np.e ** (self.values[index] / self.temperature)) / self.a
    
37. 
    
38.     def train(self):
    
39.         i = 0
    
40.         r = 0 #最终的奖赏
    
41.         while i <= self.training_epochs:
    
42.             index = random.choices([i for i in range(bandit.size)],self.p)[0]#根据权重选取摇臂
    
43.             reward = self.bandit.play(index)
    
44.             assert reward >= 0 and index >= 0
    
45.             self.times[index] += 1
    
46.             self.values[index] = 1.0 / (self.times[index]+1) *(self.values[index] * self.times[index] + reward)
    
47.             for j in range(bandit.size):
    
48.                 self.p[j] = self.probability(j)
    
49.             # self.p[index] = self.probability(index)
    
50.             i += 1
    
51.             print("Round %d, choose %d, reward %d " % (i, index, reward))
    
52.             print(repr(self.values))
    
53.             r += reward #累加奖赏
    
54.             # print(repr(self.p))
    
55.             sum_ = 0
    
56.             for z in range (self.size):
    
57.                 sum_ += self.p[z]
    
58.             print(sum_)
    
59. 
    
60.         self.result = self.values.argmax(axis=0)
    
61.         print('累积奖赏：',r,' 回报率：', r / self.training_epochs)
    
62. 
    
63. bandit = Bandit([0.5, 0.6, 0.8, 0.9, 0.3, 0.95, 0.96, 0.45, 0.93, 0.22, 0.65])
    
64. model = Model(bandit, temperature=0.1, training_epochs=30000)
    
65. # bandit = Bandit([0.4, 0.2])
    
66. # model = Model(bandit, temperature=0.01, training_epochs=3000)
    
67. model.train()
    
68. print("最佳选择是 %d." % model.result)
    

复制代码

在47-49的三行里，我写了两种算摇臂被选中的概率的方法，前一种是每选择一次摇臂，就根据公式将所有摇臂的概率更新一次，我觉得这种似乎比较合理，后一种被我注释掉的，是只更新当次被选中的摇臂的概率。两种实验下来结果都差不多，我想问一下到底应该怎么写。