《用Python动手学习强化学习》【策略迭代】【动态规划】

糖逗

代码出处：《用Python动手学习强化学习》第二章：基于动态规划的策略学习（策略迭代）

1. class PolicyIterationPlanner(Planner):
   
2. 
   
3.     def __init__(self, env):
   
4.         super().__init__(env)
   
5.         self.policy = {}
   
6. 
   
7.     def initialize(self):
   
8.         super().initialize()
   
9.         self.policy = {}
   
10.         actions = self.env.actions
    
11.         states = self.env.states
    
12.         for s in states:
    
13.             self.policy[s] = {}
    
14.             for a in actions:
    
15.                 # 初始化策略
    
16.                 # 一开始时各种行动的概率都是一样的
    
17.                 self.policy[s][a] = 1 / len(actions)
    
18. 
    
19.     def estimate_by_policy(self, gamma, threshold):
    
20.         V = {}
    
21.         for s in self.env.states:
    
22.             # 初始化各种状态的期望奖励
    
23.             V[s] = 0
    
24. 
    
25.         while True:
    
26.             delta = 0
    
27.             for s in V:
    
28.                 expected_rewards = []
    
29.                 for a in self.policy[s]:
    
30.                     action_prob = self.policy[s][a]
    
31.                     r = 0
    
32.                     for prob, next_state, reward in self.transitions_at(s, a):
    
33.                         r += action_prob * prob * \
    
34.                              (reward + gamma * V[next_state])
    
35.                     expected_rewards.append(r)
    
36.                 value = sum(expected_rewards)
    
37.                 delta = max(delta, abs(value - V[s]))
    
38.                 V[s] = value
    
39.             if delta < threshold:
    
40.                 break
    
41. 
    
42.         return V
    
43. 
    
44.     def plan(self, gamma=0.9, threshold=0.0001):
    
45.         self.initialize()
    
46.         states = self.env.states
    
47.         actions = self.env.actions
    
48. 
    
49.         def take_max_action(action_value_dict):
    
50.             return max(action_value_dict, key=action_value_dict.get)
    
51. 
    
52.         while True:
    
53.             update_stable = True
    
54.             # 在当前的策略下估计期望奖励
    
55.             V = self.estimate_by_policy(gamma, threshold)
    
56.             self.log.append(self.dict_to_grid(V))
    
57. 
    
58.             for s in states:
    
59.                 # 在当前的策略下得到行动
    
60.                 policy_action = take_max_action(self.policy[s])
    
61. 
    
62.                 # 与其他行动比较
    
63.                 action_rewards = {}
    
64.                 for a in actions:
    
65.                     r = 0
    
66.                     for prob, next_state, reward in self.transitions_at(s, a):
    
67.                         r += prob * (reward + gamma * V[next_state])
    
68.                     action_rewards[a] = r
    
69.                 best_action = take_max_action(action_rewards)
    
70.                 if policy_action != best_action:
    
71.                     update_stable = False
    
72. 
    
73.                 # 更新策略（设置 best_action prob=1, otherwise=0 (贪婪)）
    
74.                 for a in self.policy[s]:
    
75.                     prob = 1 if a == best_action else 0
    
76.                     self.policy[s][a] = prob
    
77. 
    
78.             if update_stable:
    
79.                 # 如果策略没有更新，则停止迭代
    
80.                 break
    
81. 
    
82.         # 将字典转换为二维数组
    
83.         V_grid = self.dict_to_grid(V)
    
84.         return V_grid

复制代码

rwk

沙发？