《用Python动手学习强化学习》【价值迭代】【动态规划】

糖逗

代码出处：《用Python动手学习强化学习》第二章：基于动态规划的价值近似学习（价值迭代）

1. class Planner():
   
2.     def __init__(self, env):
   
3.         self.env = env
   
4.         self.log = []
   
5.    
   
6.     def initialize(self):
   
7.         self.env.reset()
   
8.         self.log = []
   
9.    
   
10.     def plan(self, gamma = 0.9, threshold = 0.0001):
    
11.         raise Exception("Planner have to implements plan method.")
    
12.         
    
13.     def transitions_at(self, state, action):
    
14.         transition_probs = self.env.transit_func(state, action)
    
15.         for next_state in transition_probs:
    
16.             prob = transition_probs[next_state]
    
17.             reward, _ = self.env.reward_func(next_state)
    
18.             yield prob, next_state, reward
    
19.   
    
20.     def dict_to_grid(self, state_reward_dict):
    
21.         grid = []
    
22.         for i in range(self.env.row_length):
    
23.             row = [0] * self.env.column_length
    
24.             grid.append(row)
    
25.         for s in state_reward_dict:
    
26.             grid[s.row][s.column] = state_reward_dict[s]
    
27.         return grid
    
28. 
    
29. class ValueIterationPlanner(Planner):
    
30.     def __init__(self, env):
    
31.         super().__init__(env)
    
32.         
    
33.     def plan(self, gamma = 0.9, threshold = 0.0001):
    
34.         self.initialize()
    
35.         actions = self.env.actions
    
36.         V = {}
    
37.         for s in self.env.states:
    
38.             V[s] = 0
    
39.         
    
40.         while True:
    
41.             delta = 0
    
42.             self.log.append(self.dict_to_grid(V))
    
43.             for s in V:
    
44.                 if not self.env.can_action_at(s):
    
45.                     continue
    
46.                 expected_rewards = []
    
47.                 for a in actions:
    
48.                     r = 0
    
49.                     for prob, next_state, reward in self.transitions_at(s, a):
    
50.                         r += prob * (reward + gamma * V[next_state])
    
51.                     expected_rewards.append(r)
    
52.                     
    
53.                 max_reward = max(expected_rewards)
    
54.                 delta = max(delta, abs(max_reward - V[s]))
    
55.                 V[s] = max_reward
    
56.             
    
57.             if delta < threshold:
    
58.                 break
    
59.         
    
60.         V_grid = self.dict_to_grid(V)
    
61.         return V_grid
    

复制代码

糖逗