[已解决]CartPole环境里的小疑问

xjtu_wong

【问题】：step函数返回的最后一项{}是什么？我自己跑了一下，传出来的是空白字典，请问为啥要设置这个输出？

1. def step(self, action):
   
2.         assert self.action_space.contains(action), "%r (%s) invalid"%(action, type(action)) #用于判断一个表达式，在表达式条件为 false 的时候触发异常。
   
3.         state = self.state
   
4.         x, x_dot, theta, theta_dot = state #设置状态
   
5.         force = self.force_mag if action==1 else -self.force_mag
   
6.         costheta = math.cos(theta)
   
7.         sintheta = math.sin(theta)
   
8.         temp = (force + self.polemass_length * theta_dot * theta_dot * sintheta) / self.total_mass
   
9.         thetaacc = (self.gravity * sintheta - costheta* temp) / (self.length * (4.0/3.0 - self.masspole * costheta * costheta / self.total_mass))
   
10.         xacc  = temp - self.polemass_length * thetaacc * costheta / self.total_mass
    
11.         if self.kinematics_integrator == 'euler':
    
12.             x  = x + self.tau * x_dot
    
13.             x_dot = x_dot + self.tau * xacc
    
14.             theta = theta + self.tau * theta_dot
    
15.             theta_dot = theta_dot + self.tau * thetaacc
    
16.         else: # semi-implicit euler
    
17.             x_dot = x_dot + self.tau * xacc
    
18.             x  = x + self.tau * x_dot
    
19.             theta_dot = theta_dot + self.tau * thetaacc
    
20.             theta = theta + self.tau * theta_dot
    
21.         self.state = (x,x_dot,theta,theta_dot)
    
22.         done =  x < -self.x_threshold \
    
23.                 or x > self.x_threshold \
    
24.                 or theta < -self.theta_threshold_radians \
    
25.                 or theta > self.theta_threshold_radians
    
26.         done = bool(done)
    
27. 
    
28.         if not done:
    
29.             reward = 1.0
    
30.         elif self.steps_beyond_done is None:
    
31.             # Pole just fell!
    
32.             self.steps_beyond_done = 0
    
33.             reward = 1.0
    
34.         else:
    
35.             if self.steps_beyond_done == 0:
    
36.                 logger.warn("You are calling 'step()' even though this environment has already returned done = True. You should always call 'reset()' once you receive 'done = True' -- any further steps are undefined behavior.")
    
37.             self.steps_beyond_done += 1
    
38.             reward = 0.0
    
39. 
    
40.         return np.array(self.state), reward, done, {}

复制代码

最佳答案

月排行榜 / 总排行榜

dlnb526

2020-3-9 18:07:14

xjtu_wong 发表于 2020-3-9 17:55
能否讲一下具体的功能？是用来调试环境的参数吗？感觉没必要设置这个输出啊

这个返回值是为了调用设计的。因为传入了空字典，相当于没有设置调试项，但是step ()必须把四个参数都返回才能被正确调用，调用后程序就是看你返回的四个东西来进行操作。
即调用step()方法的东西规定step()必须给我返回四个东西，调试项不管有没有先返回再说。

跳转到最佳答案楼层

dlnb526

step()函数在仿真器中扮演物理引擎的角色。其输出是：下一步状态，立即回报，是否终止，调试项。
字典里可以按照需要放你想放的调试内容。
希望对你有所帮助~

xjtu_wong

dlnb526 发表于 2020-3-7 19:25
step()函数在仿真器中扮演物理引擎的角色。其输出是：下一步状态，立即回报，是否终止，调试项。
字典里可 ...

能否讲一下具体的功能？是用来调试环境的参数吗？感觉没必要设置这个输出啊

dlnb526

xjtu_wong 发表于 2020-3-9 17:55
能否讲一下具体的功能？是用来调试环境的参数吗？感觉没必要设置这个输出啊

这个返回值是为了调用设计的。因为传入了空字典，相当于没有设置调试项，但是step ()必须把四个参数都返回才能被正确调用，调用后程序就是看你返回的四个东西来进行操作。
即调用step()方法的东西规定step()必须给我返回四个东西，调试项不管有没有先返回再说。