[已解决]CartPole环境里的小疑问

xjtu_wong

【问题】：step函数返回的最后一项{}是什么？我自己跑了一下，传出来的是空白字典，请问为啥要设置这个输出？

def step(self, action):
        assert self.action_space.contains(action), "%r (%s) invalid"%(action, type(action)) #用于判断一个表达式，在表达式条件为 false 的时候触发异常。
        state = self.state
        x, x_dot, theta, theta_dot = state #设置状态
        force = self.force_mag if action==1 else -self.force_mag
        costheta = math.cos(theta)
        sintheta = math.sin(theta)
        temp = (force + self.polemass_length * theta_dot * theta_dot * sintheta) / self.total_mass
        thetaacc = (self.gravity * sintheta - costheta* temp) / (self.length * (4.0/3.0 - self.masspole * costheta * costheta / self.total_mass))
        xacc  = temp - self.polemass_length * thetaacc * costheta / self.total_mass
        if self.kinematics_integrator == 'euler':
            x  = x + self.tau * x_dot
            x_dot = x_dot + self.tau * xacc
            theta = theta + self.tau * theta_dot
            theta_dot = theta_dot + self.tau * thetaacc
        else: # semi-implicit euler
            x_dot = x_dot + self.tau * xacc
            x  = x + self.tau * x_dot
            theta_dot = theta_dot + self.tau * thetaacc
            theta = theta + self.tau * theta_dot
        self.state = (x,x_dot,theta,theta_dot)
        done =  x < -self.x_threshold \
                or x > self.x_threshold \
                or theta < -self.theta_threshold_radians \
                or theta > self.theta_threshold_radians
        done = bool(done)

        if not done:
            reward = 1.0
        elif self.steps_beyond_done is None:
            # Pole just fell!
            self.steps_beyond_done = 0
            reward = 1.0
        else:
            if self.steps_beyond_done == 0:
                logger.warn("You are calling 'step()' even though this environment has already returned done = True. You should always call 'reset()' once you receive 'done = True' -- any further steps are undefined behavior.")
            self.steps_beyond_done += 1
            reward = 0.0

        return np.array(self.state), reward, done, {}

最佳答案

月排行榜 / 总排行榜

dlnb526

2020-3-9 18:07:14

xjtu_wong 发表于 2020-3-9 17:55
能否讲一下具体的功能？是用来调试环境的参数吗？感觉没必要设置这个输出啊

这个返回值是为了调用设计的。因为传入了空字典，相当于没有设置调试项，但是step ()必须把四个参数都返回才能被正确调用，调用后程序就是看你返回的四个东西来进行操作。
即调用step()方法的东西规定step()必须给我返回四个东西，调试项不管有没有先返回再说。

跳转到最佳答案楼层

dlnb526

step()函数在仿真器中扮演物理引擎的角色。其输出是：下一步状态，立即回报，是否终止，调试项。
字典里可以按照需要放你想放的调试内容。
希望对你有所帮助~

xjtu_wong

dlnb526 发表于 2020-3-7 19:25
step()函数在仿真器中扮演物理引擎的角色。其输出是：下一步状态，立即回报，是否终止，调试项。
字典里可 ...

能否讲一下具体的功能？是用来调试环境的参数吗？感觉没必要设置这个输出啊

dlnb526

xjtu_wong 发表于 2020-3-9 17:55
能否讲一下具体的功能？是用来调试环境的参数吗？感觉没必要设置这个输出啊

这个返回值是为了调用设计的。因为传入了空字典，相当于没有设置调试项，但是step ()必须把四个参数都返回才能被正确调用，调用后程序就是看你返回的四个东西来进行操作。
即调用step()方法的东西规定step()必须给我返回四个东西，调试项不管有没有先返回再说。