鱼C论坛

 找回密码
 立即注册
查看: 1290|回复: 3

[已解决]CartPole环境里的小疑问

[复制链接]
发表于 2020-3-7 16:10:14 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
【问题】:step函数返回的最后一项{}是什么?我自己跑了一下,传出来的是空白字典,请问为啥要设置这个输出?
def step(self, action):
        assert self.action_space.contains(action), "%r (%s) invalid"%(action, type(action)) #用于判断一个表达式,在表达式条件为 false 的时候触发异常。
        state = self.state
        x, x_dot, theta, theta_dot = state #设置状态
        force = self.force_mag if action==1 else -self.force_mag
        costheta = math.cos(theta)
        sintheta = math.sin(theta)
        temp = (force + self.polemass_length * theta_dot * theta_dot * sintheta) / self.total_mass
        thetaacc = (self.gravity * sintheta - costheta* temp) / (self.length * (4.0/3.0 - self.masspole * costheta * costheta / self.total_mass))
        xacc  = temp - self.polemass_length * thetaacc * costheta / self.total_mass
        if self.kinematics_integrator == 'euler':
            x  = x + self.tau * x_dot
            x_dot = x_dot + self.tau * xacc
            theta = theta + self.tau * theta_dot
            theta_dot = theta_dot + self.tau * thetaacc
        else: # semi-implicit euler
            x_dot = x_dot + self.tau * xacc
            x  = x + self.tau * x_dot
            theta_dot = theta_dot + self.tau * thetaacc
            theta = theta + self.tau * theta_dot
        self.state = (x,x_dot,theta,theta_dot)
        done =  x < -self.x_threshold \
                or x > self.x_threshold \
                or theta < -self.theta_threshold_radians \
                or theta > self.theta_threshold_radians
        done = bool(done)

        if not done:
            reward = 1.0
        elif self.steps_beyond_done is None:
            # Pole just fell!
            self.steps_beyond_done = 0
            reward = 1.0
        else:
            if self.steps_beyond_done == 0:
                logger.warn("You are calling 'step()' even though this environment has already returned done = True. You should always call 'reset()' once you receive 'done = True' -- any further steps are undefined behavior.")
            self.steps_beyond_done += 1
            reward = 0.0

        return np.array(self.state), reward, done, {}
最佳答案
2020-3-9 18:07:14
xjtu_wong 发表于 2020-3-9 17:55
能否讲一下具体的功能?是用来调试环境的参数吗?感觉没必要设置这个输出啊


这个返回值是为了调用设计的。因为传入了空字典,相当于没有设置调试项,但是step ()必须把四个参数都返回才能被正确调用,调用后程序就是看你返回的四个东西来进行操作。
即调用step()方法的东西规定step()必须给我返回四个东西,调试项不管有没有先返回再说。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-3-7 19:25:08 | 显示全部楼层
step()函数在仿真器中扮演物理引擎的角色。其输出是:下一步状态,立即回报,是否终止,调试项
字典里可以按照需要放你想放的调试内容。
希望对你有所帮助~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-3-9 17:55:20 | 显示全部楼层
dlnb526 发表于 2020-3-7 19:25
step()函数在仿真器中扮演物理引擎的角色。其输出是:下一步状态,立即回报,是否终止,调试项。
字典里可 ...

能否讲一下具体的功能?是用来调试环境的参数吗?感觉没必要设置这个输出啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-3-9 18:07:14 | 显示全部楼层    本楼为最佳答案   
xjtu_wong 发表于 2020-3-9 17:55
能否讲一下具体的功能?是用来调试环境的参数吗?感觉没必要设置这个输出啊


这个返回值是为了调用设计的。因为传入了空字典,相当于没有设置调试项,但是step ()必须把四个参数都返回才能被正确调用,调用后程序就是看你返回的四个东西来进行操作。
即调用step()方法的东西规定step()必须给我返回四个东西,调试项不管有没有先返回再说。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-6-18 17:08

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表