您现在的位置:新闻首页>文物之最

有史以来最精彩的自问自答:OpenAI 转方块的机械

2018-08-02 10:12编辑:xh1997.com人气:


有史以来最精彩的自问自答:OpenAI 转方块的机械手

2018-07-31 22:25 来源:雷锋网 设计 /操作系统 /机器人

原标题:有史以来最精彩的自问自答:OpenAI 转方块的机械手

雷锋网 AI 科技评论按:今年 2 月,OpenAI 发起了一组机械手挑战,他们在基于 MuJoCo 物理模拟器的 Gym 环境中新设计了含有机械臂末端控制、机械手拿取物体的两组八个有难度的、早期强化学习算法已经不足以直接解决的问题。这些具有一定难度的任务 OpenAI 自己也在研究,他们认为这是深度强化学习发展到新时代之后可以作为新标杆的算法测试任务,而且也欢迎其它机构与学校的研究人员一同研究这些任务,把深度强化学习的表现推上新的台阶。

有史以来最精彩的自问自答:OpenAI 转方块的机械

机械手任务之三 - 转鸡蛋,示意图

今天(美国时间 7 月 30 日),OpenAI 已经就机械手任务之二的「转方块」出了自己答案,展示了一个异常灵活的转方块的机械手。而且更精彩的是,这个完全在模拟器中强化学习学到的方案还可以不需任何微调就直接迁移到真实的机械手上

有史以来最精彩的自问自答:OpenAI 转方块的机械

机械手任务之二 - 转方块,真实机械手上运行

OpenAI 也制作了一个酷炫的介绍视频,请看下方。

OpenAI 把这套系统称作 Dactyl。OpenAI 过去一年中研究强化学习系统的偏好思路再次得到了体现:在完全模拟的环境中训练,然后把训练结果迁移到现实世界的机械结构中

得益于可以大规模高速并行训练的模拟环境以及 OpenAI 在过去的研究中积累的系统设计与变量选择经验,这样的做法已经可以得到很好的效果。强化学习算法方面,OpenAI 再次选择了之前在 DOTA2 5v5 AI 中使用的 PPO(近端策略优化),这当然也再次展示了 PPO 作为通用强化学习算法的优越性。当然,系统最大的亮点还是可以完全在虚拟环境中训练,不需要对真实世界有准确的物理模型也可以直接迁移到真实机械手、真实物体的控制上

有史以来最精彩的自问自答:OpenAI 转方块的机械

两指夹住旋转、滑动、手指同步旋转,三种 Dactyl 完全自动学到的与人类类似的运动模式 任务介绍

任务中使用的机械手模型是参照 Shadow Dexterous Hand 设计的。这是一个完全仿照人手设计的具有 20 个驱动自由度、4 个半驱动自由度、共 24 个关节的机械手,它的大小也和人手大小相同。任务的要求是在机械手的掌心放置一个方块或者六棱柱,然后要求机械手把它翻转到一个指定的角度,比如把某个侧面翻到上方。系统只能观察到五指指尖的空间坐标以及三个固定角度的彩色摄像机采集到的画面。

有史以来最精彩的自问自答:OpenAI 转方块的机械

虽然这种机械手面世已经有几十年了,但是如何让它像人类一样高效地控制物体一直都是机器人控制领域的老大难问题。与空间定位移动之类的问题不同,非常多自由度的机械手控制用传统控制方法不仅运行缓慢,而且必须对自由度做出一些限制,这也就随之限制了它们控制真实世界物体的能力。

想通过深度强化学习的方法让机械手翻转一个物体,需要考虑这几个问题:

能在真实世界中工作。强化学习虽然已经在很多模拟器环境以及游戏中展现出了优秀的表现,但是强化学习解决真实世界任务的研究仍然非常有限。OpenAI 的最终目标就是要让 Dactyl 在真实的机器人上完成任务。

高自由度控制。一般的机械臂(比如末端为夹子的工业机械臂)只有 7 个自由度,而机械手有多达 24 个自由度,仅仅是不让 5 个指头打架都有相当的难度。

有噪声的部分信息观察。Dactyl 在真实世界中工作的时候不可避免地会遇到传感器读数的噪声和延迟问题。当某一个手指的传感器受到其它手指或者物体的影响而无法返回读数的时候,Dactyl 只能在部分信息的状况下工作。而且,真实物理系统许多细节(比如摩擦和滑动)是无法直接观察到的,系统必须自己做出推断。

能操作多个物体。Dactyl 的设计目标是要足够灵活,能够翻转、定向多种不同种类的物体。这就意味着不能选用只对某一些特定的几何形状有效的策略。

OpenAI 的解决方法
(来源:世界之最网)

织梦二维码生成器
已推荐
0
  • 凡本网注明"来源:的所有作品,版权均属于中,转载请必须注明中,http://www.xh1997.com。违反者本网将追究相关法律责任。
  • 本网转载并注明自其它来源的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品来源,并自负版权等法律责任。
  • 如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。






图说新闻

更多>>