Dwango 的使用深度强化学习的人工生命运动自动生成技术！
基于 Unity 构建的开源项目「RLCreature」已在 Github 公开！据说还会在 SIGGRAPH 2018 设展。
即使是虚构的未知生物，我们也能从其形状想象出自然的动作。这个研究提出了一种方法，为具有未知形状的生物赋予自然的动作。我们将自然的动作视为高效的动作，通过深度强化学习获得尽可能在短时间内最大化目标（报酬）的动作。
近年来，已经开展了若干利用这种深度强化学习进行运动生成的研究。本研究特别提出了一种可在智能手机等移动环境中运行的、用于运动生成的深度强化学习方法。
这里的报酬，例如是未来一段时间内获取食物的数量。为了最大化该报酬，输出将是每个生命体所有关节在每一帧的角度。然而，预测并最大化未来的报酬、以及为所有关节在所有帧上逐一确定角度，都是非常困难的问题，因此为了在有限的计算资源下解决这个问题，我们提出了将问题分成两个部分的系统。
为了最大化报酬，强化学习部分（Decision-Maker）每隔数十帧决定一次诸如“前进”“跳跃”等离散化的行动指示。更细粒度地，每隔数帧，另一部分（Sequence-Maker，使用 bandit 算法）在仅针对这几帧的范围内进行探索，以尽可能实现行动指示的内容。通过这两个学习算法分别分担并解决这两个复杂性，我们实现了在移动环境中让数十个人工生命实时学习。
从 8/12 日开始举行的 SIGGRAPH 2018 的 Studio 中，Dwango 将展示并发表这项研究。
公开了由 DMV 成员参与开发的强化学习项目“RLCreature”。利用 Unity，实现仅在智能手机内完成、通过强化学习生成人工生命运动的功能。我们也将在下周于加拿大举行的 SIGGRAPH 的 Studio 区域进行展示。 https://t.co/5wop7LwkAa https://t.co/em67VD7CJS
— Dwango Media Village (@Dwango_DMV) August 7, 2018
这似乎是一项能拓展很多想象空间的技术。
Unity 的代码、人工生命的演示，以及另外两个库都作为开源在 Github 上公开了。
请务必看看。