介绍由 Samuel Arzt 制作的、使用 Unity 的 ML-Agents 学习汽车停车动作的视频。
见证 AI 的成长，总让人有种温暖的感觉呢。
AI 在 3D 物理模拟中学习将车停入停车位。 该模拟使用 Unity 的 ML-Agents 框架（https://unity3d.com/machine-learning）实现。 AI 由一个深度神经网络构成，包含 3 个各由 128 个神经元组成的隐藏层。 它使用作为强化学习方法的 Proximal Policy Optimization（PPO）算法进行训练。
基本上，神经网络的输入是 8 个深度传感器的读数、车辆当前的速度和位置，以及相对于目标的相对位置。 神经网络的输出被解释为发动机动力、刹车力以及转向力。 这些输出会显示在缩放后画面的右上角。
AI 从随机动作开始。 也就是说，神经网络以随机权重初始化。 之后，它会根据环境反馈逐渐学会完成任务。 环境会通过正面或负面的奖励信号告诉 AI 这是好还是坏。
在这个项目中，AI 会因为接近停车位而获得小的正向信号奖励。停车位会以红色轮廓标出，而当它真正到达停车位并在那里停下时，会获得更大的奖励。到达停车位的最终奖励取决于车辆与实际停车位置平行停下的程度。比如，如果车辆以相对于实际停车方向 90° 的角度停下，与完全平行于实际方向停下相比，AI 只会获得很少的奖励。
如果 AI 行驶得离停车位更远，或者撞上障碍物，就会因负面奖励信号而受到惩罚。本视频中展示的训练过程，在一台配备 i5（第 7 代或第 8 代）和以 100 倍模拟速度运行的 GTX 1070 的电脑上，大约花费了 23 小时。
使用 AI 的停车对战
总觉得有点可爱。