通过深度学习(深层学习)支持草图勾线的技术「Smart Inker」!早稻田大学的シモセラ エドガー氏、饭冢里志氏、石川博氏的 SIGGRAPH 2018 技术论文

本研究中,提出了一种应用深度学习、可交互地为草图进行勾线的工具,Smart Inker。
Smart Inker 具有可自然连接断开的线条、并高效删除不必要线条的“智能”工具功能,能够有效修正自动输出的线稿。
为实现这类功能,本方法采用了数据驱动型方法。Smart Inker 基于全卷积神经网络构建,该网络被训练为以用户编辑和草图两者作为输入,并输出准确的线稿。 由此,可对各种复杂草图进行高精度、实时编辑。 为了训练这些工具,提议的方法考案了两项重要技术。即,模拟用户编辑以创建训练数据的数据增强方法,以及利用线稿的矢量数据训练的细线化网络进行线稿标准化的方法。将这些方法与面向草图的特化数据增强相结合,即可在无需准备实际用户编辑数据的情况下,大量生成包含各种编辑模式的训练数据,并有效训练各个网络。 实际使用提议工具对草图进行勾线的用户测试结果表明,与商业插画制作软件相比,提议工具能够更轻松、更短时间地生成线稿,即使几乎没有插画制作经验的用户也能创建出漂亮的线稿。
这感觉相当实用。