早在六十年代,历史上最热的玩具之一席卷了美国。它被称为蚀刻蚀刻,它的流行是基于一个现在可笑的简单功能。这是一款手持式小型笔记本电脑设备,允许用户通过旋转两个控制旋钮绘制水平,垂直和对角线(由铝颗粒密封在塑料盒中)来创建原始图像。它使经验丰富的艺术家能够创作出简单且有时可以识别的肖像。坦率地说,通过生成看起来仍然很像糊状的东西,那些经验不足的,想要画些简笔画人物的想像艺术家就可以感觉像是该流派的大师。但是Etch-A-Sketch很有趣,它至今已售出1亿个单位。
六十年后,中国科学院和香港城市大学的研究人员提出了一项发明,该发明实际上实现了许多一厢情愿的人所想像的Etch-A-Sketch多年来所做的事情。
DeepFaceDrawing允许用户通过输入松散的,非专业的,粗略绘制的草图来创建逼真的肖像画。它不需要艺术技能,也不需要编程经验。
该程序依靠机器学习来填充眼睛,鼻子和嘴巴等基本组件之间的空间。庞大的面部特征数据库提供详细的填充信息,概率公式有助于确定要插入各种细节的可能性。
最近有一些技术为用户提供了从基本图形创建图像的功能,例如pix2pixHD,Lines2FacePhoto和iSketchNFill。将DeepFaceDrawing与这些程序进行比较,有时会发现其他程序的结果令人恐惧。比较结果显示DeepFaceDrawing在其他素描程序上方站立着。
由陈树瑜(Shu-Yu Chen)领导的研究人员在最近在线发布的报告中解释了这些程序之间的区别:
“最近的深层图像到图像的转换技术可以从徒手素描中快速生成人脸图像。但是,现有的解决方案往往会过度适合素描,因此需要专业素描甚至边缘贴图作为输入。要解决这个问题,我们的主要思想是隐式地对合理的面部图像的形状空间进行建模,并在该空间中合成面部图像以近似输入草图。”
报告指出:“我们的方法主要使用输入草图作为软约束,因此即使从粗糙和/或不完整的草图中也可以生成高质量的人脸图像。”
该团队计划在今年的SIGGRAPH 7月会议上演示DeepFaceDrawing。该小组成立于1969年,每年举行一次有关计算机图形学最新发展的会议。由于COVID-19,今年的活动将是虚拟的。
DeepFaceDrawing具有明显的娱乐吸引力。但是它在执法中具有巨大的潜力,在这种情况下,快速,准确地勾勒犯罪嫌疑人非常宝贵。它还具有在面部识别应用程序,医疗程序和教育培训中使用的潜力。
该小组表示,他们将很快发布其代码。
这项研究是在上周的一份报告之前进行的。该报告说,伊斯坦布尔技术大学计算机工程系的土耳其研究人员仅使用耳朵的图像就可以使用深度神经网络准确地创建人的面部。
让我们为机器学习和深度神经网络聆听它。