是什么使图像令人难忘?询问计算机。从“蒙娜丽莎(Mona Lisa)”到“戴珍珠耳环的女孩”,有些图像在其他图像消失后很长一段时间就在脑海中徘徊。问一个艺术家为什么,您可能会听到一些普遍认可的制作难忘艺术的原则。现在,有一种更简单的学习方法:要求人工智能模型画一个例子。
一项新的研究使用机器学习来生成图像,范围从令人难忘的芝士汉堡到令人难忘的咖啡,详细显示了使肖像或场景脱颖而出的原因。研究中的人类对象最能记住的图像具有鲜艳的色彩,简单的背景以及在画面中居中突出的对象。结果在本周的国际计算机视觉会议上发表。
该研究的共同作者菲利普·伊索拉(Phillip Isola),邦妮和马蒂(1964)滕内鲍姆CD麻省理工学院电气工程与计算机科学助理教授说:“一张图片价值一千个单词。”。”“关于记忆力的文章很多,但是这种方法使我们可以直观地看到记忆力的样子。它为我们提供了很难用文字表达的视觉定义。”
这项工作建立在早期模型MemNet的基础上,该模型对图像的可记忆性进行评分,并突出显示影响其决策的图片特征。MemNet的预测基于在线研究的结果,其中向人类对象显示了60,000张图像,并根据它们被记住的难易程度进行排名。
当前研究中的模型GANalyze使用一种称为生成对抗网络或GAN的机器学习技术来可视化单个图像,因为它的图像从“机甲”到令人难忘的距离都很大。GANalyze可使观看者直观地看到丢失在竹子中的模糊熊猫变成了以骨架为主的熊猫,黑眼睛,耳朵和爪子与白色杯子形成鲜明对比。
图像分段GAN具有三个模块。基于MemNet的评估者可以旋转目标图像上的记忆性旋钮,并计算出如何达到所需的效果。转换器执行其指令,而生成器输出最终图像。
渐变具有延时图像的戏剧性感觉。转移到记忆力等级末端的芝士汉堡看起来比以前的版本更胖,更亮,并且正如作者所指出的那样“美味”。一只瓢虫看起来更闪亮,更有目的。出乎意料的是,藤蔓上的胡椒从绿色变成了红色的变色龙。
研究人员还研究了哪些特征对记忆力的影响最大。在在线实验中,向人类受试者显示了具有不同记忆力的图像,并要求标记任何重复。事实证明,最粘的复制品使主体更靠近,使框架中的动物或物体显得更大。接下来最重要的因素是亮度,使被摄物体位于画面中央,并呈正方形或圆形。
研究合著者,比利时鲁汶大学(Kateholieke Universiteit Leuven)的客座研究生Lore Goetschalckx说:“人类的大脑进化成最专注于这些功能,这就是GAN所追求的。”
研究人员还重新配置了GANanalyze,以生成具有不同美学和情感吸引力的图像。他们发现,从美学和情感角度考虑,评分较高的图像更明亮,更彩色,并且景深较浅,模糊了背景,就像最令人难忘的图片一样。但是,最美的图像并不总是令人难忘。
研究人员说,GANalyze具有许多潜在的应用。通过增强现实系统中的对象增强,它可以用于检测甚至处理内存丢失。
“代替使用药物来增强记忆力,您可以通过增强现实设备来改善世界,使诸如键盘之类的容易放错地方的东西脱颖而出,”研究共同资深作者Aude Oliva说,他是麻省理工学院计算机科学系的首席研究科学家,人工智能实验室(CSAIL)和MIT Quest for Intelligence的执行总监。
GANalyze还可以用于创建难忘的图形,以帮助读者保留信息。“这可以彻底改变教育,”奥利瓦(Oliva)说。最终,GAN已开始用于生成合成的,逼真的世界图像,以帮助训练自动化系统来识别在现实生活中不太可能遇到的位置和物体。