打印本文 打印本文  关闭窗口 关闭窗口  
图像也能做情感迁移?罗切斯特大学团队提出计算机视觉新任务
作者:佚名  文章来源:本站原创  点击数  更新时间:2020/11/15 17:38:07  文章录入:admin  责任编辑:admin

  4 所示如下表 ,获得了最高的选中率SentiGAN ,幅领先并且大,的感情中实现了最优机能这表白它在迁徙参考图像。见图 6示例参。全局的图像感情迁徙方式 [2]罗杰波传授团队还提出了一种基于,可查看原论文感乐趣的读者。

  中每一个检测出的物体2. 对于输入图像,参考图像进行感情迁徙利用包含同样物体的。处理了前述问题该设想成功地,强大的矫捷性并使框架连结,的每一个物体付与分歧的感情例如用户能够给输入图像中。外此,无需供给参考图像它还能够利用户,lorful」、对天空输入「sunny」、对山输入「magnificent」)间接输入想要付与每一个检测出物体的感情词汇即可施行感情迁徙(如对鸟输入「co。和感情词汇有了物体,索对应的参考图像系统就能够主动检,感情迁徙并施行。

  行图像粗粒度感情迁徙时的机能第一个使命旨在权衡模子在执。测提取测试集中的典型积极图像和典型消沉图像研究人员锻炼一个图像感情二分类模子来用于预。张输入图像对于每一,极参考图像和十组采样的消沉参考图像中分歧的感情迁徙模子可从十组采样的积,进行感情迁徙对输入图像。图形评估成果拜见下表 1:从表 1 中能够看出图像感情分类模子对于各个感情迁徙模子获得的迁徙,最高的平均真正率和真负率SentiGAN 获得了。表白这,效施行图像粗粒度感情迁徙SentiGAN 能够有。

  外此,00 张迁徙图像对(积极图像和消沉图像)当选择积极图像研究人员还请五位意愿者从 SentiGAN 输出的 5。2 所示如表 ,为 72.4%选择准确的概率,果能够被用户察看到这表白感情迁徙效。GAN 输出的感情迁徙示例图 5 展现了 Senti。体级感情迁徙的效使命 2:验证物果

  性(sentiment consistency)第三个使命是评估迁徙图像和参考图像之间的感情分歧。了分歧模子预测的迁徙图像研究者对每个输入图像收集,与参考图像最具感情分歧性的迁徙图像并请五位意愿者从当选择出一或多个。

  环境下抱负,的这些元素完全迁徙为参考图像我们但愿模子可以或许将输入图像。觉暗示分化为内容码和气概码现有的多模态模子凡是将视。归一化 (AdaIN)迁徙即通过自顺应实例,注入输入图像 / 物体的内容码将参考图像 / 物体的气概码。是但,2 所示如下图 ,即便利用不异的气概码具备分歧内容码的物体,分布仍然大不不异获得的全体色彩。表白这,彩消息和内容码分分开现有模子无法充实将色,全的颜色迁徙因此导致不完。以上缺陷为处理,-aware GAN (SentiGAN)该研究提出了一种新方式 Sentiment。一种缺陷对于第,的物体级丧失函数该研究建立了对应,一路锻炼模子与图像级丧失。二种缺陷对于第,全局消息能够更好地迁徙输入物体的颜色消息其处理方案基于以下察看:额外迁徙内容码。时同,止其他内容消息(如纹理)的改变研究人员还通过维护空间消息来阻。此为,无效的束缚他们利用,考物体的内容码全局接近使迁徙物体的内容码与参,内容码局部接近但与输入物体的。失和揣度过程中的内容对齐步调来实现这些束缚通过锻炼过程中的内容分手损。种方式具备互补性该研究表白这两,感情迁徙的机能可以或许显著提高。

  提出了这项研究使命 [1]罗切斯特大学罗杰波传授团队。视觉使命比拟与其他计较机,移更有挑战性图像感情迁,体进行分歧的感情迁徙需要对图像中的每个物。感迁徙框架和新模子 SentiGAN该研究提出一种矫捷无效的物体级图像情,施行物体级图像感情迁徙尝试证明该框架能够无效。

  像气概迁徙比拟与图像转换和图,感迁徙更具挑战性该研究认为图像情。进行感情迁徙时需要利用分歧的法则此中一个难点在于对分歧类此外物体。气概迁徙这有别于,一添加给图像中的所有物体后者能够将一种绘画气概统。1 所示如图 ,具备积极感情要让输入图像,成清亮的蓝色应把海水迁徙,成彩色的海鸟迁徙。于统一张参考图像这两种操作不是基,和 1c 那样不实在不然就会像图 1b 。决方解案

  域中有良多使命计较机视觉领,转换、气概迁徙等如方针检测、图像,像感情迁徙」吗但你传闻过「图?

  入图像给定输,来提取物体和对应的掩码起首施行物体掩码提取;朋分来获取所有物体和高质量掩码然后利用图像描述生成和图像语义;后最, 逐一物体地施行感情迁徙利用 SentiGAN。

  —物体 级迁徙、全局迁徙、非对应物体的物体级迁徙研究人员令 SentiGAN 施行三种迁徙策略—, 组迁徙图像并生成 50。组当选择最线 所示令五位意愿者在每,大都组对于大,成的图像最线 示例表示分歧意愿者认为方针级感情迁徙生。参考图像间的感情分歧使命 3:迁徙图像与性

  能由第二步决定该框架的全体性,感情迁徙即方针级。用气概迁徙模子这里能够间接应,迁徙后的图像看起来天然可是感情迁徙使命需要,如纹理)的显式迁徙不需要局部模式(,移模子的固有元素而这恰是气概迁。此因,多模态图像转换模子研究人员转而操纵, 和 DRIT如 MUNIT。内容和气概消息它们能够分手,多基于内容的元素为输入图像保留更。映照模子做简单的点窜只需要对这些双范畴,于感情迁徙使命就能够使其合用,输入和迁徙图像的域而这并不会较着限制。

  是但,仍然具有缺陷利用以上模子。先首,最后是为图像级变换使命设想的MUNIT 和 DRIT ,迁徙使命上表示欠好它们在细粒度物体级。感迁徙的素质相关第二个问题与情。纹理和绘画气概比拟于轮廓、,感更敏感图像情,色的元素相关往往与基于颜,度、亮度和主色如对比度、饱和。

  评估图像感情迁徙模子的机能研究人员建立了三个使命来。 张选自测试集的输入图像这三个使命均基于 50,的感情消息(便利向积极或消沉感情标的目的迁徙)这些图像具备切确的物体掩码和相对中性或恍惚。

  这一挑战为领会决,一种无效框架该研究提出了,施行图像感情迁徙能够在物体级别。可分为两步整个过程:

  待摸索的新型研究使命图像感情迁徙是一个。移和面部脸色迁徙使命比拟与图像转换、图像气概迁,的对图像全体外观和感受的点窜图像感情迁徙关心更高级更笼统,其场景内容而不改变。a 所示如图 1,清亮并给海鸟着色后将混浊的海水变得,感的图像变得积极温暖本来传送中性或消沉情,容并未被更改而图像中的内。

  一张输入图像1. 给定,和语义朋分模子检测所有物体该框架操纵图像描述生成模子,素级掩码找出其像。模子的目标是连系利用两个,的物体掩码维护高质量,物体集的范畴同时大幅扩大。

打印本文 打印本文  关闭窗口 关闭窗口