您现在的位置: 综艺大全网 >> 综艺 >> 正文 用户登录 新用户注册
管家婆电商版           ★★★ 【字体:
管家婆电商版
作者:佚名    综艺来源:来自网络    点击数:    更新时间:2023/3/16    
表情编辑技术在特效和修图场景有着广泛的应用。此前,剪映、醒图等app上的一键变笑脸模板一经上线就立刻成为出圈爆款;在抖音上,这一特效还引发了热烈的话题讨论,「笑得很好下次别笑了」一度登顶抖音话题热榜。近日, 在AI领域的顶级会议AAAI2023上,来自字节跳动智能创作团队的3篇关于表情编辑GAN技术的论文入选,揭示了上述爆款特效背后的技术实现方法。据了解,AAAI2023共收到了 8,777 有效投稿,最终接受了 1,721 篇论文,总体接受率19.6% 。ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing(https://arxiv.org/abs/2301.13402)Semantic 3D-aware Portrait Synthesis and Manipulation based on Compositional Neural Radiance Field(https://arxiv.org/abs/2302.01579)CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation(https://arxiv.org/abs/2302.01608)“一键变笑脸”背后的技术方案:第一阶段,团队利用预训练的3D人脸重建模型,提取3DMM表情系数并注入到StyleGAN的w空间。同时,渲染出3D shape用作约束条件,训练特定人脸表情的生成。第一阶段训练完成就可以生产大量的配对数据,训练服务端或移动端的pix2pix模型,从而实现特定表情的编辑。StyleGAN作为应用最广泛的无条件 GAN 之一,能够实现高保真图像的生成,同时也便于在其隐空间内进行语义编辑。团队借助StyleGAN自研了人像属性编辑框架,可以轻易地实现如人像表情等属性的编辑效果。详细技术方案见:https://arxiv.org/abs/2109.10737然而,基于StyleGAN生成的人脸(假图)和真实人脸图像还是有一定的差异,这体现在用假图训练好的pix2pix模型直接应用于自拍特效或者修图场景会不可避免的产生一些bad case,因此需要借助StyleGAN反演能力,生产真实人脸的配对数据用于模型训练。过去,基于StyleGAN的重建和编辑存在trade-off问题,即提升真实图像的重建效果会影响属性的编辑效果。先前的方法针对性地优化了StyleGAN的重建和编辑任务,但没能从原理上解决上述问题。团队提出了ReGANIE,通过二阶段修复重建的误差的方法,在不影响StyleGAN本身编辑能力的同时,大幅地提升了图像重建的效果,从根本上解决了这个trade-off问题。因此,团队利用ReGANIE和StyleGAN编辑模型可以生产真实人像的表情配对数据,还实验了如卡通肖像,动物肖像等场景扩展。另外,团队探索了将神经辐射场(Nerf)技术和StyleGAN技术进行结合,结合人像分割能力提出了3D一致性的肖像合成与编辑技术Semantic3D,实现了肖像数据的姿态和局部可控性。它借由视角v的输入可以灵活生成不同姿态的肖像图,从而可以扩充训练数据的姿态多样性。同时,基于组合式生成的思想,让StyleGAN的隐空间操纵聚焦于期待编辑的属性,如只编辑面部区域表情而不改变头发或背景。据团队介绍,未来,基于GAN等生成技术对人像表情进行编辑将主要应用于短视频特效、修图拍摄和内容生成等应用场景。目前,相关功能可在抖音,剪影,醒图等APP体验,企业用户可登陆火山引擎官网(https://www.volcengine.com/product/emotion-edit)使用表情编辑服务。智能创作团队是字节跳动AI&多媒体技术中台,通过建设领先的计算机视觉、音视频编辑、特效处理等技术,支持抖音、剪映、头条等公司内众多产品线;同时通过火山引擎为外部ToB合作伙伴提供业界前沿的智能创作能力与行业解决方案。(作者:陈山)
综艺录入:admin    责任编辑:admin 
  • 上一个综艺:

  • 下一个综艺:
  • 发表评论】【加入收藏】【告诉好友】【打印此文】【关闭窗口
    最新热点 最新推荐 相关综艺
    管家婆电商版
    管家婆电商版
      网友评论:(只显示最新10条。评论内容只代表网友观点,与本站立场无关!)