谷歌发布了全新生成式AI 模型Lumiere,主攻运算难度更高的影片领域,除了可以用文字叙述来产生影片外,也可将图片转换成影片,甚至还能够变换影片中的物件、视觉风格,又或是将缺失的部分进行填补。
Lumiere 使用STUNet 技术,与一般影片AI 是逐格生成的方式不同,STUNet 是在分析多张画面之间的关联性后,再进行内容产生,可以有效提升物件内容之间的关联性,减少画面扭曲、抖动、变形的状况。
Lumiere 能够支持多种影片生成的方式,既可以使用文字叙述,也能将静态图片转为动态,也能将影片转换成不同的视觉风格,如果不知道该如何形容所希望的风格,也能附上参考图片,让AI 去仿造出有着相似元素的影片。
另外,Lumiere 也支援局部替换功能,不论是静态或是动态,只要将想要替换的区域圈选出来,再输入关键字,AI 就能自动修改该区域的内容,例如修改影片中人物的服装,或是替角色加入额外装饰等,都不成问题。
然而谷歌目前只是公开研发成果,还未开放给大众使用,未来推出的日程也尚未确定,所以各位大胆的想法还是先收起来吧!