Google Research 最近在 Github 发表最新生成式 AI「StyleDrop」,可以复制任何一张图片中的风格,再加以生成图像。
使用者只需要提供一张用来指定风格的图片,StyleDrop 就能捕捉到风格中的细微差异,包括色彩、阴影、图案设计等,并模仿该风格生成图片。根据研究团队,StyleDrop 在风格移转方面的表现,还优於 Stable Diffusion 中的 Textual Inversion、Dreambooth、LoRAs 和 Imagen 等模型。
Photo Credit: Google
StyleDrop 同时采用人工和自动反馈进行迭代学习以提高模型品质。当 StyleDrop 接收到输入的图像後,会生成一组再现其风格的图像,这时团队会透过 CLIP 分数或人工筛选,从中挑出最佳的生成结果,并用於进一步的模型训练。如果生成的图像不是直接重现原始图片输入内容,却保留风格的话,就会被认定为是品质高的生成结果。
团队也将 StyleDrop 与 Dreambooth 相互结合,来透过不同风格创造新物体,从图中可看到若输入物品的照片,即会由 Dreambooth 来学习;再输入一张图像则由 StyleDrop 学习其风格,再加以合并物体和风格。
Photo Credit: Google
资料来源:the decoder、Gearrice
责任编辑:Jocelyn
核稿编辑:Chris