分享

这个机器人有点厉害,能够把图片动起来#animatediff

 Mixlab交叉学科 2023-07-16 发布于上海
我们先来看看效果:



效果还不错,可以给每一张图片都生成视频了。



基本的原理是什么呢?官方的解释有点深奥,我们换一种方式理解下此项技术:


Shadow是一位小朋友,他喜欢玩积木。有时候,他用积木搭建了一个静态的建筑,但是觉得有些无聊,想让它动起来。

于是,他想到了一个好方法,就是给他的积木加上一个小机器人,让它们动起来。

这个小机器人可以学习如何动,然后把学到的动作教给积木。

这样,Shadow所有搭建好的建筑都可以动起来了,而且不需要每次都重新学习一遍。

就像小朋友们学会了一个游戏规则,就可以用它来玩很多不同的游戏一样。




你看懂了吗?



论文:

AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning

地址:
https://animatediff.

该论文提出了一个实用的框架,用于为现有的文本生成图像模型添加动画效果。该框架通过插入一个新的运动模块(经过训练学习了视频片段的动作知识)到已经冻结的文本生成图像模型中。所有基础模型都能够轻松地生成各种各样的个性化动画图像。


科普小故事生成的

提示工程

本文案例已收录至[ AIGC·元宇宙知识库 ]


    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多