哥们儿,你有没有想过让你手机里那些拍得特牛逼的照片动起来?不是搞个幻灯片配上音乐那么简单,而是让照片里的东西真的“活”过来。比如,一张你拍的咖啡店照片,下一秒,咖啡杯里就开始冒热气,窗外的人也开始走动。这事儿现在真能干,用的就是AI图片生成视频技术。

这技术听着挺玄乎,但说白了,就是你给AI一张图片,它能根据这张图“脑补”出接下来会发生什么,或者之前发生了什么,然后生成一段几秒钟的短视频。AI会分析图片里的内容,比如它看到一只鸟,它就会去想,这只鸟接下来最可能干嘛?是飞走,还是歪歪头?然后它就根据这些“猜测”去创造动作。
一开始,这技术生成的视频效果挺粗糙的,动起来跟抽筋儿似的,或者画面各种扭曲变形,看着特别诡异。但是,最近这技术进步太快了。像Stability AI搞出来的Stable Video Diffusion,还有Runway的Gen-2,Pika Labs的Pika 1.0,谷歌的Lumiere,这些工具都变得越来越好用,生成的视频效果也越来越真。
Stable Video Diffusion:自己部署才够爽
我们先说说Stable Video Diffusion (SVD)。这个工具是开源的,意思就是懂点技术的人可以把它下载下来,在自己的电脑上跑。 这就给了用户很大的自由度,不用排队,也不用担心隐私问题。SVD现在有两个主要模型,一个能生成14帧的视频,另一个能生成25帧的,帧率可以自己调。 它的好处是,因为是开源的,很多开发者在给它做各种各样的优化和新功能,潜力很大。
但是,自己部署SVD对普通人来说门槛有点高。你得有一张性能不错的显卡,比如英伟达的RTX 3080或者4090,还得会用命令行,装各种软件库。 如果你电脑配置不够,或者看见代码就头大,那这个方法可能不太适合你。不过,现在也有一些网站提供了在线版的SVD,上传图片就能用,方便了很多,只是可能需要付费或者排队。
Runway Gen-2 和 Pika Labs:在线工具,上手快
如果你不想折腾自己的电脑,那Runway Gen-2和Pika Labs就是更好的选择。这两个都是在线工具,你直接用浏览器打开网站就能玩。操作逻辑也特别简单:注册账号,上传图片,点一下生成按钮,等着就行了。
Runway的Gen-2功能很直接,你上传一张图,它就能让图动起来。 比如你上传一张风景照,它可以让云彩飘动,湖水泛起涟漪。 你还可以用一个叫“运动笔刷”的功能,在图片上涂抹一下,告诉AI你希望哪个区域动起来,以及怎么动。 这样控制起来就更精确。
Pika Labs(现在叫Pika 1.0)也差不多,操作很简单,而且在细节上做得不错。 很多人觉得Pika生成的视频在人物的细微动作和表情上更自然一些。它同样支持你通过文字描述来指导视频的生成,比如你上传一张一个人的照片,然后输入“他在微笑”,AI就会尝试生成一个微笑的动画。
这类在线工具最大的优点就是方便,不用考虑硬件配置。缺点是它们通常是收费的,或者有免费试用次数的限制。而且因为用的人多,有时候生成视频需要排队等一会儿。
谷歌Lumiere:效果惊人,但还没得玩
再提一下谷歌的Lumiere。这个工具目前只是发布了技术演示,还没有开放给公众使用。但是从他们放出来的演示视频看,效果相当惊人。Lumiere用了一种叫做“时空扩散模型”的技术,它不是像其他模型那样先生成几个关键帧再把中间的画面插进去,而是一次性把整个视频的时空结构都生成出来。 这样做的好处是,视频里的动作会连贯得多,物体移动起来也更符合物理逻辑。
比如,他们演示了一个让画里的蝴蝶飞起来的视频,那个蝴蝶的翅膀扇动和飞行轨迹都特别真实,不像电脑做出来的假动画。Lumiere还能做到“风格化生成”,就是你给它一张风格图(比如梵高的《星空》),再给它一段视频,它能把视频变成梵高画作的风格。这个功能要是开放了,玩法就太多了。现在我们只能等着,看谷歌什么时候把它放出来给大家用。
具体怎么把图片变成视频?拿Runway举个例子
说了这么多,我们来实际操作一下。这里用Runway Gen-2来举例,因为它的操作界面比较有代表性。
第一步:打开Runway的网站(runwayml.com),注册一个账号。
第二步:登录进去之后,你会看到一个操作界面,找到一个叫“Image to Video”或者类似名字的选项,点进去。
第三步:你会看到一个上传图片的区域。把你想要做成视频的图片拖进去,或者点击上传按钮从电脑里选。
第四步:图片上传之后,下面会有一些设置选项。你可以直接点“Generate”按钮,让AI自己决定怎么动。通常,AI会分析画面,让它觉得最该动的地方动起来。
第五步:如果你想自己控制,可以找找有没有“Motion Brush”(运动笔刷)之类的工具。点开它,你的鼠标会变成一个笔刷。在图片上你希望动起来的区域涂抹。旁边通常还会有几个滑块,让你调整水平、垂直和远近的运动方向和强度。比如,你想让云从左往右飘,就在云上涂抹,然后把水平方向的滑块往右边拉一点。
第六步:设置好了之后,点击生成。系统会告诉你大概需要多长时间。等个几十秒或者几分钟,你的视频就做好了。你可以预览,如果满意就可以下载下来。
这个过程听起来很简单,但要做出效果好的视频,还是有点小技巧的。比如,你选的图片最好是主体清晰、背景相对简单的。如果画面太乱,AI就容易搞不清楚重点,生成出来的动作可能就很奇怪。另外,多试试不同的运动笔刷设置,有时候微调一下参数,效果会好很多。
这技术到底能用来干嘛?
最直接的用处,就是让你的社交媒体内容变得更有趣。一张静态的风景照,变成一段云卷云舒的短片,肯定能吸引更多眼球。你做的PPT或者演讲,用动态图片来代替静态图,也会生动很多。
对于一些做设计或者艺术创作的人来说,这个工具能快速地把他们的静态作品动态化,做一个简单的预览效果。比如一个画家画了一幅雨景,他可以用AI让画里的雨滴落下来,看看动态效果怎么样,这能给他提供新的灵感。
当然,这技术也有它的局限性。目前大部分工具生成的视频都只有3到5秒,时间长不了。而且,AI的“想象力”是有限的,它生成的动作有时候会不符合逻辑,或者出现一些奇怪的物理错误,比如手多长出一根手指头。所以,现阶段它更像一个玩具或者一个辅助工具,还不能完全替代专业的视频制作。但是,考虑到AI技术的发展速度,这些问题可能很快就会被解决。用不了多久,我们可能真的就能用一张图片,生成一部微电影了。

技能提升网