欧博平台1句话就能生成视频？清华&智源研究院的AI太牛

欧博平台1句话就能生成视频？清华&智源研究院的AI太牛了

萧箫 发自 凹非寺

量子位 | 公众号 QbitAI

一周不到，AI画师又“进阶”了，还是一个大跨步——

直接1句话生成视频的那种。

把“一个下午在海滩上奔跑的女人”输入一下, 瞬间便能蹦出那么一个小片段: 它是时长为4秒32帧的。

又或是输入“一颗燃烧的心”欧博会员开户注册，就能看见一只被火焰包裹的心：

最新的, 用于文本与视频生成的能够人工智能, 是由清华以及智源研究院所出品的名为CogVideo的模型。

Demo刚放到网上就火了起来视频生成，有网友已经急着要论文了：

CogVideo与文本 - 图像生成模型CogView2有着承接关系, 该系列的AI模型仅仅支撑中文输入, 外国友人若想玩就必须借助谷歌翻译。

看完视频的网友大声呼喊, 称“这进程的行进速度也实在是太快了呀”, 还表示“要清楚知晓文本 - 图像生成模型, 其中的DALL-E2以及Imagen才刚刚问世不久呢”。

有网友进行想象, 按照这样的速度发展下去, 很快就能够看到, AI通过一句话生成出在VR头显里呈现的3D视频效果。

所以欧博平台1句话就能生成视频？清华&智源研究院的AI太牛了，这只名叫CogVideo的AI模型究竟是什么来头？

生成低帧视频后再插帧

团队称, CogVideo当属当下规模最为庞大的, 还是首个实现开源的文本生成视频模型。

关于设计模型, 此模型具备90亿个参数, 它是依据预训练文本 - 图像模型CogView2构建而成, 该模型总共划分成两个模块。

第一部依照CogView2来确立分先, 借由文本去生成若干帧图像的时候, 合成视频之帧率依旧格外低。

第二部首先, 分则会对生成的几帧图像进行插帧, 其次, 这是基于双向注意力模型来做的, 最后, 目的是借此生成帧率更高的完整视频。

在训练上，CogVideo一共用了540万个文本-视频对。

不是简单地直接把文本与视频那样进行匹配然后“塞”给 AI, 这里是要先把视频拆分成几个帧, 并且还要额外给每帧图像添加一个帧标记。

这样一来, 就防止了AI看到一句话后, 马上直接为你生成几张相同样子的视频帧。

当中, 每一个用于训练的视频, 其原本的分辨率是160×160 , 经由CogView2上采样（放大图像）这一操作, 达到了480×480的分辨率, 所以最终生成的视频分辨率同样是480×480。

说到AI插帧的那块内容, 所设计的双向通道注意力模块, 其目的乃是要使得AI能够明白前后帧当中的语义。

最后, 所生成的视频呈现出的是较为丝滑的那种效果了, 输出的时长为4秒的视频, 其帧数大概在32张左右。

在人类评估中得分最高

这篇论文, 采用了数据测试以及人类打分这两种办法, 对模型开展了评估工作。

研究人员先是对CogVideo实施了测试, 测试是放在两个人类动作视频数据集上进行的, 这两个人类动作视频数据集分别是UCF-101和Kinetics-600。

当中, FVD也就是Fréchet视频距离, 被用来判定视频全部生成情形下的质量状况, 在这种情形下，数值越低就越是理想的状况；而IS呢, 指的是Inception score, 它主要是从清晰度以及生成多样性这两个不同方面出发, 去分析评估生成图像的质量, 在这种评估里, 数值越高就越是优质的表现。

整体来看，CogVideo生成的视频质量处于中等水平。

然而从人类偏好的程度去瞧的话, CogVideo所生成的视频呈现出来的效果, 相较于其他的模型而言, 高出了许多, 甚至在当前那几个最好拔尖的生成模型里面, 获取到了最高的分数:

换个角度来讲, 从事研究工作的人员会给予参与研究的志愿者一份用于打分的表格, 使得他们依据视频所产生的呈现效果, 针对几个通过模型所生成的视频展开随机性评估操作, 最后据此判定出总共的得分情况:

有着共同一作身份的洪文逸与丁铭, 还有二作郑问迪, 以及三作Xinghan Liu, 全都来自清华大学计算机系。

此前，洪文逸、丁铭和郑问迪也是CogView的作者。

关于论文的指导老师, 是唐杰, 他是来自清华大学计算机系的教授, 同时也是智源研究院的学术副院长, 其主要的研究方向涵盖了 AI、数据挖掘、机器学习以及知识图谱等方面。

就CogVideo而言, 有网友称, 仍存在些地方是值得去探究的, 比如说, DALL-E2以及Imagen都具备一些不同寻常的提示词, 以此来证实它们是从0开始生成的, 然而, CogVideo的效果好像更像是借助从数据集中“拼凑”出来般的:

例如, 有关于狮子的视频, 视频里狮子是以直接“用手”的方式去喝水, 这种情况是不太契合我们常规所拥有的认知的, 尽管它是十分搞笑的。

（是不是有点像给鸟加上两只手的魔性表情包）

但也有网友指出欧博手机版代理登陆，这篇论文给语言模型提供了一些新思路：

释放语言模型的潜力, 有可能会因视频训练而得到进一步的实现。这是由于视频不仅具备大量的数据, 而且还蕴含着一些运用文本较难展现出来的常识以及逻辑。

当下, CogVideo的代码仍处于施工状态, 那些怀有兴趣的小伙伴能够前去蹲守一番了~