AI生成大片，Movie Gen 可以生成长视频并配上完美的音效，带给观众更好的观看体验。

之前的文章中已经给大家介绍了一些关于长视频生成相关的技术，AI生成大片已经越来越近了。感兴趣的小伙伴可以点击下面链接阅读~

Movie Gen 的工作原理可以简单理解为两个主要部分：一个是生成视频的模型，另一个是生成音频的模型。首先，生成视频的模型根据用户输入的文字描述，创造出高质量的视频，比如你可以输入“一个穿着舞衣的刺猬在跳舞”，模型就会根据这个描述生成相应的视频。这个模型还可以根据用户的照片，制作个性化的视频，确保视频中的人物看起来就像用户一样。其次，音频模型则负责为这些视频生成合适的音乐和音效，确保音频与视频内容相匹配，比如在视频中有水花声时，音频也会同步生成水声。通过这种方式，Movie Gen 不仅可以制作出引人入胜的视频，还能为这些视频配上完美的音效，带给观众更好的观看体验。

相关链接

http://arxiv.org/abs/2410.13720v1

https://go.fb.me/MovieGenResearchVideos

概述

Movie Gen 是一组基础模型，旨在生成高质量的1080p高清晰度视频，同时具备同步音频的能力。该模型不仅可以进行文本到视频的合成，还能实现视频个性化、视频编辑以及音频生成等多种功能。Movie Gen 的核心模型是一个30B参数的变换器，能够处理高达73K的视频标记，并生成时长最长为16秒的视频。通过在大规模互联网数据上进行预训练，Movie Gen 在多项媒体生成任务中设立了新的性能标准，包括文本到视频合成、视频个性化、视频编辑以及音频生成。该项目的目标是推动媒体生成模型的研究进展，促进创新，并为研究社区提供新的基准和工具。

方法

Movie Gen 的方法主要包括两个基础模型：Movie Gen Video 和 Movie Gen Audio。Movie Gen Video 是一个30B参数的模型，能够根据文本提示生成高质量的视频，并且支持多种视频时长和分辨率。该模型经过分阶段的预训练，其中包括图像生成和视频生成的联合训练，以实现更好的泛化能力。此外，Movie Gen Audio 是一个13B参数的模型，专注于生成与视频内容同步的高质量音效和音乐。该模型在音频生成时，能够处理多种音频长度，并支持音频扩展技术，使得生成的音频可以与视频内容完美匹配。为了增强个性化和编辑能力，Movie Gen Video 还通过后训练程序引入了个性化视频生成和精准视频编辑功能。

实验

在实验部分，Movie Gen 团队对模型的性能进行了全面评估，使用了多种基准测试和评估指标。通过与现有的商业系统和其他研究模型进行比较，Movie Gen 在视频质量、文本对齐、视觉吸引力等多个方面均表现优异。此外，团队还推出了 Movie Gen Video Bench 和 Movie Gen Audio Bench 两个新基准，以促进未来的研究和比较。实验结果表明，Movie Gen 的生成视频在真实感、运动自然性以及整体视觉质量方面均显著优于现有的其他模型，展示了其在媒体生成领域的强大潜力。

本文主要内容来自公众号：AIGC Research，如侵联删。