blog details

2024年10月8日

24

419

Meta版Sora深夜横空出世

Meta在AI领域再度创新,推出了Sora版的Movie Gen,一个集高参数和多功能于一体的媒体基础模型。这一AI解决方案不仅在文本提示下生成高质量高清图像和视频,更支持1080P、16秒、每秒16帧的视频生成。以30B参数的Transformer模型为核心,Meta的Movie Gen Video通过引入独特的「流匹配」技术,在视频精度和细节上超越了传统扩散模型。在其即将向公众开放使用之前,HuggingFace工程师已在催促Meta加速开源,非常期待这次革新科技带来的变化。

Movie Gen的发布标志着Meta正式进军AI视频编辑领域,具备编辑和个性化功能,让AI应用踏入了新纪元。例如,从一张个人照片生成个性化视频已成为现实。简单的文本输入就能构建定制化视频,提升了内容创作的灵活性。这项技术树立了AI定制开发的新标准,尤其是在创建不同宽高比的高清长视频方面,该技术首次突破行业界限,实现了精准的视频修改和个性化创作。

Meta正式进军AI视频编辑领域

Movie Gen不仅提升了视频编辑的精度,也在功能性上达到新高度。借助文本输入即可对现有视频进行编辑,不仅在样式和过渡方面自如操作,更在微观细节上彰显技术优势。比如,通过文本输入将小女孩放飞的灯笼变成气泡,这是ChatGPT开发和Langchain框架所产生的实际应用案例,展现了技术如何轻松实现个性化创作。

全新上线的大杀器Movie Gen Video,是一个30B参数的Transformer模型,可以从单个文本提示,生成高质量的高清图像和视频,视频为1080P、16秒、每秒16帧。一同推出的还有Movie Gen Audio。

“机器之心”

强大功能

此外,Meta的Movie Gen还能将视频与文本结合输入,为视频生成高保真音频。这种多功能性提升了杭州AI企业服务和浙江AI解决方案的使用体验。用户不仅可以为视频项目增加音效和背景音乐,还可以生成完整的配乐,为整体视频项目带注更高的创作自由和艺术表现力。

在技术层面,Movie Gen采用了强大的适应性设计,能够生成不同纵横比、分辨率和时间长度的高质量图像和视频。通过在大规模数据集上进行的联合预训练,系统的视觉世界理解能力大大增强。这一模型具备出色的物体运动推理、相机运动和物理概念理解能力,是对大型语言模型开发的重大理论观指导和技术突破。在如何利用AI优化视频编辑的过程中,这一模型以极高的效率和精度展示了其强大的商业价值和创造潜能。

如有侵权,请联系删除。

Related Articles