复旦百度联手突破!音频直接生成4K一小时长视频

   发布时间:2024-10-21 10:15 作者:顾雨柔

复旦大学与百度携手推出全新AI模型——Hallo2,该模型已正式在GitHub开源。Hallo2能够生成长达数小时、分辨率为4K的人物动画,相较于前代模型,实现了显著提升。

Hallo2模型基于latent diffusion models构建,引入了数据增强方法,如patch-drop和高斯噪声,有效提升了长时间视频的视觉一致性和时间连贯性。同时,该模型还结合了向量量化生成对抗网络和时间对齐技术,确保了高分辨率视频的质量和流畅性。

Hallo2还创新性地将可调整的语义文本标签的肖像表情作为条件输入,提高了生成内容的可控性和多样性。据项目页面介绍,Hallo2是首个实现4K分辨率并生成长达1小时音频驱动人像图像动画的方法,且可通过文本提示进行增强。

附Hallo2项目地址。

 
 
更多>同类内容
全站最新
热门内容
本栏最新