智谱清言App新功能上线,CogView3-Plus文生图模型有何亮点?

   发布时间:2024-10-14 13:36 作者:钟景轩

智谱技术团队今日宣布,其研发的文生图模型CogView3及CogView3-Plus-3B已正式开源,并已在“智谱清言”App中上线。据团队介绍,CogView3是一款基于级联扩散技术的text2img模型,其生成过程分为三个阶段:首先生成512x512像素的低分辨率图像,随后通过中继扩散过程实现2倍超分辨率,生成1024x1024像素的图像,最后再次迭代生成2048x2048像素的高分辨率图像。

在实际应用中,CogView3的表现尤为出色。据官方数据显示,在人工评估中,其性能比目前最先进的开源文本到图像扩散模型SDXL高出77.0%,同时,其推理时间仅为SDXL的约十分之一。CogView3-Plus模型在CogView3的基础上引入了最新的DiT框架,进一步提升了整体性能。该模型采用了Zero-SNR扩散噪声调度,并引入了文本-图像联合注意力机制,有效降低了训练和推理成本。

CogView3-Plus模型使用的VAE潜在维度为16,相较于常用的MMDiT结构,它在保持模型基本能力的同时,实现了成本的有效控制。这两款模型的开源,无疑将为文本到图像的生成领域带来新的突破。

用户可以通过以下链接访问CogView3及CogView3-Plus-3B的开源仓库:

开源仓库地址:https://github.com/THUDM/CogView3

Plus 开源模型仓库:https://huggingface.co/THUDM/CogView3-Plus-3B https://modelscope.cn/models/ZhipuAI/CogView3-Plus-3B

 
 
更多>同类内容
全站最新
热门内容
本栏最新