首页 > 科技 >

腾讯 AI 实验室在姿势引导人物图像合成方面取得新突破

发布时间:2023-11-04 12:22:06来源:
11 月 4 日消息,腾讯 AI 实验室近日推出了渐进式条件扩散模型(PCDMs),在姿态引导人物图像合成方面取得重大突破。

PCDMs 由先验条件扩散模型、修复条件扩散模型和完善条件扩散模型三个关键阶段组成,解决了应对源图像与目标图像的姿态不一致问题,以及在生成高质量、逼真图像方面的挑战。

PCDMs 在 DeepFashion 和 Market1501 数据集上的各项指标,明显优于其他 SOTA 方法,且在小尺度数据集 Market1501(128*64)上的 SSIM 指标得到最高的 0.3169,比第二名 PIDM 高出 3.8%。

在先验条件扩散模型第一阶段,在给定源图像和姿势坐标作为条件的情况下,先验条件扩散模型采用一个变换网络来预测目标姿势下的全局特征。

在修复条件扩散模型第二阶段,进一步完善第一阶段的全局特征,建立源图像和目标图像之间密集对应关系,该阶段可确保跨多个维度(包括图像、姿势和特征)进行对齐,对于实现逼真的结果至关重要。

在完善条件扩散模型第三阶段:在前一阶段生成初始粗粒度目标图像后,细化条件扩散模型介入以提高图像质量和纹理细节。

此阶段利用先前生成的粗粒度图像作为条件,进一步提高图像保真度并确保纹理一致性,涉及修改第一个卷积层,并使用图像编码器从源图像中提取特征。采用交叉注意力机制将纹理特征注入网络,便于纹理修复和细节增强。

IT之家在此附上论文地址:https://arxiv.org/pdf/2310.06313.pdf

GitHub 地址:https://github.com/muzishen/PCDMs

(责编: admin)

免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。