人体姿态估计新框架开源 北大、ETHZ、阿里提出基于Transformer的3D人体姿态估计

来自北京大学、苏黎世联邦理工学院、阿里巴巴的研究者们提出了一种基于多假设Transformer的三维人体姿态估计新框架MHFormer，来减轻三维人体姿态估计中的歧义逆问题。性能超越PoseFormer 3%，并在Human3.6M和MPI-INF-3DHP数据集上都取得了当前最佳的性能。代码已开源！

本文针对三维人体姿态估计存在多个可行性解的逆问题，提出了一种来学习姿态假设多重表示的多假设Transformer的新方法。与大多数输出多个预测的方法不同，本文提出使用一对多对一的三阶段框架来有效地学习多假设的时空表示。它提高了每个假设的表示能力，同时也增强了多个假设之间的联系。大量实验表明，所提出的MHFormer与单假设Transformer相比具有巨大的提升，并在两个基准数据集上实现了最佳的性能。作者希望MHFormer能够促进2D到3D姿态姿态提升的进一步研究，同时考虑到各种歧义性。