基于多视角学习策略的手部姿态估计

手部姿态估计在人机交互、手功能评估、虚拟现实和增强现实等应用中发挥着重要作用,为此本文提出了一种新的手部姿态估计方法,以解决手部区域在大多数图像中占比较小和已有单视图关键点检测算法无法应对遮挡情况的问题.所提方法首先通过引入Bayesian卷积网络的语义分割模型提取手部目标区域,在此基础上针对手部定位结果,利用所提基于注意力机制和级联引导策略的新模型以获得较为准确的手部二维关键点检测结果.然后提出了一种利用立体视觉算法计算关键点深度信息的深度网络,并在深度估计中提供视角自学习的功能.该方式以三角测量为基础,利用RANSAC算法对测量结果进行校准.最后经过多任务学习和重投影训练对手部关键点的3D检测结果进行优化,最终提取手部关键点的三维姿态信息.实验结果表明:相比于已有的一些代表性人手区域检测算法,本文方法在人手区域检测上的平均检测精度和运算时间上有一定的改善.此外,从本文所提姿态估计方法与已有其他方法的平均端点误差(EPE_mean)和PCK曲线下方面积(AUC)这些指标的对比结果来看,本文方法的关键点检测性能更优,因而能获得更好的手部姿态估计结果.