基于Mediapipe的幻影成像装置自然手势交互系统设计

针对博物馆中幻影成像虚拟展示装置的交互需求,设计了一种自然手势的计算机视觉交互系统.利用单目相机对自然手势进行动作采集,针对不同身高人群手部活动范围,计算了单目相机最优捕获位置,实现了 140～190 cm人群高度的手势识别.采用Mediapipe机器学习框架对捕获的手势图像实时遍历,获得单帧手掌的标定位置.结合21个特征关节点的手掌模型,使用非极大值抑制算法对自遮挡的手掌进行识别,根据欧氏空间距离判别阈值和单个手指曲率对指间动作做出分类,定义幻影成像常用5种交互动作,通过坐标关系建立了指尖和模型特征点之间的实时映射.实验结果表明,所设计的交互系统,系统识别准确率达到98％,满足幻影成像系统中手势控制虚拟模型的要求.