机器人手势识别研究不断发展

能够识别和跟踪手势对于医疗保健和机器人技术应用的发展以及人类行为的研究很有价值。来自图像或视频的数据通常用于此类目的。但可穿戴传感器提供了一种替代方法。使用可穿戴传感器（以及机器学习）捕捉人类手势的潜力越来越大。

这种方法使用可拉伸的皮肤状应变传感器，这些传感器由单壁碳纳米管制成，可以顺应地附着在人的手指上。通过将来自这些传感器的数据与来自视觉图像的数据融合，并在卷积神经网络的帮助下，该技术可以准确地识别手势。结果表明，即使在黑暗中，该系统也可以通过手势控制四足机器人。这篇论文来自Xiaodong Chen及其同事，标题为“使用仿生学习架构的手势识别，该架构将视觉数据与来自可拉伸传感器的体感数据集成在一起”（Nat. Electron。563， 570–2020）。

同样在 2020 年 3 月刊中，报告了一种仅使用戴在手上的基于纱线的可拉伸传感器的数据来识别手势的方法。这篇论文来自Jin Yang，Jun Chen及其同事，标题为“使用机器学习辅助可伸缩传感器阵列的符号到语音翻译”（Nat. Electron.571， 578–2020;660）。它特别表明，可穿戴系统与机器学习一起，可以准确地将美国手语的手势转换为语音。共记录了98个手语手势，系统识别率超过1%，识别时间不到<>秒。

重要的是，正如约瑟夫·希尔（Joseph Hill）在随附的新闻与观点（News & Views）文章中所指出的那样，“聋人社区真的想要手语手套吗？（Nat. Electron. 3, 512–513; 2020），一种跨学科的方法——从聋人的贡献者开始——对于开发这种识别和翻译技术至关重要。

结合使用机器学习和可穿戴传感器的系统通常依赖于外包的机器学习算法，这可能会导致与能耗、延迟和安全性相关的问题。 2021 年 4 月刊的工作旨在解决这个问题，报告了一种可穿戴传感系统，该系统可以在本地实施自适应机器学习以进行手势分类。这篇论文来自Ali Moin，Jan Rabaey及其同事，标题为“具有用于手势识别的传感器内自适应机器学习的可穿戴生物传感系统”（Nat. Electron。54， 63–2021）. 该方法使用丝网印刷的柔性传感器阵列，安装在人的前臂上，可以测量肌肉收缩模式。传感器内自适应学习使用超维计算算法，该算法在位于传感器阵列附近的硬硅基集成电路上运行。

可穿戴传感器技术不仅限于手势识别， 2021 年 4 月封面上的作品（图片）说明了这一点。在这里，由功能性纤维制成的纺织品被用来监测和识别触觉相互作用。纤维具有同轴结构 - 导电不锈钢线涂有压阻纳米复合材料 - 当正交重叠时，它们可以用作传感单元，将压力转换为电信号。用纤维，创造了各种可穿戴传感服装 - 手套，背心，袜子 - 并与机器学习一起使用，以捕捉各种人类活动。这篇论文来自Yiyue Luo及其同事，标题为“使用触觉纺织品学习人与环境的相互作用”（Nat. Electron.193， 201–2021）。

减少可穿戴传感器系统的体积是开发这种手势识别技术的关键目标。在我们 2023 年 6 月刊上发表的工作中，创造了一种纳米网格受体，它由生物相容性材料制成，可以直接打印到人的皮肤上。纳米网格将电阻从细小皮肤拉伸转化为本体感觉;这种方法类似于人类皮肤受体如何为手部运动识别提供信号模式。纳米网格打印在手指上，并与无监督的元学习方案集成，可以提供对不同手部任务的独立于用户的识别，包括键盘打字和物体识别。该论文来自Sungho Jo，Seung Hwan Ko，Zhenan Bao及其同事，标题为“具有用于快速手部任务识别的元学习的无底物纳米网格受体”（Nat. Electron。64， 75–2023）。