Nature：通过在仿真中学习的无实验外骨骼辅助方法 原创

外骨骼具有改善人类运动性能的巨大潜力。然而，它们的开发和广泛传播受到需要进行漫长人体测试和手工控制规则的限制。在这里，研究人员展示了一种在仿真中学习多功能控制策略的无实验方法。该仿真学习框架利用具有动力学感知的肌肉骨骼和外骨骼模型以及数据驱动的强化学习，弥合了仿真和现实之间的差距，避免了人体实验。学到的控制器被部署在定制的髋关节外骨骼上，通过降低行走、奔跑和爬楼梯的代谢率分别减少了24.3%、13.1%和15.4%。该框架可能为快速开发和广泛采用各种适用于健全人和行动不便人士的辅助机器人提供可推广和可扩展的策略。

人类具有高效和多功能的运动能力，这源于进化、成长和学习。对肌肉骨骼系统的精确控制产生了各种运动活动之间的自然过渡。外骨骼已经证明了在健全人行走和为残疾人恢复行动能力方面改善人类表现的能力。然而，它们的控制策略通常使用预定义的辅助配置文件或针对每个参与者进行长时间的人体测试，即使只是为了开发行走策略（图1a）。因此，当将控制器应用于另一个参与者或另一个活动时，成本非常高。此外，对于每个活动通常需要手工设计控制规则。随着活动数量的增加，控制器设计变得更加复杂，这使得对可穿戴机器人的广泛采用变得不切实际。

图1

阻碍控制器开发的一个挑战是需要大量的人力和时间。开发了基于实验室的测试平台，可以应用广泛的辅助配置文件以表征人类对机器人辅助的响应。人机协同优化和肌电控制通过优化辅助力矩来最小化代谢率，这是人类表现的关键指标。然而，这个过程在行走时可能需要每个参与者超过30分钟。一种数据驱动的方法使得每个参与者在30分钟内可以进行户外行走的优化。尽管这些方法在减少能量消耗方面表现出色，但仍需要大量的人体测试。最近的一种控制方法在不到10分钟的时间内调整控制参数以跟踪预定义的髋关节位置轨迹，但并没有减少代谢率。基于仿真的学习是一个潜在的解决方案，然而，由于它们要么不包含控制器设计，要么不考虑仿真中的人机交互，因此没有仿真证明它们的好处。如何开发一个纯粹基于仿真的控制器来提高人类表现仍然是一个悬而未决的问题。

控制器开发的第二个挑战涉及适应多步态人类运动的不同生物力学特征。最先进的算法使用两个层次的离散控制，首先对不同的运动活动进行分类，然后将步态周期离散化为几个阶段。为每个分段步态阶段应用不同的控制规律，而每个控制规律都需要手工调整控制参数。提出了几种控制方法，它们使用估计的关节力矩或预定义的轨迹直接生成完整步态周期的辅助配置文件。然而，这些方法针对离散的运动活动进行了定制，并且需要每个活动的人体训练数据。此外，这些方法产生的辅助力矩可能会令人不适，因为它们无法处理不同运动活动之间的过渡。强化学习通过其对环境和情境的适应性实现了平滑控制。然而，它主要用于机器人控制，不涉及人类，这对于控制器设计提出了独特的挑战。之前的一项研究使用强化学习控制人体-假肢系统，但仅限于预定步态运动学轨迹的位置跟踪。先前的工作在仿真中对人体进行定常行走时施加预定义的运动学轨迹，其中虚拟人体模型模拟了一个四肢瘫痪的人，并且与机器人没有自主交互。因此，迫切需要一种能够学习多模态运动的通用控制器的方法，而不依赖于人体测试或手工规则。

图2

无实验学习-仿真框架

在这里，研究人员提出了一种无实验学习-仿真框架，该框架是数据驱动和动力学感知的，利用强化学习来加快外骨骼控制器在多模态运动辅助中的开发（图1b）。首先，为了实现无实验学习，该方法的数据驱动组件包括三个相互连接的多层感知器神经网络，用于运动模仿、肌肉协调和外骨骼控制（图2）。控制框架从行走、奔跑和爬楼梯的人体运动学轨迹数据中学习，这些数据来自运动捕捉数据集25（代表性受试者的每个活动的10秒参考数据）。随后，基于神经网络的外骨骼控制器通过数百万个肌肉骨骼仿真时代的演化，通过最大化奖励（即减少肌肉激活）来改善人体表现。控制策略的训练在图形处理单元（GPU）上运行8小时，以使控制器学会为所有三个活动提供有效的辅助（图1c）。其次，为了提高仿真的准确性和训练数据的效率，该方法的动力学感知组件包括一个具有208个下肢和上肢骨骼肌肉的50自由度全身肌肉骨骼模型（图2a）和本研究中使用的定制髋关节外骨骼的机械模型（图2b）。强化学习因其对数据的需求量大而以计算密集著称，因此计算成本高昂。通过将物理模型纳入学习过程中，研究人员能够引导学习过程并提高效率。第三，研究人员使用线性弹性模型27来模拟逼真的人机接触，以促进控制器设计。肌肉骨骼模型和外骨骼控制器同时进行训练，以在仿真中产生高保真度的生物力学反应，并最终获得跨三个活动及其过渡的统一控制器（图2c）。

该学习-仿真框架实现了端到端控制，将机器人的传感器输入映射为辅助扭矩，没有任何中间步骤。学到的控制器计算效率高，由一个三层全连接网络组成，因此可以在微控制器上实现。与需要昂贵设备和大量人体测试来调节设备的人机协同方法相比，该控制器只需要容易获取的运动测量数据，即每个大腿上的一个九轴惯性测量单元（IMU）传感器（LPMS-B2, LP-Research），并且自动适应三个活动及其过渡，无需手工控制（图1d和图2d）。生成的辅助扭矩配置文件根据每个用户在每个活动中的运动学模式（大腿角度和大腿角速度）进行自适应（图3b）。这个控制器计算效率高且有效，因为控制策略是在仿真中进行训练和优化的，仿真与物理世界的动力学和生物力学特性非常相似。这项工作的主要贡献是该控制方法及其在仿真中实现的无实验效率和多功能性，适用于三种运动活动。与最先进的便携式外骨骼相比，该控制器在这三个活动中显著降低了代谢开支（图1e和图5c）。这些结果突显了强化学习方法的可行性，尽管不同个体之间的生物力学变异性很大。

图3

活动自适应多功能控制

为了展示控制器适应不同运动活动的能力，研究人员进行了一个跑步机实验（扩展数据表1列出了参与者的信息），测试了三种不同速度下的行走和跑步。控制器网络中的权重和偏置直接来自仿真，输入是从每个大腿上安装的一个惯性测量单元（IMU）传感器测量的大腿角度和角速度。这些可穿戴传感器的输入用于解码人的意图并生成外骨骼的所需辅助扭矩（图3a）。控制器由一个三层神经网络组成，实现在运行Simulink实时的台式计算机上。该方法不需要中间活动检测或步态周期检测。辅助扭矩在每个时间步（100 Hz，即0.01秒）实时生成，使用当前的大腿角度和角速度以及过去0.03秒（相当于三个时间步）的历史数据。通过在仿真中训练，该控制器学会将人体运动视为一个连续的过程，并生成适当的实时辅助扭矩，不仅在稳态运动中，而且在过渡阶段，与用户的运动协同。为了便于与文献8、13、15、28–36进行比较，研究人员在0.75、1.25和1.75 m/s的速度下进行了行走和2 m/s的速度下进行了跑步的跑步机实验。研究人员选择跨步速度进行测试，以展示控制策略的普适性。仿真中学习的控制器生成的辅助扭矩适应不同速度下的行走和跑步。每个参与者（n=8）的扭矩配置文件在每个活动中的形状略有不同，因为该控制器适应了每个参与者的不同运动学运动模式（大腿角度和角速度）（图3b）。扭矩配置文件的大小也随着行走和跑步之间的变化速度增加而增加，表明它能够为不同强度的活动提供协同辅助（图3c）。

连续的辅助扭矩配置文件

为了展示控制器在三种活动及其过渡中生成平稳且协同的辅助能力，研究人员在真实世界中对一个参与者进行了一项活动变化的实验。参与者从0.8 m/s的缓慢行走开始，加速到约2 m/s的跑步，然后以平稳的方式减速，最后开始爬楼梯（七级）（图4a）。与跑步机实验中使用的相同神经网络控制器实现了一个分层机电一体化架构，其中高级微控制器（Raspberry Pi 4）向低级微控制器（Teensy, PJRC）发送扭矩指令，低级微控制器位于腰部控制盒中。行走、跑步和爬楼梯期间的扭矩配置文件在形状和辅助力大小上都呈现出明显的变化（图4b）。外骨骼的机械功率也随着运动强度的变化而变化（图4c），表明控制器提供协同辅助的能力。由于IMU传感器的读数不能准确反映大腿的实际运动（由于柔软的可穿戴带），因此存在一些较小的负功率峰值。然而，这些负峰值很小（平均占每个步态周期总交付机械功的3.47%），且持续时间很短（约0.04-0.08秒，相当于步态周期的6-8%），对外骨骼辅助的整体效益影响可以忽略不计。

图4

多功能辅助控制与代谢率降低

代谢率是评估外骨骼辅助运动中人体表现的关键指标之一。机器人辅助显著改善了多位参与者在行走（n = 8）、跑步（n = 8）和爬楼梯（n = 8）过程中的能量经济性，证明了控制器的有效性（图5a，扩展数据图6和扩展数据表2）。对于每项活动，研究人员测试了三种不同条件，即辅助开启、辅助关闭和无外骨骼（无exo）。安装在两大腿上的两个九轴IMU传感器用于测量关节角度和角速度。在1.25 m/s的平地跑步机上进行5分钟的平地行走时，无exo条件下的净代谢率（最后2分钟）为2.91 ± 0.26 W/kg，而辅助开启条件下减少为2.19 ± 0.19 W/kg（均值±标准误差）。辅助开启条件下的代谢率降低与无exo条件相比范围从19.9%到30.8%，平均为24.3%（图5a）。在2.0 m/s的平地跑步机上进行5分钟的平地跑步时，无exo条件下的净代谢率（最后2分钟）为8.25 ± 0.92 W/kg，而辅助开启条件下减少为7.19 ± 0.85 W/kg（均值±标准误差）。辅助开启条件下的代谢率降低与无exo条件相比范围从7.6%到20.8%，平均为13.1%。在步频为65步/分钟的台阶机上进行5分钟的爬楼梯时，无exo条件下的净代谢率（最后2分钟）为5.54 ± 0.24 W/kg，而辅助开启条件下减少为4.66 ± 0.22 W/kg。辅助开启条件下的代谢率降低与无exo条件相比范围从8.7%到25.7%，平均为15.4%（图5a）。综上所述，并根据所掌握的最新知识，这些是有关行走、跑步和爬楼梯的便携式髋关节外骨骼的代谢率降低中最高的结果（图5b、c）。

图5

本文转载自公众号AIGC最前线   

原文链接：​​​​https://mp.weixin.qq.com/s/pBBisjMdTLBKN1LHlYC5fg​​​