微软研究院近日开发了一项新的技术 ,能够利用消费者手中的智能手机相机进行远程医疗等领域的非接触式生理测量。在过去十年中,研究人员发现只要配合 AI 算法,网络摄像头和手机相机就能成为高效的健康传感器。这些方法涉及测量人体随时间而产生的细微变化,而通过捕捉这些肉眼无法察觉的变化能够提供非常多的生理信息。
通过和华盛顿大学、OctoML 的合作, 微软 研究院的科研团队创建了基于视频的创新型光学心肺生命体征测量方法。该方法使用日常摄像头技术(例如网络摄像头和移动设备)和一种新型的卷积注意力网络(称为 MTTS-CAN),能够在移动平台上进行实时心肺测量并提供较高的精度。
随着时间的流逝,血液流动和呼吸等生理过程会非常微妙地改变身体的外观。智能 手机 相机可以拾取这种反射光,并且像素强度随时间的变化可以用来恢复这些变化的潜在来源(即人的脉搏和呼吸)。使用基于这些生理过程知识的光学模型,可以处理一个人的视频以确定他们的脉搏率,呼吸作用,甚至是他们血液中的氧气浓度。
该技术可用于诸如健身,健康和临床应用等。对于日常消费者而言,它可以使家庭监控和健身追踪更加便捷。您的跑步机或智能家用健身设备可以在跑步过程中持续追踪您的体力,例如,您无需穿戴设备或同步数据。在临床情况下,基于摄像头的测量可以使心脏病专家通过视频通话更客观地分析患者的心脏健康状况。
基于摄像头的生理传感器最明显的应用可能是远程医疗。但是,在大多数远程医疗场景中,由于无法捕获患者生命体征等信号,因此医生无法获得患者状况的客观测量结果。这使许多患者感到担忧,因为他们担心诊断质量和无需客观测量即可获得的护理。而这项技术有望改善这种情况下。