项目摘要
在我国,胃肠道疾病发病率高,有“十人九胃病”的说法。相比其他癌种,我国的胃癌、结直肠癌精准治疗相对滞后,这与检测手段的精确性是密不可分的。此外,常见诊断手段还存在相关风险:CT对患者身体辐射危害强;B超诊断胃病的准确率差;胃镜会给患者造成一定危害,并存在黏膜损伤出血、消化道穿孔、声带损伤等风险。我国当前早癌筛查率低,内镜诊断渗透率提升空间极大。受科学技术水平影响,近年来微创手术技术在全球范围内的推广和普及,推动了微创医疗器械的发展,内窥镜微创医疗器械在其中最具有代表性,插入式内镜还可实现活检和治疗功能。但插入式内镜在医疗手术上也存在一定弊端,操作不仅给病人造成痛苦,而且带来了诸多并发症,镜头的视野范围也存在一定的检测盲区。因此,微型仿生机器人为肠道疾病的微创诊查提供了高效、便捷的选择,成为内窥镜技术领域最新的研究热点。
我们的解决方案是:采用精子螺旋式运动的方法将微型机器人从患者肛门注射进入体内,远程控制机器人的微型驱动器,使其在肠道内进行移动,实现定点诊察。在移动过程中,SMA线圈作为驱动单元控制微型机器人前后移动,通过模仿尺蠖肌肉运动机理实现连续步态。在控制方面,采用了适当反馈信号的伺服控制,根据监测到的电流及温度综合数据大小对通入的电流进行调节,及时对SMA线圈的温度进行调整并记录电流间歇时间出现时的电阻变化。无线能量传输系统包含人体腹部区域可激发交变磁场的发射端以及集成在微型机器人内部的接收端,感应交变磁场并为机器人提供直流工作电压。两端设计有微型探测灯,照明肠道情况,同时配置有无线操控微型摄像头,捕捉肠道实时影像,利用图像分割技术切分出肠道息肉的图像,将数据传输至部署利用深度学习模型预测程序的服务器,数据预处理后进行图像分割,将数据与深度学习模型进行交互,得到预测结果供专业医师诊断。
关键词:深度学习、肠道检测、SMA线圈、病灶识别
一、项目背景
1、背景概述
胃肠道疾病,指一般炎症性胃肠道疾病(急、慢性胃炎,急、慢性阑尾炎等)、消化性溃疡、胃癌、食道癌、大肠癌及肠易激综合征等。
胃肠疾病发病率逐年攀升,据世卫组织统计,胃病的发病率高达80%。《Chinese Medical Journal》(中华医学杂志英文版)指出:中国2022年诊断的五种主要癌症类型依次将是的肺癌、结直肠癌、胃癌、肝癌和乳腺癌,其中而结直肠癌位列第二,有59万例新增病例。报告中还指出中国导致癌症死亡的原因中结直肠癌位列第五。
我国肠胃疾病人口基数大,且投入胃癌及结直肠癌的市场规模大,且未来中国胃肠病市场将持续增长。相比其他癌种,我国的胃癌、结直肠癌精准治疗相对滞后,这与检测手段的精确性是密不可分的。
肠癌分期取决于患者病灶大小,侵犯的程度及是否存在淋巴结转移及远处器官转移的情况,一般来说病灶在2厘米内属于早期,在2厘米到5厘米之间属于中期,大于5厘米则是属于晚期的情况。肠癌术后有复发及转移的可能性,因此术后常规来说需要化疗4个周期到6个周期,对于化疗的方案则是需要结合患者术后的病理及免疫组化制定的。
在临床上胃癌的分期,通常是采用国际TNM分期标准来进行。按照这个标准通常将胃癌分成Ⅰ期、Ⅱ期、Ⅲ期、Ⅳ期,共四个分期,而每个分期又可以根据病变的大小和浸润情况分为A、B两个亚分期。如果肿瘤侵及黏膜固有层或者黏膜下层,没有淋巴结转移,也没有远处器官转移。就属于A期。如果伴有1-6个区域淋巴结转移,就属于ⅠB期,如果肿瘤侵及黏膜固有层或者是浆膜下层,也属于ⅠB期的范畴,如果肿瘤侵及到黏膜固有层或黏膜下层,直到侵及浆膜,但没有侵及邻近脏器,就属于Ⅲ期肿瘤,当伴有远处器官转移的时候,就属于Ⅳ期胃癌。
大多数患者对于肠胃部不适及相关症状不够重视,认为吃点药症状就减轻了,对于肠胃检查往往一拖再拖,等到病情反复或出现并发症才不得不进行肠胃检查,大多数患者肠癌和胃癌发现时已属中晚期。对肠胃的检查,一般采用CT、B超、肠镜和胃镜,但此类常见检查手段中存在一些风险:CT对患者身体辐射危害强;B超诊断胃病的准确率差;肠胃镜会给患者造成一定危害,并存在黏膜损伤出血、消化道穿孔、声带损伤等风险。因此一个无风险、高准确率的检测装置是检测胃肠病的最佳方案。
2、市场需求
据2020年世界卫生组织统计,全球共有5亿胃病患者,其中中国占了1.2亿,胃病在人群中的发病率高达80%,并且正以每年17.43%的速度增长,预计在2022年中国胃病患者人数达到1.6亿。我国胃癌的发病率在目前所有恶性肿瘤中占第二位,死亡率高居第三位。2022年,胃癌新发人数高达48万,因胃癌致死新增人数高达37万,并且近些年,胃病呈现年轻化趋势,19-35岁胃病患者数量相比30年翻了一倍。
肠道癌发病率仅次于胃和食道癌。大肠癌发病率在过去的30年显著增加,成为恶性肿瘤死因的第4位,且中低位直肠癌所占比例高达50%以上。 目前因结肠、直肠肿瘤或外伤、溃疡性结肠炎、克隆氏病等原因我国肠造口患者总数已经超过100 万,且还在以每年10 万例的速度增长。
在人口老龄化进程加速、病情年轻化以及慢性病患病率逐年上升的国情下,我国需要康复医疗的人数庞大,市场庞大,未来康复市场潜力无限。2014-2020年,我国OTC胃肠用药市场规模呈现逐年增长的态势。其中2019年我国胃肠用药市场规模达到225.22亿元,同比增长6.3%。2020年我国胃肠用药市场规模约为239.9亿元,同比增长6.5%。预计2022年,我国胃肠用药市场规模达到272.1亿元。在政策支持方面,2016年3月,国家卫计委联合5部门印发《关于新增部分医疗康复项目纳入基本医疗保障支付范围的通知》,在原已纳入支付范围的9项医疗康复项目基础上,将“康复综合评定”等20项新增康复项目纳入医保支付范围。这是与康复机器人有关的唯一政策,未来医保或将支持有康复综合评定的康复机器人的使用。
3、医疗需求
每年全球死于肠胃疾病的患者超过1000万,我国人群中高达1/5患有肠胃疾病,位居世界首位。据调查显示,由于城市市民生活压力大,工作紧张、经常加班、久坐、应酬过多、饮食不科学、作息无规律等因素,城市主要疾病状况排名前三位的疾病是肠胃消化系统疾病,脂肪肝、乙肝等肝脏疾病,颈椎、腰椎及骨质增生。肠胃消化系统疾病成为北上广深排名第一的高发性疾病。
我国当前早癌筛查率低,内镜诊断渗透率提升空间极大,该项目主要解决患者内镜检测痛苦以及插入式内镜存在粘膜损伤、出血,消化道穿孔,麻醉药物易使结肠张力降低等风险。
插入式内镜操作过程中,需要进行推拉和扭转操作,以使内镜通过肠弯、或实现对可疑病灶的全方位观察,这不仅给病人造成痛苦,而且带来了诸多并发症,如:肠道擦伤甚至穿孔、心肺意外等。传统的内镜检测会给患者带来痛苦和并发症,针对这一需求,我们为改善检测过程设计了一款微型机器人,可实现无创、无痛化检测。
二、团队介绍
1、团队概述
FHC康复团队隶属于郑州轻工业大学机电工程学院梅科尔工作室和郑州萨利科技有限公司。FHC康复团队力图将新的科技成果实用化,以方便生活,解决社会问题,造福社会。不断推出可靠、实用的产品,并在应用过程中不断将之完善,让更多肠胃病患者能够获得更加准确的病因诊断。用我们的技术、经验和高质量的服务为客户提供满意的产品,不断满足客户的需求,持续提升产品品质,创造良好的商业和社会价值。
FHC康复团队依托于郑州轻工业大学机电工程学院梅科尔工作室创建。整个团队由一名项目经理和两名项目副经理组成的核心小组对整个团队进行直接管理,同时下设人事、市场、财务、技术、品控、设备等各部门负责人,除此之外,梅科尔工作室也会协同核心小组协同管理整个团队。随着团队规模的扩大和客户数量的增多,将逐步形成企业型的组织结构。创业团队成员各司其职,将参与项目的各项工作。同时,我们还具备相关领域经验的老师、商业顾问(包括营销、广告等)来指导团队的运作。
2、团队核心成员介绍
(1)导师、医师顾问团队
指导教师:
陈鹿民,清华大学工学博士。成都科技大学获得机械工程系学士学业,南京航空学院获得数理力学系硕士学业,2004年于清华大学毕业,目前就职于郑州轻工业大学,职称为教授,机电工程研究所所长。近年来主要承担项目:老年、残障人群健康医学研究–国家重点研发计划项目----老年残障人群健康服务与远程健康检测重要标准研究子课题、纵切机床自适应回转导套机构耦合动力学与稳定性研究,河南省科技开发合作项目、高分辨率投影光刻机分系统静动力学分析与参数仿真平台,国家“863”项目子课题,第二负责人等。
李一浩,博士,副教授,河南省重点学科机械工程学科学术骨干,全国万名优秀创新创业导师。2001年毕业于重庆大学机械设计及其自动化专业,获工学学士学位;2004年毕业于重庆大学机械设计及其自动化专业,获工学硕士学位;2013年毕业于华中科技大学机械电子工程专业,获工学博士学位。
医师顾问:
郭磊,就职于河南职工医院康复科,任主治医师。为项目开展临床实验进行指导和效果判断,对康复评估系统提供问题论证、康复报表指标指导。
目前就职于河南省职工医院康复科,任主治医师,长期从事于一线康复工作。具有多年的临床康复经验。
指导单位:
郑州萨利科技有限公司。
与社会上的实体公司进行合作能够让我们大学生创业走出象牙塔,走向社会的舞台真正的将我们的想法与技术产品与企业结合与社会结合,形成产学研三方互助的局面最终走向实用造福人类。
(2)团队核心成员
我们团队现有十名成员,分别来自于不同的专业,我们因为相同的兴趣走到了一起,能够实现跨专业的合作,知识面广, 专业学习成绩优秀。我们有如下理由去完成这个项目:
团队成员:
郝天,智能制造工程专业,擅长团队管理,组织协调工作,负责团队管理 ,谋求项目的良好发展。
樊佳一,机械设计制造及其自动化专业,负责项目各大模块的进展方向与项目开展人员的整体分配调整,对整体进展进行检验和监督。
许富泉,机械设计制造及其自动化专业,负责项目软体机构的仿真和优化,对机构运动场景进行模拟。
张经纬,智能制造工程专业,负责项目集成电路开发,长期从事于电路仿真、电路硬件开发等工作,完善产品功能。
陈义,软件工程专业,负责病灶诊断系统中的软件平台开发,长期从事于图像识别、深度学习等工作,具有丰厚的软件开发经验,完善产品的功能。
王郴,车辆工程专业,负责微型机器人的结构设计和优化,熟练掌握各种三维设计软件和有限元仿真软件。
赵海涛,软件工程专业,负责无线通信控制系统,擅长人机交互技术和传感器应用技术。
牛雪薇,物流管理专业,负责微型机器人软体的制备及SMA实验,擅长理论知识的实践。
王圣锋,自动化类专业,负责微型机器人的PWM波的PID控制,擅长电路设计和仿真模拟。
王悦松,软件工程专业,复杂病灶识别康复评估的前端设计,擅长鸿蒙界面开发。
三、应用场景
本项目研究的是一款用于肠胃病患者的无创化基于SMA线圈驱动的微型机器人诊断系统,可用于肠胃病患者或潜在性患者的检测诊查。目标客户包括以下人群:
- 45岁以上无论男女,都应该做一次胃肠镜检查。如有阳性发现(溃疡、息肉等),在做完治疗后均应定期复查。
- 有食管癌、胃癌、肠癌家族史的人群,可将初检年龄提前到40岁甚至35岁。
- 有不良生活习惯,包括抽烟、喝酒、饮食不规律、暴饮暴食、大鱼大肉、喜吃腌制食品和烧烤、工作压力大、经常熬夜等。
- 出现消化道不适的人群,比如胃部不适、上腹痛、下腹痛、反酸、嗳气、饱胀等。
- 出现肠道不适,可表现为下腹痛,大便习惯与性状的改变,比如每天排便一次变为排便多次,或者便秘、便稀、便血、鼻涕状黏液血便等。
疫情期间,人们只能居家隔离,且医疗资源匮乏,无法提供充足的人力。患者无法及时得到肠胃情况的反馈,特别是农村的患者,难以得到有效的康复治疗,而本项目通过肠胃检测识别系统将筛查诊断变得随时随地,康复医师可远程监控患者的康复情况,提供就医建议和康复方案。本产品以自主设计的微型机器人进行胃肠检测,相较于传统的胃肠镜具有无痛、无并发症、操作简单、准确率高等特点。使用该项目研究的产品,患者可以在家中即可进行诊断检查,加速胃肠病症的早发现、早治疗。
四、产品功能
1、SMA驱动器
在控制SMA驱动器发生柔性弯曲的过程中。应选取适当的控制流,以达到控制SMA驱动器定量变形的目的。适当的控制电压可达到准确控制SMA丝弯曲,且有利于延长SMA驱动器结构使用寿命。较高的电压有利于驱动器的快速响应,但会导致记忆合金丝温升过快,影响控制精确度,并可能导致驱动器结构损坏。本团队开展了116次驱动电压的实验,对直径0.7mm 、直径10cm的SMA丝采用学生电源加热,实验表明:驱动电压为3.2~3.4V时,在SMA丝寿命耗损最低的情况下响应速度最快,形变的效果最明显。
在相变温度临界点数据获取方面,我们采用了红外测温仪进行测量,当电压达到3.2V时,测得SMA线圈的温度达到76.6℃,求证可得此温度达到相变条件。采用图像识别方法测量收缩率,用透明亚克力板将SMA线圈水平压置于白色背景平面,利用高清摄像机于30cm高度水平拍摄,对图像进行灰度处理,测量像素点的长度,误差可控制在微米级别。
SMA线圈作为驱动单元控制机器人前、后运动,通过模仿尺蠖肌肉纤维排布和运动机理实现连续步态。
2、基于深度学习的病灶识别系统
该系统利用图像分割技术切分出肠道息肉的图像,传输数据并部署到利用深度学习模型预测程序的服务器,在服务器上对数据进行预处理,随后进行图像分割,将数据与深度学习模型进行交互,得到预测结果供专业医师诊断。
机器人头部的摄像头拍摄的图像数据可以通过自身 WIFI 热点实时传输到上位机手机端。另外我们有部署模型的手机端 APP, 可以通过对比置信度得出最优结果,右侧是我们实际训练过程中产生的准确率和损失值,可以看出准确度已经高达87.2%,损失降到了很低。
3、基于HarmonyOS的人机交互界面
HarmonyOS系统是面向万物互联的全场景分布式操作系统,我们将病灶识别系统识别流程放入设计好的基于HarmonyOS的人机交互页面里,捕捉肠道实时影像,利用图像分割技术切分出肠道息肉的图像,将数据传输至部署利用深度学习模型预测程序的服务器,数据预处理后进行图像分割,将数据与深度学习模型进行交互,得到预测结果供专业医师诊断。
4、物联网系统实现
(本章节主要描述实现功能所采用物联网技术架构,包括感知层技术、传输层技术、控制层技术、软件开发技术、云应用、数据挖掘和可视化应用等。)
(1)感知层
在感知层,我们通过将电机驱动电路与 MCU 的 I/O 口相连,可以实现电机启停控制;通过将摄像头驱动电路与MCU 的 I/O 口相连,可以实现摄像头启停控制。电机工作电流反映电机运动状态,设计电流检测模块对电机电流实时检测,检测数据由 MCU 的 AD 口读入,从而判断电机工作状态,实现对电机驱动机构的有效控制。为对机器人运行状态实时监控,有必要将检测数据传送到上位机的人机界面显示。
(2)传输层
医生通过上位机的人机界面发送控制指令,控制指令由上位机生成代码后,经RS232串行总线发送到命令/数据收发器。命令/数据收发器的 MCU 通过RX/TX串口通信接口与串口电路相连,实现对上位机发送指令代码的接收;命令/数据收发器的MCU还通过SPI通信接口与通信电路相连,将指令代码发送至通信电路进行无线发送。
集成在通信控制板的通信电路无线接收指令代码,并通过SPI通信接口将指令代码发送至通信控制板的MCU。若指令内容包含摄像头启动命令,则摄像头的MCU开始通过SCCB控制总线对图像采集模块中的图像传感器的工作状态和图像参数进行配置;配置正确后图像采集模块开始自主工作,直接输出模拟图像信号到发射电路进行无线发射。体外图像接收器接收图像信号后,通过视频线将图像发送至上位机的图像采集卡,图像采集卡对图像进行格式转换和压缩后,存储在上位机中并在人机界面进行显示。
(3)控制层
通信控制板由稳压电路、MCU 主控电路、通信电路、驱动(电机驱动+摄像头驱动)电路、以及电流检测电路共五个模块构成。
MCU主控电路采用一片 PIC16F690(Microchip),具备 USART 串行通信接口和 SPI 串行外设接口。通信电路基于芯片 Si4455(Silicon Labs)以及外围配备的一批感容元件和一个30MHz的无源晶振实现。位于通信控制板的通信电路需要接收来自命令/数据收发器发送的指令代码,同时还需要将检测的机器人运行数据发送至命令/数据收发器。驱动电路采用两片H桥AT5550实现对运动机构电机以及摄像头的驱动,实现对摄像头工作的启停工作,达到节约功耗的目标。电流检测电路基于芯片 MAX4173(Maxim)实现,用于实时检测电机电流,以判断电机工作状态,进行有效控制。
(4)软件及开发环境
上位机的人机交互界面采用PyQt5编写。感知层,传输层和控制层程序采用Arduino框架编写。
我们采用Arduino MEGA来实现控制律(PID控制器等)调节PWM波的占空比,从而调整电路的驱动电流,来对SMA进行“加热-冷却-加热”过程的控制,实现SMA线圈“舒张-收缩-舒张”的动态往复运动。进而控制微型SMA执行器进行运动,带动机器人实现节律性运动。
(5)云应用
我们在上位机开发了一款基于PyQt5的界面,用于实时显示摄像头采集的肠道图像、电机电流运行值,同时还可通过点选控制按钮、输入运行参数对机器人动作进行有效控制。
另外我们在筹办开发一款基于HarmonyOS的人机交互界面,让医生在手机上即可实现对肠道机器人的控制,查看肠道图像
训练集代码如下:
import torch.optim as optim`
`import torch`
`import torch.nn as nn`
`import torch.nn.parallel`
`import torch.utils.data`
`import torch.utils.data.distributed`
`import torchvision.transforms as transforms`
`from dataset.dataset import SeedlingData`
`from torch.autograd import Variable`
`import pretrainedmodels`
`\# 设置全局参数`
`modellr = 1e-4`
`BATCH_SIZE = 16`
`EPOCHS = 20`
`DEVICE = torch.device('cuda' if torch.cuda.is_available() else 'cpu')`
`\# 数据预处理`
`transform = transforms.Compose([`
`transforms.Resize((224, 224)),`
`transforms.ToTensor(),`
`transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])`
`])`
`transform_test = transforms.Compose([`
`transforms.Resize((224, 224)),`
`transforms.ToTensor(),`
`transforms.Normalize([0.5, 0.5, 0.5], [0.5, 0.5, 0.5])`
`])`
`\# 读取数据`
`dataset_train = SeedlingData('data/train', transforms=transform, train=True)`
`dataset_test = SeedlingData("data/train", transforms=transform_test, train=False)`
`\# 导入数据`
`train_loader = torch.utils.data.DataLoader(dataset_train, batch_size=BATCH_SIZE, shuffle=True)`
`test_loader = torch.utils.data.DataLoader(dataset_test, batch_size=BATCH_SIZE, shuffle=False)`
`\# 实例化模型并且移动到GPU`
`criterion = nn.CrossEntropyLoss()`
`model_ft = pretrainedmodels.__dict__['se_resnet50'](num_classes=1000, pretrained='imagenet')`
`model_ft.fc = classifier = nn.Sequential(`
`nn.Linear(2048, 512),`
`nn.LeakyReLU(True),`
`nn.Dropout(0.5),`
`nn.Linear(512, 12),`
`)`
`model_ft.to(DEVICE)`
`\# 选择简单暴力的Adam优化器,学习率调低`
`optimizer = optim.AdamW(model_ft.parameters(), lr=modellr)`
`def adjust_learning_rate(optimizer, epoch):`
`"""Sets the learning rate to the initial LR decayed by 10 every 30 epochs"""`
`modellrnew = modellr \* (0.1 \*\* (epoch // 50))`
`print("lr:", modellrnew)`
`for param_group in optimizer.param_groups:`
`param_group['lr'] = modellrnew`
`\# 定义训练过程`
`def train(model, device, train_loader, optimizer, epoch):`
`model.train()`
`sum_loss = 0`
`total_num = len(train_loader.dataset)`
`print(total_num, len(train_loader))`
`for batch_idx, (data, target) in enumerate(train_loader):`
`data, target = Variable(data).to(device), Variable(target).to(device)`
`output = model(data)`
`loss = criterion(output, target)`
`optimizer.zero_grad()`
`loss.backward()`
`optimizer.step()`
`print_loss = loss.data.item()`
`sum_loss += print_loss`
`if (batch_idx + 1) % 10 == 0:`
`print('Train Epoch: {} [{}/{} ({:.0f}%)]\\tLoss: {:.6f}'.format(`
`epoch, (batch_idx + 1) \* len(data), len(train_loader.dataset),`
`100\. \* (batch_idx + 1) / len(train_loader), loss.item()))`
`ave_loss = sum_loss / len(train_loader)`
`print('epoch:{},loss:{}'.format(epoch, ave_loss))`
`\# 验证过程`
`def val(model, device, test_loader):`
`model.eval()`
`test_loss = 0`
`correct = 0`
`total_num = len(test_loader.dataset)`
`print(total_num, len(test_loader))`
`with torch.no_grad():`
`for data, target in test_loader:`
`data, target = Variable(data).to(device), Variable(target).to(device)`
`output = model(data)`
`loss = criterion(output, target)`
`\_, pred = torch.max(output.data, 1)`
`correct += torch.sum(pred == target)`
`print_loss = loss.data.item()`
`test_loss += print_loss`
`correct = correct.data.item()`
`acc = correct / total_num`
`avgloss = test_loss / len(test_loader)`
`print('\\nVal set: Average loss: {:.4f}, Accuracy: {}/{} ({:.0f}%)\\n'.format(`
`avgloss, correct, len(test_loader.dataset), 100 \* acc))`
`\# 训练`
`for epoch in range(1, EPOCHS + 1):`
`adjust_learning_rate(optimizer, epoch)`
`train(model_ft, DEVICE, train_loader, optimizer, epoch)`
`val(model_ft, DEVICE, test_loader)`
`torch.save(model_ft, 'model.pth')
五、项目创新点
1、作品创新
本项目集成了肠胃层次化巡检系统、基于病灶识别定位的诊断系统和仿尺蠖微型机器人三个模块来对肠胃病患者进行癌症或肿瘤的早期筛查诊断,并对胃肠疾病提供康复方案。
微型化SMA线圈驱动器
本项目采用SMA(形状记忆合金)材料作为微型化驱动器的驱动核心。驱动器主要由三部分构成:定型配置的SMA线圈、聚氯乙烯板(PVC板)和硅胶(PDMS)包裹层。
在控制SMA驱动器发生柔性弯曲的过程中。本团队开展了116次驱动电压的实验证明:驱动电压为3.2~3.4V时,在SMA丝寿命耗损最低的情况下响应速度最快,形变的效果最明显。
仿生尺蠖步态模拟设计
对于机器人的整体设计,模拟尺蠖的双锚爬行运动方式,通过机器人两端的锚定轮系进行固定、SMA线圈进行驱动收缩体现。通过对尺蠖爬行运动动作进行模拟,对其向前爬行时躯干的运动情况在动力学仿真软件Recurdyn上建立了其步态分析。
基于病灶识别定位技术的肠胃诊查系统
本团队利用图像分割技术切分出肠道息肉的图像,将数据传输至部署利用深度学习模型预测程序的服务器,在服务器上对数据进行预处理,随后进行图像分割,将数据与深度学习模型进行交互,得到预测结果供专业医师诊断。像素级的分类准确率高达87.25%。同时创建了人机交互页面,可以让医师实时监测患者病症,查看患者肠胃异常区域。
2、创新点
(1)微型化SMA线圈驱动器
本项目从一开始就致力于微型化、无创化、可控制巡检设备的研发,为了实现机器人体积最小化,我们采用了SMA(形状记忆合金)材料作为微型化驱动器的驱动核心。
SMA(形状记忆合金)作为集传感和驱动于一体的智能材料,在不同的温度和应力下其形状和尺寸不同,具有直径小、能量密度高、输出力大、不需要传动、直接驱动、结构简洁紧凑等优势。
宏观上SMA存在两种特性,即形状记忆效应和超弹性。形状记忆效应是指SMA在高温下定形后,冷却至低温对其加载并卸载,卸载后存在残余应变,此时通过加热可以使得SMA的残余应变消失并恢复到高温时的形状。超弹性效应指在奥氏体状态下,通过对SMA加载,SMA在弹性变形后经历非弹性变形,然后卸载,SMA可以自发地回复到加载前的形态。本产品的驱动原理是控制律(PID控制器等)调节PWM波的占空比,从而调整电路的驱动电流,来对SMA进行“加热-冷却-加热”过程的控制,实现SMA线圈“舒张-收缩-舒张”的动态往复运动。
我们设计的微型化SMA线圈驱动器主要由三部分构成:定型配置的SMA线圈、聚氯乙烯板(PVC板)和硅胶(PDMS)包裹层。PVC板具有一定的弹性,能够在SMA冷却的过程中使得驱动器回复至初始状态。PDMS包裹着SMA线圈和PVC板,充当结构作用,由于PDMS不仅具有柔软性,还可以防水,因此由这个驱动器制作的软体机器人既能与人安全交互,还可以在胃部的液体环境下执行任务。和胃镜及B超等肠胃检测手段相比,该驱动器设计的微型机器人不会对患者造成伤害,并且人体不会对其产生排斥反应。
(2)仿生尺蠖步态模拟设计
通过研究尺蠖的剖面展示,发现其身体是由身体组织、体腔管和纵向肌纤维组成。其中,尺蠖拥有多个纵向肌纤维,并呈环形阵列排布。在尺蠖进行复杂多角度方向的探索时,它的数条纵向肌纤维提供了不同的牵引力。因此,对于机器人的整体设计,我们采用SMA丝充当纵向肌纤维的作用来提供牵引力。
通过对尺蠖爬行运动动作进行分析,对其向前爬行时躯干的运动情况在仿真分析软件上建立了其爬行的步态分析发现,当其向前爬行时,尺蠖经常把身体收缩成“Ω”形态,它身体两端的腿紧紧抓附在地表,通过腰腹部位的收缩和伸长来前行或者更改姿态。
尺蠖能够前行的原理是腿与地面摩擦的各向异性。考虑到肠胃的内部物理环境,可以将肠道简化为圆柱形管道,尺蠖的双锚爬行运动方式可以通过机器人两端的锚定轮系进行固定、SMA线圈进行驱动收缩体现。在控制方面,我们采用Arduino MEGA 2560控制板,通过连接直流效应场MOS管来实现PWM波的控制,从而实现电流的大小的控制。由于SMA丝的高阻值,施加特定电流可以实现相变从而达到SMA丝的收缩。通过控制PWM的占空比来控制SMA的收缩与舒张,配合锚定单元的固定,即可以模拟尺蠖的运动方式进行驱动。通过增设机器人两端的菌群采集舱、微型探照灯和摄像头,使得产品更加多功能化。
步态分析方面,通过recurdyn多体动力学软件进行驱动器运动学、动力学的分析,模拟微型机器人运动速度及步态,与实物实验相结合。
(3)基于病灶识别定位技术的肠胃诊查系统
医学图像中具有特殊含义的部分单独分割出来。在医学领域中,医生主要靠医学影片图像和主观判断来诊断疾病,医学图像分割是医学三维重建和定量分析中的关键步骤,更是病灶区量化、选择治疗手段和放射治疗的重要技术前提,分割结果的准确性直接影响后续治疗效果。我们团队利用图像分割技术切分出肠道息肉的图像,将数据传输至部署利用深度学习模型预测程序的服务器,在服务器上对数据进行预处理,随后进行图像分割,将数据与深度学习模型进行交互,得到预测结果供专业医师诊断。
我们使用Long等人提出的全卷积网络框架训练图像分割领域,将经典 CNN 模型中的全连接层替换成了卷积层,整个网络由卷积层和池化层组成。编码部分是进行高维特征提取的过程,解码部分利用反卷积进行上采样,使得到的分割结果图像大小和输入图像大小相同,实现了像素级的分类,准确率高达87.25%。