如今,人工智能技术持续快速发展,在图像识别、语音识别、语义理解等诸多特定领域已超过人类能力。
要满足AI的巨大需求,让AI成功的应用到千行百业,AI产业需要提供用得起、用得好、用得放心的软硬件系统和解决方案。由于AI的强行业赋能属性,AI产业要能够和行业知识结合,促进真正的产业发展和生产力提升。当然,AI产业要真正产生价值,推动社会发展,面临着很多的挑战。
从AI算法到产品化落地存在巨大的挑战,可以总结为八大鸿沟:
1. 模型获取
AI算法层出不穷,同一领域甚至同一主题都有大量算法产生,然而算法是否能够适应或者如何适应具体的应用场景?
首先,不同的行业数据导致模型的表现不同。训练数据的不同会导致模型表现出现很大的差异。其次,模型对于不同场景也有适配性问题。那么,如何在层出不穷的模型里面选择合适的模型,是很多开发者面临的第一个挑战。
而进行大规模的模型测试筛选,则需要巨大的时间和算力成本。如何在大量个性化和碎片化的场景下快速获得实际表现良好的模型,工作量巨大。若针对场景沉淀针对性的数据和算法,进行最优的积累,形成行业最佳实践,则可以在一定程度上缓解相关压力。
2. 数据准备
准备场景化行业数据存在比较大的挑战,需要进行数据的采集、清洗、标注、增强等工作依据准确度需求的不同,数据量也不同。如何有针对性的设计数据处理流程,快速获得高质量的训练数据,加速适配业务场景,是AI算法面向场景训练需要解决的问题。
最理想的数据集,不一定是最大的,而是能够真实反映实际业务的数据分布,但覆盖所有情况的数据集是不现实的,采集的样本或多或少都有一定的局限性。如何避免人为的局限和错误,是AI数据准备必须要解决的问题。
3. 模型训练
在确保数据质量之后,还要进行复杂的模型训练,而对于模型参数的调整,经常出现困难。复杂的训练过程和调优过程,将大量的传统行业开发者挡在门外。同时,算法在业务场景内的适应性测试和调整是复杂的。
4. 准确度验证
训练好的模型在业务场景中的表现,需要在完整的业务体系中完成验证。模型的泛化能力,通常在实际场景里会受到极大的挑战。由于测试环境和实际环境的不同,传感器数据会受到环境影响产生不同的分布,进而可能影响模型的表现能力。针对复杂环境进行适应性的精调,是阻碍算法快速落地的因素之一。尤其是某些难例,在训练集没有出现的情况,同样会导致模型的泛化问题。
5. 行业应用开发
AI算法具有强的行业属性,必须作为行业应用的一部分,和行业知识结合,才能更好的发挥价值。AI算法所对应的模型需要接收各种输入数据,并且由AI计算系统提供的各种形式的软硬件环境来承载。不同的输入数据类型、格式、速率、协议、接口形态等,都会对AI的应用开发系统产生整合要求。而面对多样化数据所需要的多种处理架构,也会带来异构算力整合的问题。
开发效率是影响AI在行业场景落地的重要因素之一。AI计算产业要能够给开发者提供高效的开发体系和工具,提供完善的生态环境以及丰富的资源支持,尤其针对传统行业的开发者,要能够将复杂的AI开发过程简单化,从而使开发者更关注行业场景的问题解决,从而快速推进行业对AI系统的适配。
6. NPU性能优化
应用性能是影响行业发展的重要问题。AI算力需要能够真正的转化为生产力,其实际的运行性能将决定系统最终的性价比和业务执行能力。复杂的异构优化体系,是计算系统所需要客服的挑战。
7. 业务流程监控
如何确保AI系统在业务环境的持续准确高效运行,是行业应用所需要关注的问题。随着业务场景和环境的变化,传感器数据和环境数据会产生偏移,这些偏移对于行业AI应用的准确度会产生不可忽视的影响,尤其是高精度的场景。AI业务系统要求能够及时发现这些准确度影响的问题和场景,并且能够提供持续算法更新和增量学习等能力。
8. 适配开发
面对不同的业务场景,通常需要以服务化和API的形式来封装AI业务,为上层应用提供较好的接口。但是,由于场景的复杂性,开发和维护对应的API和服务是现实的挑战。
如何构建统一的服务架构和API封装,以适配不同场景的实际业务化运行需求,同样存在困难。部署AI计算系统到实际的业务系统中,也面临着挑战。不同的行业,所采用的操作系统、基础软件、通信系统、存储系统等,都会出现差异,随之带来碎片化的解决方案,严重影响到应用开发的效率和成本。
在差异化的软硬件体系中,使用统一的应用开发体系,水平整合技术栈,增强对于底层系统的抽象能力,建立标准和统一的平台及接口体系,也是AI行业应用开发的关键。所以,在设计具体场景的AI业务软件系统时,所需要考虑的适应性、可裁剪性、可伸缩性等细节特性要成倍增加。同时在设计硬件方案时,需要考虑到各种严苛条件下,系统的可靠性、可服务性以及对整体软硬件系统的性能影响。
因此不难看出,当AI技术进阶到行业深水区,需要使能更多场景和设备时,AI开发者面临的将是一个规模化的系统性设计问题,而不再仅仅是单纯的模型和业务软件开发。