在当前的经济环境下,研发资金必须比以往任何时候都更加充分。企业对未来技术和基础设施的投资往往不以为然,而失败的风险却给项目利益相关者带来了巨大压力。
然而,这并不意味着创新应该停止甚至放缓。对于初创企业和大型企业而言,致力于新技术和变革性技术对于确保当前和未来的竞争力至关重要。人工智能(AI) 为越来越广泛的行业提供多方面的解决方案。
在过去十年中,人工智能在释放全新的收入机会方面发挥了重要作用。从理解和预测用户行为到协助生成代码和内容,人工智能和机器学习 (ML) 革命已经使消费者从他们的应用、网站和在线服务中获得的价值成倍增加。
然而,这场革命在很大程度上仅限于云,其中几乎无限的存储和计算,以及主要公共云服务提供商提供的方便的虚拟硬件,使得为每个AI/ML应用建立最佳实践模式变得相对容易可以想象。
AI:移动到边缘
由于AI处理主要发生在云端,因此AI/ML革命对于边缘设备来说仍然遥不可及。这些是在工厂车间、建筑工地、研究实验室、自然保护区、我们佩戴的配饰和衣服上、我们运送的包裹内以及任何其他需要连接的环境中发现的更小、低功耗的处理器、存储、计算和能源是有限的或不能被视为理所当然。在他们的环境中,计算周期和硬件架构很重要,预算不是以端点或套接字连接的数量来衡量的,而是以瓦特和纳秒来衡量的。
希望打破人工智能/机器学习领域下一个技术障碍的首席技术官、工程、数据和机器学习领导者以及产品团队必须将目光投向边缘。边缘AI和边缘ML提出了独特而复杂的挑战,需要许多利益相关者的精心协调和参与,这些利益相关者具有从系统集成、设计、运营和物流到嵌入式、数据、IT
和 ML工程的广泛专业知识。
边缘AI意味着算法必须在某种特定用途的硬件中运行,从高端的网关或本地服务器到低端的能量收集传感器和MCU。确保此类产品和应用的成功需要数据和ML团队与产品和硬件团队密切合作,以了解和考虑彼此的需求、约束和要求。
虽然构建定制边缘AI解决方案的挑战并非无法克服,但存在用于边缘AI算法开发的平台可以帮助弥合必要团队之间的差距,确保在更短的时间内取得更高水平的成功,并验证进一步投资的方向应该制作。以下是其他需要注意的事项。
在开发算法的同时测试硬件
由数据科学和 ML团队开发算法,然后将其传递给固件工程师以将其安装在设备上,这既不高效也不总是可能的。硬件在环测试和部署应该是任何边缘 AI 开发管道的基本组成部分。如果没有同时在硬件上运行和测试算法的方法,则很难预见在开发边缘AI算法时可能出现的内存、性能和延迟限制。
一些基于云的模型架构也不意味着在任何类型的受限或边缘设备上运行,提前预测可以为固件和ML团队节省数月的痛苦。
物联网数据不等于大数据
大数据是指可以分析以揭示模式或趋势的大型数据集。然而,物联网(IoT) 数据并不一定与数量有关,而是与数据的质量有关。此外,此数据可以是时间序列传感器或音频数据,或图像,并且可能需要进行预处理。
将数字信号处理
(DSP)
等传统传感器数据处理技术与AI/ML相结合,可以产生新的边缘AI算法,提供以前技术无法实现的准确洞察力。但物联网数据不是大数据,因此用于边缘人工智能开发的这些数据集的数量和分析会有所不同。根据生成的模型准确性和性能快速试验数据集大小和质量是通往生产可部署算法道路上的重要一步。
开发硬件已经够难了
如果不知道所选硬件是否可以运行边缘AI软件工作负载,则构建硬件很困难。在选择材料清单之前就开始对硬件进行基准测试至关重要。对于现有硬件,设备上可用内存的限制可能更为关键。
即使使用早期的小型数据集,边缘AI开发平台也可以开始提供运行AI工作负载所需的硬件类型的性能和内存估计。
有一个过程来权衡设备选择和基准测试与早期版本的边缘AI模型可以确保硬件支持到位,以支持将在设备上运行的所需固件和AI模型。
构建、验证新的边缘AI软件并将其推向生产
选择开发平台时,还值得考虑不同厂商提供的工程支持。Edge AI包含数据科学、ML、固件和硬件,供应商在内部开发团队可能需要一些额外支持的领域提供指导非常重要。
在某些情况下,它不是关于将要开发的实际模型,而是更多关于系统级设计流程的规划,包括数据基础设施、ML开发工具、测试、部署环境和持续集成、持续部署 (CI /CD) 管道。
最后,对于边缘AI开发工具而言,重要的是要适应团队中的不同用户——从ML工程师到固件开发人员。低代码/无代码用户界面是快速构建新应用原型和构建新应用的好方法,而API和SDK对更有经验的ML开发人员很有用,他们可以从Jupyter notebooks使用Python更好更快地工作。
平台提供了访问灵活性的优势,迎合了构建边缘AI应用的跨职能团队中可能存在的多个利益相关者或开发人员的需求。