视觉世界由许多包含多种数据类型、接口和人工智能模型的移动部件组成。3D界面包含了时间和空间相关属性的许多数据类型,它们对于捕获和分析过去趋势、预测未来发展趋势非常重要。
这种视觉模拟技术如今已经被应用在一些重要项目中,例如DeepMind的AlphaFold AI研究项目,可以预测2亿多种已知蛋白质的3D结构。蛋白质折叠是药物发现的基础,AlphaFold被用于治疗新冠肺炎的医学研究。在高性能计算领域,元宇宙为研究人员在虚拟模拟中进行协作提供了条件。
作为元宇宙的最大支持者之一,英伟达通过一款名为Omniverse的产品来宣传这个概念,它包含一套用于研究和科学建模的人工智能、软件和视觉技术。
英伟达一直对Omniverse产品的功能含糊其辞,但最近透露了一些信息。该平台使用了一套复杂的技术来收集、整理、翻译和关联数据,这些数据最终被收集成数据集。人工智能模型将分析这些数据集,然后为科学应用提供可视化模型,其中可能包括了解行星运行趋势或开发药物等模型。
该平台的最新一个合作用例是美国国家海洋和大气管理局将使用Omniverse和洛克希德·马丁公司的技术来可视化气候和天气趋势数据,然后将这些数据提供给研究人员进行预测和其他研究。
洛克希德·马丁开发的OR3D平台收集的信息对于可视化天气和气候数据非常重要,其中包括来自卫星、海洋、先前大气趋势和传感器的数据。这些数据是特定的OR3D文件格式,将被构建到“连接器”中,根据通用场景描述 (USD)格式将数据转换为文件类型。
USD文件格式具有操作符,可以将定位、方向、颜色、材质和图层等数据合并到一个3D文件中。转换为USD文件格式非常重要,它使可视化文件可以共享,让多个用户可以进行协作,这是虚拟世界的一个重要考虑因素。USD文件也是一个转换器,它将OR3D文件中不同类型的数据分解为人工智能模型的原始输入。
数据类型可以包括3D图像中的时间和空间元素,这在可视化气候和天气数据中尤为重要。例如,过去的天气趋势需要以秒或分钟为单位捕捉,并且需要根据时间相关性绘制地图。
英伟达的一个名为Nucleus的工具是Omniverse的主要引擎,它将OR3D文件转换为USD文件,并处理来自其他文件格式的运行时间、物理模拟和数据映射。
人工智能的数据集可以包括实时更新的天气数据,然后将其输入人工智能模型。英伟达将原始图像数据输入USD的多步骤过程复杂但可扩展。它可以支持多种数据类型,被认为比API连接器更可行(后者是特定于应用程序的,不能针对单个复杂模型中的不同数据类型进行扩展)。
USD文件格式的优点是可以实时处理从卫星和传感器收集到的不同类型的数据,这有助于构建更精确的人工智能模型。同时也可以共享,这使得其数据可以扩展到其他应用。