译者 | 布加迪
审校 | 重楼
实时分析技术已经巩固了其作为众多行业的基石这一地位。另外,生成式AI具有的魅力吸引了广泛的关注,创新的解决方案有望为从娱乐到医疗保健的各个行业领域提供前所未有的洞察力。使用生成式AI方法与众多实时分析技术的融合带来了显著的协同效应。它使组织能够在机会稍纵即逝的情况下发现隐藏的洞察力。
美国前首席数据科学家、领英前首席科学家DJ Patil表示,若要充分利用生成式AI的潜力,就必须开发专注于快速处理数据的能力。
Patil说:“我们今天在大语言模型(LLM)方面看到的大多数东西都是低速数据,非常静态,没有更新过。我认为,在接下来的24个月里,我们会在这方面看到进展。”
图1. 矢量嵌入是某个对象的数值表示
生成式AI的核心革命性技术之一是矢量数据库。它们好比是精心组织的信息集合,将模式匹配提升到新的高度。矢量嵌入是一种组织数据的方法,因而更容易找到不同数据之间的相似性和关系。到目前为止,矢量数据库受制于过时的历史数据。ChatGPT的用户熟悉这一点:它对2021年9月之后创建的任何信息都一无所知。
为了完全认识到实时生成式AI的巨大潜力,我们需要改变观点,不再狭隘地认为生成式AI局限于音乐、视觉艺术和散文等创造性领域。虽然这些艺术应用无疑展示了这项技术具有的能力,但生成式AI的应用范围远不止这些领域。在来自传感器和机器的快速移动数据对决策至关重要的众多领域,它都能起到优化作用。
实时生成式AI将如何改变企业的运营方式?在金融服务业,我认为我们将看到实时矢量搜索彻底改变欺诈检测和风险评估。通过将历史交易数据和客户配置文件编码为矢量,您可以对照已知的欺诈行为模式快速匹配交易。这将能够立即识别可疑活动,从而缩短反应时间并减少经济损失。
此外,风险评估模型将利用实时矢量嵌入来提供对市场状况的最新评估,从而优化投资决策。不妨以投资银行使用VWAP为例,VWAP的全称是交易量加权平均价格,充当一种技术分析工具,以揭示资产价格与其总交易量之间的关系。它为交易员和投资者提供了一种评估股票在特定时间段内交易的平均价格的方法。
不妨把VWAP看作一个潜在的矢量嵌入,每支股票都有相应的矢量嵌入,涉及每个交易柜台和多个时间窗口,导致每天创建数千个矢量嵌入。现在考虑VWAP只是用于实时做出买入或卖出决定的数十个财务指标之一,需要更多的矢量嵌入。如果每只股票都保持大量定期更新的矢量嵌入以反映市场状况,它将揭示金融领域前所未有的模式和机会。比如说,“告诉我未来五天内最有可能突破上涨的三只股票”。
物流是另一个很可能迎来变化的领域,生成式AI可与来自车辆、集装箱、仓库、输送系统和包装系统等的丰富传感器读数相结合。通过持续分析动态条件,企业可以优化路线规划、缩短交货时间、尽量减少损坏,并降低库存持有成本。它不仅将简化物流,还将使组织具备迅速响应不可预见的中断所需的敏捷性。
实时矢量搜索在国防应用中大有潜力,特别是在威胁搜索和情报分析方面。在这种情况下,矢量嵌入可以表示雷达标记、卫星图像或截获的通信模式等特征。实时矢量搜索系统会迅速将传入的数据与已知威胁和异常的综合数据库进行比较。这将使军事和安全人员能够迅速查明潜在的威胁,比如新的空中监视机或可疑的部队动向,并据此做出明智的决定。
任何已经受益于实时分析的行业都会发现,模式匹配方面的这一突破将把现有的用例提升到一个新的水平。在零售业,模式匹配通过将顾客偏好与可售产品相匹配,使推荐系统更加准确。在汽车业,它将通过实时识别物体和道路状况来改善先进的驾驶辅助系统。在制造业,它将通过快速识别生产线上的瑕疵来优化质量控制。在能源业,它将简化电网管理和预测性维护,以提高效率。在水电公用事业领域,它将加强基础设施监控,缩短停机时间,并确保可靠的服务交付。
为了支持这些用例,关键的技术转变是从面向批处理的矢量数据库转向实时矢量数据库。我们看到了像英伟达的GPU矢量搜索框架这样的创新,它为基于矢量嵌入的实时洞察铺平了道路。
原文标题:How Real-Time Vector Search Can Be a Game-Changer Across Industries,作者:Chad Meley