7月11日，网宿科技宣布推出一项全新的AI服务——边缘AI网关，为企业用户提供安全、可靠、高性能、易观察的一体化模型服务管理方案，助力开发者的AI构建之旅。
网宿科技CDN产品研发总监曾智全表示，AI已经成为新一轮创新的焦点，很多企业都想要使用AI，但缺乏相关的技术或经验，网宿在业内率先推出边缘AI网关，希望帮助企业更好、更简单、更安全地应用AI。
据悉，网宿边缘AI网关旨在为企业在模型服务与AI应用之间搭建桥梁，无论是个人开发者还是企业，都可以借助网宿边缘AI网关，更加简易地管理和集成模型服务，从而更好地开展AI应用创新。
大模型服务面临管理、成本与安全挑战
近年来，GPT大模型的横空出世，在全球掀起了大模型竞赛，随之而来的，AI在各行各业的应用加速涌现。如今，在应用程序开发中，集成大模型已经成为提升应用体验和功能深度的普遍趋势。
在这种背景下，业界诞生了一种新的服务模式，即MaaS（Model as a Service，模型即服务）。模型提供商通过API接口，将大模型能力出租给第三方企业使用，允许企业通过HTTP请求或其他方式与之交互。服务提供商负责模型的更新和维护，企业可以直接享受到最新的模型改进。
不过，当企业使用多个模型或提供商时，面临着高昂的AI应用成本。而为了最优成本地利用各个AI服务商的模型服务，企业又面临着管理、运维难题。如何更好的管控模型使用，降低成本支出，同时清晰地洞察AI使用现状和服务问题，成为各个企业构建AI应用的内在诉求。
另外，需要注意的是，在使用模型服务的过程中，企业还面临着敏感数据泄露、内容不合规等风险。目前，大多企业组织还未着手解决AI相关风险，或是正在解决中。
“针对以上种种挑战，业界亟需一种可以降低管理和扩展模型服务难度，提升AI可用性和安全性的方案。网宿边缘AI网关可以解决这一需求，让企业和开发人员专注于构建AI应用程序，而不是管理复杂的集成。” 曾智全表示。
网宿边缘AI网关，多模型服务的可管、可控、可观察
助力企业把握科技应用创新，一直是网宿科技的使命所在。
曾智全表示，网宿科技在历次的互联网应用迭代中，为各类新兴应用的规模落地提供了重要的支撑，为全球企业提供了一站式、高效、安全的服务保障，我们所沉淀的完备技术能力以及深厚的场景经验，可以复用于眼下的AI创新浪潮中，与企业一起在AI时代起跑。
基于对企业需求的洞察，网宿科技在业内率先打造了网宿边缘AI网关，在行业中开创了新的服务范式。
具体来看，在一般情况下，企业管理其所接入的多个大模型，需要提前做一些集成开发。网宿边缘AI网关则提供了一个通用、一体化的解决方案。企业可通过统一的控制平台，创建边缘AI网关，添加通道，实现与多AI服务商模型对接，并且平台支持多模型服务的可管、可控、可观察。
其中，在接入层面，网宿边缘AI网关提前完成了与多个主流AI服务商的集成，企业开发人员无需频繁修改代码，只需在控制台进行网关配置，一次接入，即可使用多个模型服务，大大提升接入效率。
在管理层面，网宿边缘AI网关支持特殊配置，企业可以在AI网关上灵活定义优先级、负载均衡、限速等策略，按需配置不同模型服务，实现成本可控或减少滥用，并且企业可在请求失败情况下实现无缝切换，提升AI服务的可靠性。另外，企业还可以启用缓存功能，一旦请求在AI缓存中命中，则不必回到模型提供商，减少模型提供商tokens数的消耗，降低成本，提高响应速度。
在运营层面，网宿边缘AI网关提供数据可视化功能，聚合来自多个模型提供商的指标，支持请求数、tokens数、缓存数、错误数等的分析展示，并提供实时日志记录，让企业可以观测和控制模型服务的使用情况，以优化模型服务策略。
网宿边缘AI网关，多模型服务的安全与性能保障
曾智全进一步介绍，在实现多模型服务的高效接入与管理的同时，网宿边缘AI网关的核心价值，还在于确保模型服务的安全性、高性能，以及可定制化。
安全性对AI应用至关重要。在安全性方面，企业可在网宿边缘AI网关上配置提示词过滤规则或执行内容安全审计，以确保交互内容安全、合规且尊重用户。
在服务性能上，依托网宿强大的全球资源网络，用户就近接入边缘分布式AI网关，可以确保访问的稳定性和速度，减少因跨国网络波动等异常因素对用户体验的影响。
尤为值得一提的是，网宿可以支持开发人员在离用户最近的边缘位置实现一定程度的无服务化开发。通过将网宿边缘AI网关和网宿边缘函数结合使用，灵活定制一些模型调用或中间处理逻辑，1小时内即可上线服务，大幅节省研发人员时间。
据悉，目前，网宿边缘AI网关已开放限时免费测试，以支撑用户的AI体验。而除此之外，网宿深入企业应用，聚焦特定的AI场景，还打造了边缘向量数据库、边缘模型推理服务等，计划下一步面向公众开放。
届时，企业可轻松集成公共或自有模型，通过边缘AI网关，合理管控模型应用，获知多模型运行数据，或是与边缘函数、边缘KV存储、应用引擎等组合使用，灵活构建和扩展边缘AI应用，执行智能问答、内容创作、检索增强、图片识别等AI任务。
伴随AI时代发展，网宿科技在AI领域的能力布局将不断深化。曾智全表示，网宿科技将持续构建更加敏捷、适应性更强、更安全的AI生态系统，让更多企业都能拥抱AI，从AI中获得创新与增长。
