译者 | 布加迪
审校 | 重楼
随着许多公司日益受到数据和软件的驱动，技术领导者要求缩短数据生成时间与数据使用时间之间的延迟差距。我们在许多行业和用例中看到了这一幕：
- 零售和金融服务中的欺诈预防，包括支付处理
- 零售、游戏和广告中的个性化
- 运输路线优化
- 缓解网络安全中的突发威胁
如果数据移动出现延迟，所有这些例子都会酿成严重后果，所以缩短总的行动时间以保持竞争力就很重要。
本文将着重介绍一个用例：将数十亿个数据和数千家公司在短短几毫秒内聚集在一起，以做出即时决策：实时在线广告竞标。
广告界有句老话：“我花在广告上的钱有一半是浪费的；问题在于，我不知道是哪一半。”而在数字时代，获取数据容易得多。比如说，广告交易平台可以匿名分享这个信息：某网站的访问者最近访问了StubHub和Lionel Messi的Instagram页面。在该页面上为国际迈阿密球队的球衣做付费广告是值得投入的，而且比为其他球队或运动项目的球衣做没有针对性的广告更有可能吸引满意的客户。
像这样的交互（评估、购买和投放广告的决定）在几毫秒内发生，每天发生数百万次。这些交易的关键是数据的自由流动，以便及时做出行动，实时数据库和流数据平台常常提供了便利。不妨看看需求方平台（DSP）如何使用流数据平台Redpanda和实时数据库Aerospike来实施解决方案，从而在快节奏的实时竞标环境中取得成功。
Aerospike简介
Aerospike是一种实时数据库，可以摄取、存储和检索数据，每秒处理数百万个事务（TPS）的吞吐量，延迟时间不到1毫秒。事件流是摄入到Aerospike数据库中的常见数据源之一。Aerospike可以直接或通过连接件将事件摄取到Redpanda、Apache Kafka及Apache Pulsar等流数据平台。
这种情形很常见：将数据从流主题摄取到Aerospike中，对该数据进行多次评估，并将数据发布到另一个主题，这一切都在几毫秒内完成。在广告技术领域，Aerospike的一个关键用例是充当用户简档存储系统。这个存储系统拥有大量关于个人用户的匿名信息，从偏好到过去的交互，不一而足。
Redpanda简介
您可以把Redpanda想象成一个重新构建的Kafka。Kafka是最受欢迎的流平台之一，可确保在线生态系统的各部分之间无缝联系。Redpanda使用Kafka API来确保与现有生态系统兼容，但它是用C++从头开始重写的，以最大限度地提高现代硬件的利用率。Redpanda的卖点之一是，它能够可靠地处理大容量峰值，平均每秒支持高达数GB的数据。
实时竞标中的需求方平台
为了理解DSP如何适应广告技术领域，我们需要了解实时竞标（RTB）。在RTB中，广告商竞相在网站上实时展示广告，这需要供应方平台（SSP）、DSP、网站和广告交易平台之间的复杂互动。DSP扮演着至关重要的角色，它们代表广告商，瞬间做出广告位竞标方面的决定。DSP必须通过快速处理数据、瞄准正确的受众以及优化竞标以赢得拍卖，从而使自己与众不同。
图1. 实时竞标概览
DSP的实时数据架构
在DSP的互联世界中，多个关键数据组件发挥作用：用户简档、可用广告位、历史数据和广告创意。DSP需要根据可用数据快速创建潜在用户的简档，评估来自SSP或广告交易平台的广告位机会，以及设计符合用户偏好和当前活动的竞标。这个过程需要有效的数据移动和快速决策。
这时候Redpanda和Aerospike就有了用武之地。Redpanda提供了一种高性能的流引擎，使数据量的块峰值能够在几毫秒内通过DSP的内部环境移动以及跨广告技术生态系统的其余部分移动。Aerospike充当数据历史保管员，提供快速检索数据查询的功能，比如用户、设备和会话。它能迅速检索用户简档和过去的交互信息，使DSP能够根据个人喜好设计竞标。
图2. DSP的实时数据架构
如图2所示，DSP整合了来自广告交易平台和发行方的信息，比如可用的广告格式、匿名化的用户兴趣和地理位置数据。一些DSP仅留出10毫秒的余地来加载所有这些数据，为它们的竞标流程提供信息。Aerospike可以在1毫秒内摄取数据，通常会直接连接到广告交易平台的API。
在许多例子中，数据生产者与数据消费者实现脱离更有意义。在这种情况下，Aerospike可以使用其Kafka连接件将广告交易平台数据发布到Redpanda主题，使DSP内的多个服务能够订阅该主题。比如说，一项定价优化服务可以利用关于目标用户的历史信息来丰富新的实时数据，从而帮助预测即将到来的竞标的广告支出。
Redpanda提供了Kafka API，可以稳定地提供低至5毫秒的p50延迟。一些DSP的外部数据将直接进入到Redpanda的主题，比如关于广告印象和竞标结果的数据。Aerospike还可以是任何这些主题的订阅者，因为它扩展了历史数据库。
DSP利用Kafka API快速处理入站数据、评估广告机会并生成竞标。实时竞标环境要求速度、准确性以及处理巨大数据流的能力。Aerospike和Redpanda的结合既提供了实时数据流，又提供了几乎即时地检索过去数据的功能，以帮助DSP做出量身定制的明智竞标。这种数据的流动和整合确保了竞标请求、广告机会和决策无缝流动，从而实现及时的广告投放。
结论：驾驭实时领域
在动态的实时竞标领域，需求方平台（DSP）依赖强大的现代平台和高效的工具，在短短几毫秒内移动和汇总不同的数据，最终为客户设计最佳竞标。在一个这样的架构中，Redpanda的高性能Kafka API与Aerospike快速检索用户简档的功能相辅相成，确保DSP拥有它们需要的所有信息，以便设计对用户而言高度个性化的实时竞标。有了这种平台，DSP可以灵活而精确地驾驭复杂的实时竞标生态系统，为成功的广告投放和丰富的用户体验铺平道路。
原文标题：Implementing High-Performance Ad Tech Demand-Side Platforms，作者：Daniel Landsman
