【51CTO.com快译】Apache Kafka的出现,改变了许多企业重新思考和处置数据的方式。它让包括人寿、医疗、旅行、车辆等保险行业,能够更加高效地使用各类动态数据。本文将从探讨事件流的各种用例和架构出发,通过介绍来自Generali、Centene、Mobiliar、Humana、freeyou和Tesla的真实案例,展示保险行业对于相关数据的创新式集成和实时流处理。
保险业的数字化转型
长期以来,大多数保险公司都面临着如下方面的显著挑战:
- 市场环境极具挑战。
- 业务发展止步不前。
- 监管压力持续增加。
- 客户期望不断变化。
- 老旧应用阻碍发展。
- 来自创新保险科技公司的新兴竞争。
- 来自其他新增保险垂直行业的新兴竞争。
为了避免成为下一个诺基亚(手机领域)、柯达(相机领域)或百视达(BlockBuster,视频租赁行业),传统保险公司需要在如下方面实现战略转型和创新。
- 包括了:审查、调查、调整、汇款、以及拒赔等常规处理需求。
- 通过利用带有历史数据的、已训练好的分析模型,实施索赔欺诈检测。
- 采用全渠道客户交互,包括:自助式服务门户、以及支持自然语言处理(NLP)的自动化聊天机器人工具。
- 基于实验室测试、生物特征数据、索赔数据、患者健康数据(当然必须遵循特定国家/地区的法律)的风险预测。
在上述方面,我们可以使用机器学习和深度学习的方式,使得各种手动且易错过程(如文档和文本处理),实现自动化和实时数据处理的转变。
棕地集成的必要性
传统保险公司通常从棕地集成(Brownfield Integration)开始,构建新的用例。该集成往往涉及到遗留系统与现代化应用基础设施的整合,以及数据中心与公/私有云原生基础设施之间的数据复制。常见的此类集成场景包括:在传统中间件中使用MQ、ETL、ESB、以及API工具。而Kafka恰恰是对这些中间件工具的有力补充:
您可以从如下两篇博文,来深入了解Kafka与中间件、以及API的关系:
保险科技(Insurtechs)公司的应用
不同于传统的保险公司,新兴的保险科技的一项巨大优势在于:他们无需与遗留的应用、以及单体架构相集成,而完全可以从头开始新的应用程序。他们既无需集成旧的系统协议和API,又无需传统的中间件。也就是说,系统里并不存在诸如:Cobol、EDI或SAP BAPI/iDoc等单一或专有接口。在此类场景中,Kafka能够通过开放接口和实时功能,让新的应用程序具有敏捷性、可扩展性、以及灵活性。
下图便是使用Kafka生态系统,进行索赔处理和欺诈检测的事件流的架构示例。Apache Kafka的使用,可以协助为保险的索赔处理和欺诈检测,做出实时决策。
Kafka在保险行业的六大部署实例
1. Generali:以Kafka作为集成平台
Generali是全球十大保险公司之一。其General瑞士的数字化转型始于将Confluent 作为战略整合平台,集成了数百个遗留系统(如关系型数据库等)。在流程上,变更数据捕获 (Change Data Capture,CDC)会将各种变更,实时地推送到作为数据中枢和集成平台的Kafka处,以便其他实时与批处理应用程序,能够进一步使用和处理这些事件。
Kafka凭借着其独特的优势,能够让系统内所有的应用程序都相互解耦。而这对于传统的消息传递(MQ)系统、或SOAP/REST等Web服务,则无法实现真正的解耦和域驱动设计(domain-driven design,DDD)。
Generali云原生架构的设计原则
如下图所示,Generali的集成平台架构利用了Kubernetes、Apache Kafka和变更数据捕获,在云原生基础设施中提供对于事件流的支持。其关键性设计原则包括了:敏捷性、可扩展性、云治理、以及数据与事件处理。
而如下有关集成的逻辑图则展示了Generali的可扩展式微服务架构。其流式ETL过程包括了数据集成、以及数据处理的解耦环境:
2. Centene的实时大规模集成和数据处理
Centene是美国最大的医疗补助和保险管理护理的提供商。作为一家为政府资助和私人医疗保险提供保健计划的中介,该医疗保险机构的企业愿景是“逐个改变社区健康”。在业务增长的过程中,Centene需要通过一个可扩展且可靠的数据集成平台,来处理各种并购。据此,Centene看中了Kafka的如下能力:
- 高度可扩展性。
- 高度自治和解耦。
- 高度可用性和数据弹性。
- 实时数据传输。
- 复杂的流处理能力。
在架构上,Centene使用Kafka来进行数据集成和编排。如下图所示,传统数据库、MongoDB、以及应用程序和API,以实时、批处理和请求响应的方式,对数据实施大规模的集成和实时处理。
3. Swiss Mobiliar的解耦和编排
Swiss Mobiliar(又名 Die Mobiliar)是瑞士历史上最为悠久的私人保险公司。它用到的带有Kafka事件流支持的各种用例包括:
- 将Orchestrator应用用于跟踪计费流程的状态。
- 将Kafka作为数据库,将Kafka Streams用于数据处理。
- 通过各种跨合约和重新计算的方式,实现复杂的状态聚合。
- 持续实时监控。
如下架构显示了应用程序和事件编排的解耦:
此外,您也可以通过查看Mobiliar和Spoud网络会议的链接,以进一步了解其如何使用Kafka的更多细节。
4. Humana的实时集成和分析
Humana Inc.是一家以营利为目的的美国健康保险公司。2020年,它在财富500强榜单中位列第52位。Humana通过构建一个互操作性的平台,实现了利用Kafka来进行实时集成和分析。其中包括:
- 以消费者为中心。
- 健康计划的隐蔽性。
- 供应商的隐蔽性。
- 云端的扩展性和鲁棒性。
- 事件的驱动和实时性。
凭借着Kafka的集成能力,该平台通过捕获用户与支持IBM Watson AI平台之间的对话流,使用深度学习、NLP实现了:
- 开放式与标准化的工作流集成。
- 实时的、事件驱动式的患者交互。
- 高度的可扩展性。
5. Freeyou的状态流分析
Freeyou是一家汽车保险类科技公司。它提供了出色的用户体验,以及后端实时化的价格自动调整。Freeyou的流处理与分析等关键策略,都是由Kafka和ksqlDB提供的商业模式所支持的。下图展示了Kafka和KQL在定价引擎、重新计算模块、以及在启用流分析中的逻辑结构:
6. 特斯拉也是汽车保险公司
如今,许多车险公司都会利用行车数据,来计算保险的价格,进而提供更好的保险服务。而联网汽车和V2X(Vehicle to X)的集成,已经成为了新的商业模式。近年来,特斯拉也开展了汽车保险类业务。目前,它已经建立了一个基于Kafka的数据平台基础设施,并每天支持着数百万台设备和数万亿个数据点。下图是特斯拉在2019年的Kafka峰会上展示的其使用Kafka的演进过程。
通过创建实时的集成管道,Kafka给特斯拉带来了如下优势:
- 从人类专家驱动方式转化为自动化的大数据与机器学习模式
- 处理各种来自驾驶员行为、车辆技术性能(包括摄像头、传感器等)等实时的远程信息与数据
- 更好地评估事故的风险、以及车辆维修的成本
- 通过诸如:自动驾驶、稳定控制、防盗系统、防弹钢材料等新技术,降低风险
如果您想进一步了解Kafka事件流在下一代保险平台的组成与应用,请参见--https://www.slideshare.net/KaiWaehner/apache-kafka-in-the-insurance-industry-249136708。
小结
由上文提到的六大保险科技公司的成功部署案例可知,从边缘部署到多云场景,无处不在的Kafka、及其生态系统通过支持大规模的实时数据处理,真正地解耦了那些单体的遗留系统,并实现了与云原生基础设施的良好集成。如果您对低延迟用例、用户体验、以及系统架构有着本行业特定需求的话,不妨也试试Kafka消息与数据处理模型吧。
原文标题:Apache Kafka in the Insurance Industry,作者:Kai Wähner
【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】