商业银行数据模型是指使用结构化的语言将收集到的企业业务经营、管理和决策中使用的数据需求进行综合分析,按照模型设计规范将需求重新组织形成的结构化模型 。
数据模型是银行数据架构管理的基础领域。如:基础数据标准体系建设需要依赖 数据模型,数据分布需要依赖企业级逻辑模型,以明确主要实体的主辅应用;数据 生命周期管理需要依据数据所属主题和功能判断数据的在线、离线和归档周期。完整、高质、稳定的数据模型有利于统一业务概念,促进信息整合和知识积 累,维持数据库稳定,提高应用开发质量,同时也可以作为技术与业务之间沟通的 工具。
数据模型包括了三个部分: 数据结构、数据操作、数据约束。数据结构:数据模型中的数据结构主要用来描述数据的类型、内容、性质以及数 据间的联系等。数据结构是数据模型的基础,数据操作和数据约束都基本上是建立 在数据结构之上的。不同的数据结构具有不同的操作和约束。数据操作:数据模型中的数据操作主要用来描述在相应数据结构上的操作类型和 操作方式。数据约束:数据模型中的数据约束主要用来描述数据结构内数据间的语法、词义 联系、它们之间的制约和依存关系,以及数据动态变化的规则,以保证数据的正 确、有效和相容。
数据模型具有四大价值
在数据生产和管理过程中,数据模型发挥着关键作用,高质量的数据模型具有 以下价值:构建业务与技术沟通的桥梁。良好的数据模型有利于统一银行内部人员对业务 定义与术语的认知,提升银行内跨业务、跨团队的沟通效率。保障业务与数据架构的一致性。数据模型的研发需要依托于业务架构,良好的 数据模型有利于从组织层面上,保障业务架构与数据架构的一致性,指导银行内系 统建设与业务创新。优化数据成本。按照数据模型要求进行数据的研发应用,可以有效减少数据存 储的冗余,增强数据的复用性,避免了孤岛式、烟囱式建设。优化数据的存储、建 设和应用成本。提升业务决策能力。数据模型的建立有助于明确数据流向,保障数据的真实 性,为行内业务决策者和数据使用者提供可靠的数据分析与应用,助力发挥数据价 值。
通过对我国大型商业银行内模型领域专家开展广泛调研与讨论,我们发现,当 前普遍存在两类数据模型建模方式,一是从企业架构视角进行建模,二是从数据应 用场景视角进行建模。
下面将分别介绍这两种模式的建设流程及特点,并对二者进行对比。
(一)贯彻企业战略—基于企业架构视角建模
基于企业级架构视角的模型是以企业战略为核心,依托业务模型建立企业级数 据标准,贯穿战略层面与系统应用层面。基于企业级架构视角的模型建设有助于打 破组织内IT系统的孤岛式建设,核心任务是对银行内战略的分解、传导,帮助企业将零散的能力“聚沙成塔”,确保战略意图和绩效指标逐层落实到每一个流程步骤、 程序模块、操作规范中。企业级架构中的业务模型从产品、流程及数据三个角度,对企业的业务运营进 行精细化、结构化的描述。
产品模型,主要包括产品分类结构、产品组件、产品条件和产品参数,以及可售产品实例化;通过对企业产品分类来优化和完善产品目录,确定与产品相关的业务规则、约束、价格等关键要素,并采用产品条件及参数的形式表达;在操作流程中由产品确定的相关业务规则形成企业级的产品模型。
流程模型,是业务模型的主线,描述了客户端到端的业务操作流程;通过提取 业务的变量(比如客户C、产品P、渠道C和合作方P),形成汇总的企业级流程, 保证渠道、产品线之间业务流程的一致性以提供卓越的客户体验;流程模型能够包 容客户、产品、渠道及合作方的差异,支持线上线下全渠道整合,体现端到端的完 整业务处理流程,为客户提供跨渠道的、一致的体验和一站式的产品服务。
数据模型,是将流程模型以及产品模型中产生的所有数据需求进行逻辑化和抽 象化表示,反映企业的战略目标在实施过程中所用到的所有数据实体及实体之间的 关系。集合每个操作流程需要进行读写处理的信息对象,流程规则需要读取或记录 的信息项及其关联关系,构成了数据模型的基本输入。
产品模型、流程模型和数据模型从不同的维度还原了业务本质。产品模型体现业务创新,流程模型体现运营模式,数据模型体现业务模式。通过三者模型的对 接,一方面交叉验证提升业务模型质量,另一方面为后续IT设计提供输入。
基于企业架构视角建模流程主要分为五步:
第一步,识别需求。通过研讨会、访谈、业务手册等方式,识别业务重点关注 的内容。
第二步,构造业务对象。提取相关名词形成候选核心实体,并基于核心实体形 成业务对象。
第三步,界定数据范围。提炼业务数据,界定系统的数据范围。
第四步,划分主题域。对业务数据进行分类,抽象业务对象,最终梳理出业务 实体,及实体间的业务关联规则。
第五步,完善业务对象清单。结合流程模型验证已识别业务对象的正确性和完 整性,识别完善与细化业务对象清单。
(二)穿透场景应用—基于应用场景视角建模
基于应用场景视角建模是从业务驱动的角度,从具体业务场景出发,覆盖各方 业务需求。核心任务是对具体业务场景的业务逻辑进行抽象,将业务与技术融为合 力,为企业的战略规划、市场预测、产品研发等方面提供有力支持。基于应用场景视角建模流程主要分为四步:
第一步,识别需求。明确需要建模的业务场景及模型应用诉求,例如风险评 估、客户分析等场景。
第二步,系统调研。对现有源系统进行信息调研,获取相关数据源、数据分布 等信息。
第三步,数据梳理。基于业务需求梳理数据项,包括数据指标、业务实体等, 并逐步迭代定义实体关系,标识实体属性。
第四步,建立映射。在实施过程中与底层库表建立完善的映射关系,持续优化 建立描述各业务场景的数据模型。
两种数据模型建设模式对比
基于企业架构视角的数据模型建设方式,通常适合于跨部门或系统的业务需求较多的组织。这种方式主要是由组织层面发起,通过对数据的宏观把握和分析,梳理和整合不同部门和系统之间的业务逻辑和数据关系,通常实施开发周期较长,适合于组织重构数据模型或创新业务模式的时期。
基于应用场景视角的数据模型建设方式,则通常适合于精细化分析的业务需求较多的组织。这种方式主要是从某个特定的业务场景出发,通过对数据的深入挖掘和分析,梳理和分析具体场景中的数据关系和业务逻辑,实施开发周期与业务场景及需求有关,适合于组织对已有数据模型进行改造或升级的时期。
值得注意的是,数据模型构建的核心是为业务服务,在应用中企业需根据组织 实际情况和需求,综合考虑企业数据现状、存储方式、处理效率与复杂度等情况, 灵活选择或融合使用两种数据模型建设方式,以实现更好的数据分析和业务决策。
企业级数据模型通常包含概念模型、逻辑模型和物理模型。建设数据模型是一 套专业且规范的构建工序,包括对数据结构进行整理、分析、信息归类、裁剪与映射等一系列操作流程。企业级数据模型的建设原则与建设工艺,从各类 数据模型的建模关键活动、设计指导原则及实施工艺(或工具)息息相关。
(一)数据模型设计的六项原则
建设数据模型是一套专业且规范的构建工序,包括对数据结构进行整理、分析、信息归类、裁剪与映射等一系列操作流程。在企业级模型研发的过程中应遵守 以下原则:
完整性原则:在充分参考各类业界企业级数据模型的基础上,结合银行的实际 情况,确保模型包含了正确的、全面的业务概念,涵盖现有业务范畴及数据范围如 存款、贷款、投融资、营销等。其中涉及的重要实体、重要关系、重要分析维度等 属性应保持完整。此外,还需要满足各模型间的参照完整性,支持相关的业务活 动。
继承性原则:指数据模型要遵循已有的概念,即所建立的模型应该在已存在主 题的基础上进行细化。确保数据模型的全局一致,并保障数据可溯源,逐步形成企 业统一数据模型。
可扩展性原则:主题分类应具有高度的通用性,支持业务规则的多变性,保持 数据模型的动态调整能力,以适应复杂的业务情况,并为后续拓展新的业务提供一 定程度的技术支持。
连贯性原则:模型中的数据与数据之间应有连贯性,由于单独的数据所体现的 价值往往比相关联的数据少,数据间的连贯性可充分发挥数据的分析价值。
前瞻性原则:企业应从业务的未来发展趋势看待模型,除了支持现有的业务与 数据需求外,设计出来的模型应能够适应企业未来的业务发展,以支撑行业先进概 念与企业未来需求。
可操作性原则:模型的应用可与日常操作和实例快速结合使用,易于让业务人 员理解和使用,有助于科技和业务部门人员的沟通,便于指导项目研发。
(二)概念数据模型
概念模型也称为领域模型,是对数据的高级、抽象描述,概念模型的目标是捕 获业务需求和数据的本质结构,通过模型帮助业务分析师和数据库设计师理解业务 中的实体、实体间关系和数据分布关系,通常以实体-关系图形式呈现。
设计工艺 概念模型设计分为以下五步:第一步:明确建模范围;第二步:制定分类模板;第三步:识别分类模板;第 四步:细化分类层级;第五步:定义各级分类。
概念模型的主题划分是依据业务主体参与的业务活动特性来划分,建模人员需 根据设计指导规则,梳理企业业务架构及业务实体,对业务概念或信息系统数据进 行逻辑化,形成对数据模型分类框架的概念化结构。并按照“主体-行为-关系” (IBR)方法,建立数据域间的关联关系。通常对应银行业参考模型中的A(B)模 型设计活动。
(三)逻辑数据模型
逻辑模型是对概念模型的进一步细化,描述业务实体、属性以及实体间的关 系,可转化为数据库表结构的设计,通常使用实体-关系模型来描述数据的结构和关 系。10 图 5 概念分类模型工艺 图 6 逻辑模型框架示意图(参与人主题) 参与人 参与人
设计工艺 逻辑模型设计分为以下八步:第一步:识别候选实体;第二步:研发高阶实体关系草图;第三步:分配属性 至候选实体;第四步:应用业务信息规范化原则;第五步:完善实体关系图(E-R 图);第六步:定义域和示例;第七步:检查业务与流程的完整性;第八步:描述 属性与业务规则。
逻辑模型是依据概念分类主题划分做进一步细化,建模人员需根据设计规范识 别各概念主题下的候选实体,形成实体关系草图,对实体属性及实体间关系进行规 范性描述。其中从“分配属性至候选实体”到“定义域和实例”的四个环节需要反复迭 代以持续完善模型内容。通常对应银行业参考模型中的C/C'模型设计活动。在由企业级逻辑模型(C模型)到应用级数据模型(C'模型)设计过程中, C'模型数据对象继承自C模型的业务对象,唯一的核心数据实体和属性应 与业务对象保持一致。建立组织级数据模型与系统级数据模型的映射关 系,形成模型的同步更新机制
(四)物理数据模型
物理模型是数据库的实施模型,用于详细定义数据的物理结构,形成对真实数 据库的完全描述。物理模型定义了数据库在特定硬件和数据管理系统中的存储和性 能细节
设计工艺 物理模型是对逻辑模型的进一步细化,需要对数据库中的表、视图、字段、数据 类型、主键、外键、索引等进行明确和定义。通常对应银行业参考模型中的D模型设计 活动。
物理模型的设计还需要遵守如下原则:
一致性原则:主题分类及主要实体一致,继承逻辑模型灵活性,易于扩展等优 点。
差异性原则:从逻辑模型到物理模型的落地设计过程中,对于集中式数据库存 储,通常实体和属性是一一映射关系,主要考虑按不同的数据库类型进行属性类型和 索引等设计的差异。
性能保障原则:从应用性能和分布式存储的设计考虑,物理模型落地时需从分 库、分表及应用性能等方面进行设计规范,提高数据的处理性能。物理模型(D模型)需要一对一继承 C’模型逻辑数据对象、实体和属性,并根 据实际使用的数据库,设计相应的物理特性。此外还需保障物理模型(D模型)和 企业级数据模型(C模型)、应用级数据模型(C’模型)间具有同步更新机制,确 保数据模型间的一致性。
企业除了模型设计工作外,还面临着一系列的数据模型管理工作。总体来说, 数据模型的管理包含组织(人)、流程与工具三个方面。
银行积累了大量敏感信息,包括交易数据和客户资料。考虑到国家相关部门对数 据质量和数据安全的强力监管,数据模型的构建必须经过严格的模型管控,以确保数 据的合规性和安全性。为了更好地推动银行内数据模型管理工作的开展,银行可以从组织、流程以及工 具三个维度入手,协同保障数据模型管理工作的落实。
(一)组织管理
完善的组织架构保障模型管理沟通渠道畅通。银行需要根据数据模型涉及的工作 范围设立企业级的数据管理工作组,并在各业务(板块)下设立数据模型接口人,便 于银行进行管理沟通上的横向协同与纵向打通。组织层面设立专门的数据管理部门,负责建设数据治理体系,包含数据标准、数 据模型、数据质量等治理规范的制定与落实管控。由具备专业知识和技能的数据模型 管理员负责企业级数据模型的管理,包括指导数据架构相关的工作和决策。部门层面设立IT业务研发部门,统一负责设计、开发和维护行内各业务系统。数 据架构师和模型研发工程师负责数据模型的设计和维护工作。其中,数据架构师根据 银行的整体战略和业务需求负责设计数据架构的设计原则、开发规范和标准。模型研 发工程师则负责数据模型的落地与维护,对接各业务条线的数据需求,并对模型进行 定期地优化和更新。14 图 9 某银行数据模型管理组织示意图 业务部门A 数据BP 数据BP 数据BP 数据BP 业务部门B 业务部门B 业务研发部 数据管理部 数据模型管理员 负责设计数据 架构的设计 数据架构师 原则、开发 规范和标准。模型研发工程师 负责数据模型的落地与维护 负责对模型进行定期地优化 和更新。负责企业级数据模型的管理, 包括指导数据架构相关的工作 和决策。
通过这种分工明确的组织结构和职责划分,有效地保障了数据模型的质量和可靠 性,为银行的数字化转型和业务创新提供了强有力的支持,有助于推动该行的数据管 理和应用水平的提升。相关人员职责要求示例
(二)流程管理
为了推动银行内数据模型设计研发以及管理运维工作更规范化地开展,需要建立 完善的数据模型管理制度及流程。银行通过建立并维护完善的数据模型管理流程,严格约束数据模型建设过程中的 相关操作,指导员工有序开展数据模型研发管理工作,从职能驱动向流程驱动转型。为避免先污染、后治理的运动式建设模式,银行通过规范的工作流程可以保障企 业级数据模型在跨部门、跨条线、跨系统场景下的统一维护。银行可以从模型设计、 模型实施、模型管理等维度形成相关制度规范,规范数据模型在银行内的设计及应 用,为数据模型的设计和管理工作提供参考依据。数据模型管理相关制度规范示例
某大型国有商业银行通过在实践过程中总结建模过程中使用的方法和规则形成 《企业级数据模型建模方法》,明确企业级数据模型的设计原则和要求。通过制定 《应用级数据模型设计规范》明确模型间的继承规则,保证组织级数据模型与系统应 用级数据模型的一致性。通过《数据模型管理方法》明确数据模型管理相关部门职责 以及模型管理工作流程,进一步保障《应用级数据模型设计规范》的落地实施
这些规范的制定和实施,帮助银行在数据模型研发管理工作中更加标准化、规范化, 同时保障了企业级数据模型的完整性和灵活性,助力该行构建企业级数字化经营体系。
(三)工具管理
为了保障数据模型研发管理工作的高效实施,企业离不开先进的工具支撑。银行借助统一的数据模型设计、管理工具,保障数据模型管理规范与研发的一致 性,支撑数据模型管理的持续运营,协助数据模型研发管理人员提升工作质量与效 率。数据模型设计、管理平台包括但不限于以下功能:
当前,国内大部分银行业主要选择采购如Erwin、ER/Studio等外部数据模型研 发、管理工具,帮助银行梳理业务和数据现状,实现多种数据模型的落地,支撑数据 模型的统一管理和维护。未来,国内银行业将逐渐采用自研的工具平台,解决银行的个性化管理需求,优化银行数据模型的设计流程,推动数据开发与治理的敏捷化、标准化、一体化。