就在前天,Facebook爆发了史上最大的数据危机:其开放API接口给第三方公司,在未经用户许可的情况下,被盗用了高达5千万用户的个人资料。Facebook股价市值在短短两天之间蒸发了600亿美元,同时将遭到天价罚款,其安全长面临引咎离职。
这一事件在短短两天内不断发酵,引起了大家对数据安全问题的恐慌,同时也让人们将目光又一次转移到了数据治理问题上来。
的确,数据安全问题早已不是第一天被提到,Facebook数据危机也只是揭开了数据资产管理安全问题的冰山一角(社交、医疗、幼教、通信等行业也时有发生)。如何规避Facebook这种数据危机、做好数据安全管理?
正巧,银监会为了引导银行业金融机构加强数据治理、提高数据质量、发挥数据价值、提升经营管理能力,于3月16日发布了《银行业金融机构数据治理指引(征求意见稿)》。
本文将对《指引》进行深度解读,希望能为相关企业如何做好数据资产的“存管用”起到一些借鉴意义。
一、数据治理监管要求
本次新规共包括七章55条,在银监会有关部门负责人就相关问题答记者问中重点强调了四方面的监管要求:
明确数据治理架构
《指引》明确银行业金融机构数据治理架构,董事会、监事会和高管层等的职责分工,提出可结合实际情况设立首席数据官。要求确立数据治理牵头部门,明确牵头部门和业务部门职责。
明确数据管理和数据质量控制的要求
明确银行业金融机构数据管理方面的要求,覆盖数据战略、数据管理制度、数据标准、信息系统、数据共享、数据安全、应急预案、问责机制和自我评估机制等。要求建立数据质量控制机制,明确将监管数据纳入数据治理范畴,要求全面强化数据质量,保证数据的真实性、准确性、连续性、完整性和及时性。强化银行业金融机构对数据质量的责任,明确由董事会承担数据治理最终责任,建立和实施上至高管层的数据治理问责机制。
明确全面实现数据价值的要求
提出银行业金融机构应当将数据应用嵌入到业务经营、风险管理和内部控制的全流程,有效捕捉风险、优化业务流程、提升内部控制有效性、实现数据驱动银行发展。突出强调数据加总能力建设、新产品评估要求,有效评估和处理重大收购和资产剥离等业务对数据治理能力的影响。
加强监管监督
明确了监管机构的监管责任、监管方式和监管要求。对于不满足《指引》有关要求的银行业金融机构,要求其制定整改方案,责令限期改正;或与公司治理评价、监管评级等挂钩;也可能视情况采取其它相应监管措施。
二、重视并规范数据治理
与此同时,国家质检总局和国家标准委批准发布了《数据管理能力成熟度评估模型》。
《指引》和《评估模型》接踵而来,数据治理不再只是部门和企业个体层面,银监会新规将公司数据治理评价与监管评级挂钩。这是数据在国家层面的基础性战略意义,接下来不止银行,保险、电力、电信等各行各业都要更加重视数据治理。
银监会从《数据质量管理良好标准》到本次《指引》的发布,进一步规范中小银行以及保险、证券等金融机构的数据治理活动和数据资产管理:
- 将数据治理纳入企业治理范畴,并将数据治理情况与企业治理评价和监管评级挂钩。数据治理在企业中并非是一个项目形式的短期努力,而一个企业内长期甚至于比较繁琐的过程,过程中面临着多方面的挑战。因此,只有将数据治理纳入公司治理范畴,获得来自于企业高层的重视和支持,数据治理活动才能落到实处,并能持续推动。同时,在企业内部建立良好数据文化,树立数据是银行重要资产和数据应真实客观的理念与准则,强化用数意识,遵循依规用数、科学用数的职业操守。
- 建立企业数据治理架构,让企业中真正在组织为企业数据架构和数据负责。在企业架构EA框架中,业务架构有业务部门负责,IT基础架构(软、硬件)由IT部门负责,应用架构由开发团队或开发商负责,但却鲜有企业有专门的数据团队负责数据相关的架构设计。这就造成了许多传统企业中数据缺乏统一的管控,产生了各种各样事实上的数据孤岛,极大影响了数据分析和应用的开展。同时,一些大量引入第三方开发的企业,甚至连最基本的数据字典都存在缺失或大量错漏,出现数据黑盒的现象。因此,企业需要一支由企业高层领导下满足数据治理工作需要的专业队伍进行数据治理,才能从根本上解决这些乱象。
- 建立企业的数据战略、数据管理制度和监管统计制度。数据治理活动传统上将从数据标准、数据模型、元数据、数据质量几个方面展开,广义的数据治理活动除以上活动外,还加上数据安全、数据生命周期、数据共享等管理活动。当然,数据治理的活动难以离开高效的数据治理工具支持。例如:元数据管理工具采集企业不同系统和数据中心中自动提取各种元数据,并将元数据进行高效整合,并为企业不同数据使用者提供企业数据资产视图、血缘分析、影响度分析等不同元数据应用。这些数据治理的活动,最终为企业提供一个完整、安全、一致性、及时、标准化以及高质量数据环境。离开这样高质量的数据环境,企业难以做出明智及有效的决策。
- 建立企业数据安全管理机制,强化数据安全意识,依法合规采集数据,防止过度采集、滥用数据,依法保护客户隐私。在企业中建立企业敏感数据管理目录,通过敏感自动化识别、数据脱敏策略管理、敏感数据访问权限控制、敏感数据审计,完善和丰富敏感数据管理目录。在用户访问敏感数据时,对不同层次的数据访问用户进行分级的动态数据遮蔽和全面数据访问审计;同时,在涉及敏感数据从生产环境迁移到开发、测试、培训等非安全环境中时,需要根据敏感数据管理目录中的策略进行有效数据脱敏和破坏。这些数据安全措施可以做到敏感数据的“查不到、拿不走、拿走没用”,并且保证敏感数据访问的可审计。
- 企业加强数据质量控制,建立数据问责机制。建立数据质量监控体系,覆盖数据全生命周期,主要包括:建立数据质量的评估体系,定期评估企业数据质量状况;建立数据质量管理系统,通过具体的管理规则来集中化发现问题并流程化持续改进;结合数据质量管理与业务稽核,通过稽核业务规则来发现数据质量的深层次问题,方便业务人员准确清晰判断数据质量问题。同时,在企业内部建立全面的数据认责机制,将数据质量问题落实到部门、落实到人。
- 企业加强数据应用、发挥数据价值、实现数据驱动银行发展,强调数据应当成为经营管理尤其是风险管理的重要依据。数据对内和对外共享是企业应用数据、提升数据活动,让数据持续保值和增值的必然要求。企业可以建立适合自身特点的数据共享中心。数据共享中心以数据共享模型为基础,以数据订阅、数据同步、数据实时服务、数据异步服务、数据自助提取等不同方式将共享模型中的数据向企业内外各种数据消费者提供高效的数据服务,让数据产生更多连接和增值。只有让数据流动起来,数据的价值才会得到提升。但是,在数据共享的同时,还应该警惕和注意数据安全的问题,不要让数据被非法盗用和滥用。
三、落实数据治理
近几年来,随着数据大集中逐步完成,各大商业银行积累了海量丰富的数据资产,就陆续启动了元数据管理、数据标准管理等多个方面的数据治理活动。
艾瑞咨询认为,大数据时代数据资产管理是数据价值得以体现的前提。企业数据资产的管理能力,已经由早期以元数据和数据模型为核心的数据治理向数据安全管理、数据生命周期等能力拓展。
由于数据治理涉及面广(金融机构业务涉及到的内外部数据)、成本高见效慢的特点,《指引》提出了指导性与主动性结合的原则,企业可以结合自身特点和数据现状,分阶段建设数据资产管理平台:
- 建立企业级的数据标准,作为系统建设、大数据中心共享的基础;
- 提供数据管理的基础平台,元数据管理、数据模型管理、数据生命周期管理、敏感数据管理全线打通支持;
- 支撑大数据平台,建立大数据共享模式,支撑快速应用开发,最大化满足业务需求;
- 在管理上建立了企业的数据认责和考核机制,保证数据标准落地、敏感数据安全管理等等。
在银监会发布《指引》之前,国内外数据治理专家或组织都先后从不同角度提出过各种数据治理模型。国外数据治理模式主要有四种,指出数据治理不是游离于组织而单独存在的,数据治理模型的建立应与组织的管理指标、文化背景相融合。
(国外四种数据治理模式)
国内学者包冬梅在借鉴国外众多数据治理模型的基础上,提出我国高校图书馆数据治理框架CALib。国内数据资产管理专家程永新在2015年提出了数据资产管理五星模型:数据架构、数据治理、数据运营、数据共享和数据变现共五个部分,将数据治理纳入了数据资产管理体系。
数据资产管理五星模型从一开始就提出建立企业层面高层管理者领导下的独立数据治理组织和机构。在建立企业数据治理组织之后,从数据架构、数据治理、数据运营、数据共享、数据变现五个层次从浅入深逐步推动企业数据管理的相关工作。此外,模型最后两个阶段还强调了数据变现和价值化的重要性,提倡推动数据在企业内外的流动,让数据真正资产化,令数据保值和增值。五星模型与《指引》监管要求不谋而合,是明确数据治理架构、明确数据管理和数据质量控制、全面实现数据价值的具体落地实践。
纵观传统企业数据治理十余年的沧桑历程,数据治理首先要做的是数据架构管理。
数据架构管理,也就是数据模型及模型与模型之间的管理。数据模型管理不当,不仅对后期数据治理造成数据一致性差、准确性差的麻烦,对生产业务库也会造成性能和稳定性隐患。
因此数据模型在应用建设前期应由数据架构团队与应用团队、开发团队、数据库管理团队共同确认,在《互联网+时代的金融数据库规范运维》一文中曾写到“数据库规范化运维,不仅要让数据库活着,还要让数据库维护人员活得更好”,数据架构作为企业架构最核心的一环,规范化数据库运维能够帮助数据架构管控得更好。
规范化数据库运维是数据治理取得成功的基础,数据架构管理、数据治理和数据运营的成效进一步提高企业数据共享和数据变现的价值,增强风控管理能力,提升银行的经营管理效率。
四、笔者看法
笔者认为本次发布的《指引》只是当前IT业界数据资产管理浪潮中的一个缩影。
随着大数据纷纷在各种传统企业落地,许多传统企业也几乎同时发现了其数据管理中存在的短板,例如:数据黑盒现象、数据孤岛问题、数据质量低下、数据安全问题突出、数据无法有效互联互通等。
这些问题并非个案,笔者认为是过去20年我国企业信息化过程中所普遍存在“重建设、轻规划”,“重功能、轻管理”的粗放式的IT信息化建设所致。
近年来,笔者越来越感受到数据治理行业即将井喷的气息,包括能源、电信、制造业、金融、教育、政府等来自于全国不同行业企业和组织开始着手数据治理规划,建立自身的数据治理和管理组织,建设适合企业和组织自身的数据资产管理平台,并启动相关治理管理活动开展。
笔者所在的公司新炬网络在数据资产管理领域已经深耕多年,面对众多传统企业目前面对数据黑盒、数据孤岛、数据质量低下、数据泄露等问题,结合大数据平台、数据资产管理能力以及相关的工具,规划了一整套大数据及资产管理解决方案。
数据如何“存”?
大数据平台主要解决的是数据如何 “存”的问题,在大数据平台为核心的技术架构支持下,通过构建统一且全面的企业内外数据整合、清洗、汇总、关联和分析体系,解决海量结构化和非结构化的数据存取、处理相关问题。根据企业的特点和现状,重新规划和构建大数据平台。
大数据平台首先将来自于企业内、外部的数据采集到大数据平台中,这些数据既包括来自于各种数据库中的结构化数据,也包括如文本、音视频等非结构化数据。数据在大数据平台中经过多次不同的清洗、处理、汇总、关联等不同的数据处理操作后,存放在大数据平台中,为各种数据应用和分析做好准备。
数据如何“管”?
数据治理及安全管理解决的是数据如何“管”的问题,致力于打破数据孤岛,强化企业数据安全管理,为企业数据化运营提供安全和高质量的数据环境,更好以数据驱动业务和服务的发展。
根据大数据平台及其他应用系统构成完善的数据资产管理体系,其中的核心是元数据管理。通过元数据梳理和自动化采集,将来自于企业不同地方的元数据统一采集到数据资产管理平台中,并且在此基础上进行数据标准管理以及管控数据质量和数据安全。
数据资产管理的目的在于通过各种数据资产的管理,为企业大数据平台和数据应用场景提供一个清晰可读、高质量、以及安全可靠的数据环境,它为大数据应用的基本蓝图。
数据如何“用”?
数据分析和数据共享解决的数据如何“用”的问题,建立数据分析和共享体系,加强企业数据数据分析和应用,提升企业数据交互活动、促进数据资产的流动与增值。
大数据平台还需要提供各种强大数据探索和分析能力,包括各种BI组件,为企业运营提供业务大数据可视化分析;基于大数据的秒级检索能力,各种数据旋转透视表、机器学习算法和数据大屏让企业不同级别的数据使用者可以使用、分析和挖掘大数据平台中的数据。
数据是一种资产,只有流动起来,其价值才能不断提升。构建全面的数据共享体系,将加强数据在企业内的互联互通。数据共享促进了数据在企业内的充分应用,提供了数据活性,让数据持续保值和增值。
可以大胆推测,《指引》将银行业金融机构的数据治理/数据资产管理纳入公司治理,将数据治理评价与监管评级挂钩,是将数据资产报表作为企业第四张报表的前奏!(完整《指引》可在文末点击【阅读原文】下载查看)
作者介绍
杨志洪,DBAplus社群联合发起人,新炬网络首席布道师,对数据库、数据管理有深入研究,合译《Oracle核心技术》。
梁铭图,新炬网络首席架构师,10年以上数据库运维、数据分析、数据库设计以及系统规划建设经验,在数据架构管理以及数据资产管理方面有深入研究。