应对隐私、安全和合规性挑战以推动创新。有效的数据治理由于生成式人工智能的最新发展变得更加关键。
数据治理的定义
数据治理指的是确保组织数据的管理、完整性和安全性的政策和流程。传统框架，如 DAMA-DMBOK 和 COBIT，侧重于结构化数据管理和标准化流程（Otto, 2011）。这些框架是管理企业数据的基础，但在处理生成式人工智能所需的非结构化数据类型时，通常缺乏所需的灵活性（Khatri & Brown, 2010）。
生成式人工智能概述
生成式人工智能技术，例如GPT、DALL·E 等模型，正在金融、医疗和电子商务等行业广泛应用。这些模型根据大量数据集生成文本、图像和代码（IBM, 2022）。虽然这些技术的潜力巨大，但它们也带来了传统数据管理策略无法应对的治理问题，尤其是在处理庞大、多样且非结构化的数据集时。
数据治理与生成式人工智能的交集
研究表明，生成式人工智能通过影响数据的收集、处理和利用方式，影响了数据治理（Gartner, 2023）。管理非结构化数据（如媒体文件和PDF文件）尤为关键，因为这些数据由于缺乏结构化模式，不符合传统数据治理模型。如果没有有效的管理和治理，AI 应用可能会处理不当敏感数据，从而导致安全漏洞和合规性失败。
生成式人工智能中的数据治理挑战
数据隐私与安全风险
生成式人工智能系统处理大量数据，通常包括敏感信息。如果没有强有力的安全措施，组织面临数据泄露和安全漏洞的重大风险。像《通用数据保护条例》（GDPR）和《加利福尼亚消费者隐私法案》（CCPA）这样的法律框架要求严格的数据隐私标准，迫使组织采取先进的数据治理策略以确保合规（European Union, 2018; CCPA, 2020）。
伦理与合规问题
生成式人工智能的使用引发了伦理问题，例如AI生成内容中的偏见和数据操控。当组织试图使AI操作与现有的监管框架对接时，会遇到合规挑战，因为这些框架设计之初并未考虑到AI带来的复杂性（IBM, 2022）。新的治理模型必须将伦理标准和合规性检查整合到AI开发过程中，以应对这些问题。
质量控制与数据完整性
质量控制在“确保AI生成的内容可靠”方面至关重要。像AWS Glue、Google Cloud的Data Quality功能和Microsoft Azure Data Factory等工具都用于维护AI模型中的数据完整性，提供数据分析和质量评分等功能，以此帮助组织监控和提升数据质量。
理论框架
数据治理框架
传统框架如 DAMA-DMBOK 和 COBIT 强调结构化数据管理、数据质量保障和合规性（Khatri & Brown, 2010）。然而，这些框架在应用于非结构化数据时往往存在不足，而非结构化数据在生成式AI中非常常见。不健全的数据管理能力会带来风险，因为AI模型往往依赖于多样化的数据集（Otto, 2011）。
生成式人工智能框架
生成式人工智能要求新的治理框架来应对其独特的挑战。首先要整合针对AI的特定考虑因素，如精细化的访问控制、用户角色权限以及像AWS Glue、AWS Lake Formation、Google Cloud Data Catalog和Microsoft Azure Cognitive Services等管理非结构化数据的工具。这些平台强调了在AI数据管理中需要强有力策略，尤其是在数据发现和隐私方面（Gartner, 2023; IBM, 2022）。
提议的数据治理框架
该框架结合了传统治理模型的元素，但还扩展到包括专门设计用于管理非结构化数据和确保隐私的工具。例如，AWS服务如Amazon Textract和AWS Glue可以自动编制数据目录和提取元数据，从而提升生成式AI应用中的数据治理效率。采用这种混合方法，组织可以在保持传统治理标准的同时，整合AI特定工具以改善数据管理。
生成式人工智能应用的演变
生成式人工智能时代有效数据治理的策略
政策和框架制定
组织必须制定专门针对AI的政策，整合数据隐私、安全和合规性等考虑因素。例如，通过哈希处理或遮掩技术掩码个人身份信息（PII），或者采用字段级加密。根据地理位置划分数据，并将AI框架本地化到该区域，再根据来源将流量分流到相应的AI框架。结合传统框架，如DAMA-DMBOK和AI专用工具，可以有效应对这些挑战。
此外，来自云服务提供商的现代化工具，如AWS Glue和Amazon Macie，有助于确保数据隐私。大多数AWS服务设计时考虑到了数据部署所在的地理区域，因此选择合适的区域服务有助于遵守数据驻留合规要求。
技术解决方案
利用AI和机器学习技术自动化治理流程至关重要。AWS、Google Cloud和Microsoft Azure等提供了用于管理AI数据和确保合规性的先进工具（Gartner, 2023）。实施这些解决方案有助于提高数据治理实践的效率和安全性。此外，数据质量和数据增强解决方案也是数据治理过程中的重要组成部分。当生成式AI框架中获取的数据格式不正确时，可能导致大语言模型产生幻觉。像AWS Glue或Informatica等工具的质量评分可以与数据一起获取，为生成式AI提供更好的数据上下文。数据增强解决方案可以通过合成数据生成、实体解析和修改数据点来避免偏见和有毒内容。之后，这些可以用于训练大型语言模型（LLMs）。
持续监控与审计
基于AI的监控工具可以实时跟踪数据使用情况和潜在的安全威胁，使组织能够迅速应对异常。定期使用自动化工具进行审计，如AWS Audit Manager或Azure Purview，确保遵守治理政策，促进透明度，并突出改进领域，以保持有效的数据治理。
数据集成和互操作性解决方案
统一的数据管理平台，整合各种数据源（如数据湖和数据仓库），可以确保AI系统的一致性和合规性。采用这种互操作性标准和开放API，能够促进不同系统之间的安全数据交换，保持AI平台上的数据完整性和安全性，同时支持一个统一的治理环境。获取结构化数据已经得心应手，但获取非结构化数据在数据集成中至关重要。目前，获取非结构化数据需要将数据和元数据分开，并通过引入模式进行数据标准化。通过这种方式，便能对非结构化元数据进行目录化，从而提高数据的可发现性。
统一的数据目录系统能够更好地发现和实现数据集成，因为这些数据经过了标准化。像AWS Glue Data Catalog、Azure Data Catalog和Google Cloud Data Catalog这样的数据目录工具提供了这一功能。AWS的服务，如Amazon Textract、Amazon Comprehend和Amazon Rekognition，将从非结构化数据中提取元数据，并将其存储在这些数据目录中。像AWS Glue和Informatica这样的数据集成工具有助于数据的集成。
跨职能团队与协作
建立跨职能团队，包括数据科学家、IT专家、合规官员和业务领导者，对于使数据治理策略与业务目标和监管要求对接至关重要。将外部利益相关者（如监管机构和行业专家）纳入决策过程中，也有助于组织及时了解新的法规和最佳实践，确保政策能够主动调整。
总结
生成式人工智能的数据治理计划的成功实施，为安全的数据管理和机器学习奠定了坚实的生产就绪基础。构建良好治理的生成式AI数据平台的解决方案可以在云平台上实现，比如AWS。可以将这些解决方案分为两个主要工作流，以应对生成式AI的独特需求。
在工作流1中，设置了一个带有AWS Lake Formation的Amazon S3数据湖，以确保安全访问，数据管道和质量检查提供了干净、标记的数据集，用于模型训练。工作流2引入了Amazon Bedrock环境，用于复杂的数据增强，包括合成数据生成和实体解析，以最小化偏见和有毒内容，同时通过Amazon SageMaker部署实时分类模型。这些工作流共同构建了一个可扩展、适应性强的框架，支持持续的数据驱动洞察。
这个生产级别的设置不仅使数据在模型训练和操作中变得可访问、安全且有序，还突出了传统数据治理方法的不足。生成式AI需要超越传统框架的增强治理实践，尤其是在隐私、非结构化数据管理和持续监控方面。通过整合AI特定的政策、先进的管理工具和持续监控，组织能够更好地保护数据资产，确保生产环境中的安全性和灵活性。
未来的研究应建立在这一基础上，通过评估不同行业中的AI治理框架，帮助组织制定适应快速变化的AI环境的最佳实践。这一持续的探索将支持治理策略的演进，确保在规模化操作中的合规性、数据完整性和灵活运营。
原文标题：Data Governance Challenges in the Age of Generative AI
作者：nishchai jayanna manjula , Kiran Randhi user avatar Kiran Randhi
