大数据安全一直是人们关注的问题，因为大数据的项目部署是网络攻击者的重要目标。勒索软件攻击可能会使企业的大数据部署受到勒索要求的影响。更糟糕的是，未经授权的用户可能会访问和窃取大数据以出售有价值的信息，使受害者损失惨重。网络攻击者可以将企业存储的人们的信息传播给未经授权的买家，可能会受到监管机构的罚款和判决，也可能会受到巨大的声誉损失。
保护大数据平台需要结合传统的安全工具、新开发的工具集和智能流程，以在大数据平台的生命周期内监控安全性。
大数据的安全概述
大数据安全的使命非常明确：企业可以通过防火墙、强大的用户身份验证、最终用户培训以及入侵保护系统(IPS)和入侵检测系统(IDS)阻止未经授权的用户和入侵。如果有人确实获得了访问权限，需要加密其传输中和静止数据。
这听起来像是企业采用网络安全策略。然而，大数据环境将增加另一层安全性，因为安全工具必须在网络中并非全部存在的三个数据阶段运行。它们是：
- 数据入口(输入的内容)；
- 存储的数据(存储的内容)；
- 数据输出(输出到应用程序和报告的内容)。
(1) 第1阶段：数据源。
大数据源来自各种来源和数据类型。仅用户生成的数据就可以包括客户关系管理(CRM)或企业资源管理(ERM)数据、交易和数据库数据以及大量非结构化数据，例如电子邮件或社交媒体帖子。除此之外，企业还拥有整个机器生成的数据，包括日志和传感器。因此需要在从源到平台的传输过程中保护这些数据。
(2) 第2阶段：存储数据。
保护存储的数据需要成熟的安全工具集，包括静态加密、强大的用户身份验证以及入侵保护和规划。还需要在具有许多服务器和节点的分布式集群平台上运行其安全工具集。此外，安全工具必须保护在平台内运行的日志文件和分析工具。
(3) 第3阶段：输出数据。
大数据平台复杂性和费用高的全部原因是能够对海量数据和不同类型的数据进行有意义的分析。这些分析将其结果输出到应用程序、报告和仪表板。这种极其宝贵的情报和信息为网络入侵提供了丰富的目标，并且对输出和入口进行加密至关重要。此外，在这一阶段确保合规性，并确保发送给最终用户的结果不包含受监管的数据。
大数据安全的挑战之一是数据通过迂回路径路由，在理论上可能存在多个漏洞。
导航大数据安全和趋势
大数据领域的两个最主要趋势在某种程度上相互对立：为智能技术提供信息的大数据激增，以及消费者拥有和决定如何使用他们的个人数据的权利。物联网、人工智能、机器学习，甚至客户关系管理(CRM)数据库等技术都会收集TB级的数据，其中包含高度敏感的个人信息。这种个人信息的大数据对于希望更好地为受众提供产品和服务的企业来说是有价值的，但这也意味着所有企业和第三方供应商都对个人数据的道德使用和管理负责。
随着大数据及其企业用例的不断增长，大多数企业努力遵守消费者数据法律和法规，但它们的安全漏洞使数据容易受到破坏。看看大数据世界中发生的一些主要趋势、许多企业都缺少的重要安全点，以及正确确保大数据安全的一些技巧：
(1) 更新云计算和分布式安全基础设施
大数据的增长促使许多企业转向允许更多数据存储可扩展性的云计算和数据结构基础设施。那么面临的问题是什么？云安全通常是基于传统安全原则建立的，因此，云安全功能配置错误并容易受到攻击。企业与云计算和存储供应商讨论他们的产品，是否嵌入了安全解决方案，以及他们或第三方合作伙伴是否推荐任何其他安全资源。
(2) 设置移动设备管理政策和程序
物联网和其他移动设备是大数据的一些最大来源和接收者，但它们也提供了几个安全漏洞，因为这些技术中有很多是为个人生活所拥有和使用的。为员工如何使用个人设备上的企业数据制定严格的政策，并确保设置额外的安全层，以管理哪些设备可以访问敏感数据。
(3) 提供数据安全培训和最佳实践
在大多数情况下，大数据因成功的网络钓鱼攻击或其他针对不知情人员的个性化攻击而受到损害。就典型的社会工程攻击及其方式对企业的员工进行培训，并再次设置多层身份验证安全以限制谁可以访问敏感数据存储。
大数据安全的挑战
保护大数据存在一些可能危及其安全性的挑战。需要记住，这些挑战绝不仅限于本地的大数据平台。它们也与云计算有关。当企业在云中托管大数据平台时，不要想当然如此。企业需要与其提供商密切合作，通过强大的安全服务级别协议克服这些相同的挑战。
保护大数据的挑战：
- 用于非结构化大数据和非关系数据库(NoSQL)的高级分析工具是正在积极开发的新技术。安全软件和流程可能很难保护这些新工具集。
- 成熟的安全工具有效地保护数据进入和存储。但是，它们可能对从多个分析工具到多个位置的数据输出产生不同的影响。
- 大数据管理员可能会在未经许可或通知的情况下决定挖掘数据。无论其动机是好奇心还是犯罪利润，企业的安全工具都需要监控可疑访问并发出警报，无论它来自何处。
- 大数据的规模(TB到PB级)对于日常安全审计来说太大了。而且由于大多数大数据平台都是基于集群的，这会在多个节点和服务器上引入多个漏洞。
- 如果大数据所有者不定期更新环境安全，他们将面临数据丢失和暴露的风险。
大数据安全的技术
目前市场上有一些大数据安全工具，它们具有可扩展性和在不同阶段保护多种类型数据的能力。
(1) 加密：企业的加密工具需要保护传输中和静止数据的安全，并且需要跨海量数据进行加密。加密还需要对许多不同类型的数据进行操作，包括用户生成的和机器生成的数据。加密工具还需要使用不同的分析工具集及其输出数据，以及常见的大数据存储格式，包括关系数据库管理系统(RDBMS)、非关系数据库(如NoSQL)和专用文件系统(如Hadoop分布式文件系统(HDFS)).
(2) 集中式密钥管理：集中式密钥管理多年来一直是安全最佳实践。它同样适用于大数据环境，尤其是那些地理分布广泛的环境。最佳实践包括策略驱动的自动化、日志记录、按需密钥交付以及从密钥使用中抽象出密钥管理。
(3) 用户访问控制：用户访问控制可能是最基本的网络安全工具，但由于管理开销可能非常高，许多企业实施最小的控制。这在网络层面已经足够危险，对大数据平台来说可能是灾难性的。强大的用户访问控制需要一种基于策略的方法，可以根据用户和基于角色的设置自动访问。策略驱动的自动化管理复杂的用户控制级别，例如保护大数据平台免受内部攻击的多个管理员设置。
(4) 入侵检测和防御：入侵检测和防御系统是安全的主力军。这并不会降低它们对大数据平台的价值。大数据的价值和分布式架构有助于入侵尝试。IPS使安全管理员能够保护大数据平台免受入侵，如果入侵成功，入侵检测系统(IDS)会在入侵造成重大破坏之前对其进行隔离。
(5) 物理安全：不要忽视物理安全。当企业在自己的数据中心部署大数据平台或仔细围绕云计算提供商的数据中心安全性进行尽职调查时，只需要构建它。物理安全系统可以拒绝陌生人或在敏感区域没有业务的员工访问数据中心。视频监控和安全日志也会这样做。
大数据安全公司
数字安全是一个巨大的领域，有着成千上万的供应商。鉴于其高技术挑战和可扩展性要求，大数据安全是一个相当小的领域。然而，大数据所有者希望获得有价值的就业机会，供应商正在做出回应。以下是几家具有代表性的大数据安全公司。
(1) Snowflake
Snowflake的数据专家团队认为，数据安全性应该内置于所有数据管理系统中，而不是事后添加。Snowflake的数据云包括全面的数据安全功能，例如数据屏蔽和传输中和静止数据的端到端加密。他们还为用户提供可访问的支持，允许他们提交报告，Snowflake和他们的合作伙伴HackerOne可以在运行他们的私人错误程序时进行分析。
(2) Teradata
Teradata公司是数据库和分析软件的顶级供应商，但他们也是云计算数据安全解决方案的主要支持者和供应商。他们的托管服务称为云数据安全即服务，提供定期的第三方审计，为数据监管委员会审计做准备。它们还提供传输和静态数据加密、数据库用户角色管理、存储设备退役、云安全监控和两层云安全防御计划等功能。
(3) Cloudera
Cloudera的大数据安全主要策略是通过共享数据体验(SDX)或从统一的角度跨所有工作负载管理安全和策略的想法来整合安全管理。这意味着即使工具和最常用的工作负载随时间发生变化，策略和安全更新仍然可以集中管理而没有孤岛。在他们的安全解决方案中，Cloudera提供统一的身份验证和授权、审计的端到端可见性、特定于Hadoop的安全解决方案、特定于数据策略的解决方案以及多种形式的加密。
(4) IBM
IBM公司的数据安全产品组合侧重于多种环境、全球数据法规和简单的解决方案，以便用户可以在部署后轻松管理其数据源和安全更新。IBM公司在数据安全方面关注的一些主要领域包括混合云安全管理、嵌入式策略和法规管理以及安全的开源分析管理。
(5) Oracle
Oracle是大数据市场中最大的数据库主机和提供商之一，但他们也为客户提供多种顶级安全工具。他们的安全解决方案侧重于以下类别：安全评估、数据保护和访问控制以及审计和监控他们还为两个最受欢迎的解决方案(自治数据库和Exadata)扩展了特定于平台的安全支持。
大数据的安全实施
无论企业是刚开始接触大数据管理并正在寻找初步的大数据安全解决方案，还是企业是大数据的长期用户并需要更新的安全性，这里有一些大数据安全实施的提示：
(1) 很好地管理和培训内部用户：如上所述，员工的意外安全错误是恶意行为者最常使用的安全漏洞之一。对企业的员工进行安全和凭证管理最佳实践的培训，建立并让所有用户签署移动和公司设备策略，并根据每个用户的角色仅向他们提供最低限度的数据源访问权限。
(2) 计划定期安全监控和审计：尤其是在大数据和软件几乎每天都在增长的大企业中，定期评估网络和数据格局如何随时间变化非常重要。市场上提供了多种网络监控工具和第三方服务，让其安全人员能够实时了解异常活动和用户。定期安全审计还让其团队有机会在问题成为真正的安全问题之前评估更宏观的问题。
(3) 与值得信赖的大数据公司交谈：大数据存储、分析和托管服务提供商通常会提供某种形式的安全性或与提供此类服务的第三方组织合作。企业使用的平台可能不具备其行业或特定用例所需的所有特定功能，因此企业与其提供商讨论安全问题、监管要求和大数据用例，以便他们可以定制他们的服务以需要什么。
谁负责大数据安全？
大数据部署跨越多个业务部门。IT、数据库管理员、程序员、质量测试员、信息安全、合规官和业务部门都以某种方式负责大数据部署。那么谁负责保护大数据?答案是每个人。IT和信息安全负责制定有效保护大数据部署免受恶意软件和未经授权的用户访问的策略、程序和安全软件。合规性管理人员必须与该团队密切合作以保护合规性，例如自动从发送给质量控制团队的结果中删除信用卡号码。IT团队应与信息安全团队密切合作，以保护他们的数据库。
最后，最终用户同样有责任保护企业数据。具有讽刺意味的是，尽管许多企业使用他们的大数据平台来检测入侵异常，但该大数据平台与任何存储的数据一样容易受到恶意软件和入侵的攻击。攻击者渗透网络(包括大数据平台)的最简单方法之一是简单的电子邮件。尽管大多数用户都知道遭遇网络攻击的严重性，但一些网络钓鱼攻击非常复杂。当企业为大数据平台管理安全性时，或者是梳理电子邮件的最终用户时，不要忽视不安全的电子邮件带来的危害。
而保护大数据平台免受网络威胁，可以在多年内为企业的业务提供良好服务。
