微软新推出的云计算数据和分析平台名为Microsoft Fabric，是一套全面的工具，能够使企业客户存储、管理和分析其最重要应用程序的数据。该平台还集成了满足微软公司所有数据用户的产品，从处理数据的工程师到希望从数据中获得见解并做出决策的分析师。
Microsoft Fabric目前处于公开预览模式，并将在未来几个月更新更多功能，这让许多事先没有听取微软公司简报的行业专家感到惊讶。一些人保留了自己的原先判断，直到看到它确实在实践中发挥重要作用。有些人称赞该平台是一个重大进步，可以帮助微软公司超越亚马逊和谷歌等其他云计算提供商，至少在为大型企业提供服务方面。分析人士称，Microsoft Fabric也将给Snowflake公司和微软公司的亲密合作伙伴Databricks公司等其他科技供应商带来竞争压力。
调研机构Forrester公司的分析师Noel Yuhanna说，“将所有这些功能结合在一起，微软公司目前肯定比其他超大规模企业有一些优势。”
研究机构Gartner公司声称，甚至在宣布这一消息之前，微软就已经成为数据和分析软件领域的领导者。分析人士表示，微软已经将其产品的集成和易用性提升到了一个新的水平，这可能是其竞争对手短期内难以匹敌的。
分析师称，Microsoft Fabric提供了主导产品，其关键在于执行。亚马逊公司的AWS云服务在总收入上仍明显领先于微软Azure，而且这种优势可能还会持续一段时间。在企业分析和数据领域，微软的云产品目前在功能的广度方面处于领先地位。Amalgam Insights公司的分析师Hyoun Park表示，“执行能力通常是由销售来定义的。因此，这个数字尚未得到证实。”
Microsoft Fabric的秘方：OneLake
那么是什么让Microsoft Fabric脱颖而出呢?据分析人士称，这是微软用一个名为OneLake的数据湖简化和统一其数据架构的方式，该数据湖可以存储并允许访问来自不同来源和应用程序的各种数据。
他们表示，这种方法将在节约成本、透明度、灵活性、管理和数据质量方面为客户带来显著好处。OneLake不仅被设计为微软自己的软件服务生成的数据的中心存储库，而且还被设计为来自外部来源的数据的中心存储库，例如第三方应用程序。它还为用户提供一致的体验和界面，无论数据的类型或格式如何。这听起来似乎是一个显而易见的想法，但对于包括微软、亚马逊和谷歌在内的大多数云计算提供商来说，这一想法一直难以实现。
多年来，这些科技巨头已经收购或开发了数十种用于各种数据和分析任务的软件工具，例如商业智能、数据科学、机器学习和实时流媒体，但他们在很大程度上以零碎的方式将这些工具拼凑在一起，而没有创建一个连贯无缝的平台。
因此，客户必须处理复杂而分散的工具和数据库，每个工具和数据库都有自己的资源配置、定价和数据池，这给客户带来了挫败感，并降低效率，他们不得不花费更多的时间和费用来管理他们的数据基础设施。它还对客户征收“集成税”，客户要为每项服务的计算和存储资源分别支付费用。
Microsoft Fabric承诺通过提供真正的集成来消除这种复杂性——只包括一个数据副本、一种体验和一个接口。Amalgam公司的Park说，“这里的部分创新在于，微软公司以一个集成包的形式提供了所有这些功能。虽然听起来很简单，但这并不是大多数数据和分析供应商能够提供的。”
Gartner公司的分析师Jason Medd对此表示认同。他说，Gartner公司对首席数据官的调查显示，只有约30%的首席数据官表示，他们从数据和分析工具中获得了价值。通过整合工具和降低价格，微软公司正在解决这些痛点。
OneLake数据湖是如何工作的
微软公司是如何通过OneLake实现这种简单和统一的呢?关键是OneLake以一种称为Apache Parquet的通用格式存储了来自微软公司各种服务的所有数据的单一副本。这是一种在业界广泛使用的开源文件格式，它按列来组织数据。
这使得查询和分析数据变得更加容易和快速。无论何时，客户向其系统添加或更新任何数据，Microsoft Fabric都会自动以Parquet格式将其保存在OneLake数据湖中，而不管其原始格式如何。这意味着客户可以直接从OneLake访问和查询他们的数据，而不必通过多个来源或服务。
例如，如果客户想要使用微软公司的商业智能工具Power BI来分析来自微软数据仓库Synapse的数据，他们不必向Synapse发送查询。Power BI只是从OneLake检索数据，这减少了跨服务的查询数量，并降低了客户的成本，客户只需为单个存储和数据存储桶付费，而不必为多个存储和数据桶付费。
OneLake如何从外部来源获取数据
OneLake的简洁性和统一性也延伸到了微软生态系统之外的数据。这就是技术细节的问题所在：OneLake以一种名为Delta Lake的开源格式存储其数据表，该格式创建了一层元数据，可将来自各种来源(例如CSV或JSON文件)的原始数据转换为可被业内任何计算引擎分析的通用格式。
DBInsights公司的分析师Tony Baer在谈到微软公司拥抱开源时说，“微软在这方面做了正确的事情。”
他说，供应商之间的竞争不在于文件格式，而在于实现数据库的准确性和一致性标准，即ACID。Fabric通过开放格式进行的集成就是朝着这个方向迈出的一步。微软的数据工厂提供了150多个预先构建的连接器，让客户可以轻松地从第三方服务转换数据。
微软公司也在研究自动化转换过程的方法，而不是依赖于传统的、耗时的提取、转换和加载(ETL)方法。
Microsoft Fabric还支持多云场景，而亚马逊公司在这方面进展缓慢。通过一项名为“快捷方式”的功能，OneLake可以在亚马逊的S3存储和谷歌的存储(即将推出)中虚拟化数据存储。
微软Azure Data副总裁Arun Ulagaratchagan在接受行业媒体采访时说：“既然要使用单一的开放格式进行共享，所有这些引擎都可以与数据原生协同工作，而不是碎片化。”他表示，微软是第一个从完全受保护的格式转向完全开放的格式的主要云计算供应商。
Ulagaratchagan说，在过去的几年里，他与财富500强中的100家公司进行了探讨，他们最感兴趣的是Fabric的低成本、易于使用和无锁定的承诺。
Microsoft Fabric的集成工作耗时数年
微软发布Microsoft Fabric这一举措可能看起来很突然，但这是该公司四年多来打破孤岛和整合其数据服务的成果，这还需要克服内部政治和不同高管之间的斗争。
其中一个里程碑是Synapse，它将多个服务(例如数据湖和数据仓库)合并到一个中心。Microsoft Fabric是最终的集成，它将Synapse、Power BI和其他数据服务整合为一个单一的SaaS产品。
Blue Badge Insights公司行业顾问Andrew Brust说，“我认为这是一种跨越。它的功能是全面而有凝聚力的，这在以前是不可能的。” 他指的是微软公司在Microsoft Fabric方面的举动。
Brust承认自己有偏见。他表示，微软公司是他的客户，他是微软数据平台的产品经理，这使他成为在Microsoft Fabric发布之前了解Fabric的一群顾问、客户和合作伙伴中的一员。Brust还表示，微软将Microsoft Fabric作为SaaS，而不是PaaS，这一点意义重大。这意味着数据工程师不必处理计算单元的供应，这简化了他们的工作。他认为，亚马逊和谷歌在这一领域还有很多工作要做。
数据质量是赢得企业云竞赛的关键
分析人士还强调，云计算提供商之间的主要竞争是数据质量，这是使客户能够获得更好的见解并做出更好决策的因素。
Forrester公司的分析师Noel Yuhanna表示，他每天都会与三到四位企业客户交谈，他们抱怨迁移到云计算并没有解决他们的数据质量问题。Yuhanna总结了大多数企业高管的观点，他说，“我们有计算，有存储，有Kubernetes。这很酷。但是我们真的使这个系统实现现代化了吗?”他表示，这就是BearingPoint、Capgemini、Infosys和Wipro等系统集成商迄今为止通过云计算提供见解而获利的原因。他们有自己的顾问，将根据数据编写报告。
这也是微软公司推动Microsoft Fabric的原因。Yuhanna表示，通过将数据源连接在一起，Microsoft Fabric提高了数据的一致性和可信度。他说，“数据复制的最大挑战是数据到处都是，用户无法再获得一致的数据……Microsoft Fabric真的提供了数据的一致性。”
通过提供一个地方，就像提供了一个单一的窗口来查看数据管理。他说，“安全、治理、集成、发现，这正是它的意义所在。”
如果客户希望将安全规则应用于他们的数据，他们可以在OneLake完成大部分工作。微软公司在发布的一份声明中表示，所有访问数据的Microsoft Fabric下游应用程序都必须遵守这些规则。例如，如果客户在Power BI中有敏感的工资信息，他们只希望某个团队访问，那么他们可以设置规则来确保这一点。无论文件被导出到哪里，它们都将遵循同样的规则——甚至如果发送到Microsoft Fabric之外，也将遵循同样的加密规则。
微软赶上了Lakehouse的潮流
微软公司落后于一些竞争对手的领域之一是所谓的“Lakehouse”，它结合了两种技术：存储企业数据的数据湖和分析数据的数据仓库。
由于人工智能等需要大量数据和分析的应用程序的兴起，Lakehouse变得流行起来。尤其是一家名为Databricks的公司，它一直是创建安全、开放的“Lakehouse”的行业先驱，许多分析师认为这是行业领先的技术。毕竟，是Databricks公司创建了DeltaLake协议。
另一家供应商Snowflake公司也提供了集成良好的Lakehouse产品。据报道，在Synapse品牌下，微软公司在这一领域的产品表现不佳，微软公司通过与Databricks公司建立密切的合作关系来弥补这一不足，Databricks公司在其Azure云平台上提供支持。所以Microsoft Fabric也采用了DeltaLake协议也就不足为奇了。所有使用Databricks的客户将继续使用Microsoft Fabric。
分析师表示，Microsoft Fabric的整合也缩小了与Databricks公司和Snowflake公司的差距，并旨在超越它们。Microsoft Fabric将Databricks公司开创的开放格式扩展到微软数据栈的其余部分，这更加全面。虽然微软公司的Ulagaratchagan表示，很高兴通过与Databricks这样的平台合作，为客户提供选择，但他也明确表示，微软的Synapse打算引领Lakehouse市场。他说，“我们确实打算成为最好的产品和最好的套件。”
分析人士说，微软的单一体验和转向SaaS产品，帮助Fabric的Synapse在一些关键方面取得了飞跃。Databricks仍然是一个PaaS产品，这意味着数据工程师仍然需要做更多的工作，并指定他们想要运行处理作业的节点数量。
Microsoft Fabric将其在商业智能和数据科学方面的优势结合起来，并增加了其他功能，例如模式检测和工作流(Data Activator)，这是一件大事，Amalgam的Park表示，将商业智能与人工智能结合起来对企业来说仍然是一个挑战。微软公司正在提供一个软件包，在更大程度上解决了这个问题，超过了任何竞争对手。
生成式人工智能的力量尚未实现
最后，微软公司表示，正在利用其从OpenAI公司投资中获得的生成式人工智能技术来增强其Copilot工具。Copilot可以帮助用户执行任务，例如阅读和汇总数据报告。借助OpenAI公司的技术，Copilot现在可以让开发人员和分析师使用自然语言提出数据问题，并以自然语言接收答案。微软的Ulagaratchagan表示，虽然这将提高生产力，但在Microsoft Fabric产品中应用生成式人工智能的全面影响还需要一段时间才能看到。
毕竟，Microsoft Fabric是客户第一次体验到端到端的数据集成，他们还没有探索生成式人工智能能够做什么。
Ulagaratchagan说：“你可以认为，它不仅仅是利用生成式人工智能加速客户旅程中的一步，而是整个旅程，所以这是客户尚未发现的机会。从客户的实际使用情况中学习，并获得正确的体验，这一点至关重要。”
