51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

数据湖

118内容  
涵盖数据湖相关研究热点、技术难点与应用场景，助力企业利用信息化、数字化、新技术的利器形成平台化系统，赋能公司的人员和业务，快速应对挑战。
文章
共 118 条
终于有人将数据湖讲明白了
在数据中台的建设过程中，我们经常会听到数据湖、数据仓库(简称数仓)、数据集市、贴源数据层等多个概念。这些传统大数据平台中涉及的技术是数据中台建设的基础和必经之路。

2021-09-03 18:38:13

数据湖数据仓库
使用 Flink Hudi 构建流式数据湖
从 2016 年开始，Apache Hudi 社区就开始通过 Hudi 的 UPSERT 能力探索近实时场景的使用案例 [1]。通过 MR/Spark 的批处理模型，用户可以实现小时级别的数据注入 HDFS/OSS。在纯实时场景，用户通过流计算引擎 Flink + KV/OLAP 存储的架构可以实现端到端的秒级 (5分钟级) 实时分析。

2021-08-31 10:07:16

Flink Hud数据湖阿里云
云原生数据湖架构中的无服务器Kafka 译文
人们需要了解如何在混合云上利用云原生和无服务器Apache Kafka来处理与数据湖互补的动态数据。而Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

2021-08-18 09:00:00

云原生混合云无服务器
DLF +DDI 一站式数据湖构建与分析最佳实践
数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。

2021-08-06 09:33:57

数据湖DLF DDI
Flink + Iceberg + 对象存储，构建数据湖方案
数据源上可能会有各种数据，不同的数据源和不同格式。比如说事物数据，日志，埋点信息，IOT 等。这些数据经过一些流然后进入计算平台，这个时候它需要一个结构化的方案，把数据组织放到一个存储平台上，然后供后端的数据应用进行实时或者定时的查询。

2021-07-20 11:52:03

FlinkIceberg 对象存储
剖析数据平台：新一代数据湖 译文
架构的重要之处不在于供应商或特定产品，而在于所用组件的功能。产品的选择取决于许多的因素。

2021-06-10 14:01:38

大数据数据平台数据湖
详解新一代数据湖--数据平台 译文
本文系统性地向您介绍了数据平台的模型、获取模式、获取引擎服务、数据湖即服务、以及数据湖的功用与进化。

2021-06-10 09:00:00

数据湖架构数据平台
如何基于MaxCompute快速打通数据仓库和数据湖的湖仓一体实践
纵观整个计算机科学技术领域，对于数据处理的技术主要分为四个阶段，数据库阶段、大数据技术探索阶段、大数据技术发展阶段、大数据普惠阶段。

2021-06-07 10:45:16

大数据数据仓库数据湖
云原生数据湖的探索和实践：当汇量科技 EnginePlus 团队来到阿里云峰会
随着企业业务的快速扩展，衍生数据量面临爆发式增长，企业对数据处理分析的需求日趋迫切。在此背景下，创新技术与方案成为企业刚需，用以解决数据智能处理的挑战。

2021-06-01 16:52:27

AI
女朋友问小灰：什么是数据仓库？什么是数据湖？什么是智能湖仓？
作为程序员，我们写的大多数商业项目，往往都需要用到大量的数据。计算机的内存，可以实现数据的快速存储和访问。

2021-05-28 09:23:07

数据仓库数据湖
用户超过10人就玩完：Gartner称，数据湖搞不定SQL并发机制！
据Gartner声称，数据湖在试图执行SQL查询时，很难支持10个以上的用户，而SQL查询曾经被视为完全适合数据仓库技术。

2021-05-26 09:46:10

数据库工具技术
数据湖，当然得要全闪存的！
PowerScale F900采用全NVMe设计，通过现代化高性能的全闪存和全NVMe配置支持最严苛的数据工作负载需求；OneFS 9.2为F200和F600带来了显著的性能提升，PowerScale全新的全闪存层支持Google Cloud。

2021-05-19 15:15:52

戴尔科技
深度｜数据湖分析算力隔离技术剖析

2021-05-13 11:54:07

数据湖阿里云
从数据库思维到数据湖思维的转变
在这篇文章中，让我们来确定数据库和数据湖的一些差异，这些差异在第一眼看到时可能并不直观，特别是对于具有强大关系型数据库背景的人来说。

2021-05-07 05:54:43

数据库数据湖数据
简述数据仓库，数据集市，数据湖泊、和运营数据存储
互联网和大规模技术开发使得当今世界中数据的爆炸性增长。企业决策者希望研究数据之间的关系，点击数据的隐藏功能并分析和探索更深层次的数据。

2021-04-16 10:21:50

数据库数据湖数据
组织应该采用数据湖的7个原因 译文
数据仓库长期以来一直是管理大数据的标准方法，但是数据湖是否更适合组织的需要？其答案是肯定的。

2021-04-06 08:00:00

数据湖存储技术
Apache四个大型开源数据和数据湖系统
四个大型数据和数据湖的大型Apache系统，Apache Shardingsphere，Apache冰山，Apache Hudi和Apache IotdB

2021-03-08 15:42:54

数据库Apache Iceb开源
基于云的理想数据湖框架
借助正确的工具和最佳实践，组织可以使用其所有数据，使更多的用户可以访问它，并推动做出更好的业务决策。

2021-02-18 09:54:37

数据湖框架数据
什么是数据湖？有什么用？终于有人讲明白了……
如果需要给数据湖下一个定义，可以定义为这样：数据湖是一个存储企业的各种各样原始数据的大型仓库，其中的数据可供存取、处理、分析及传输。

2021-02-18 07:55:27

数据湖存储数据
混合数据湖的好处
本文介绍了如何使用混合数据湖。数据湖使您的公司能够灵活地以数据形式捕获业务运营的各个方面，同时保持传统数据仓库的生命周期。

2021-01-15 11:40:38

混合数据湖数据湖数据
数据湖不仅仅是大数据
数据湖不仅用于“大数据”，而且组织比以往拥有更多的机会将它们纳入数据堆栈。

2020-12-16 09:27:05

数据湖大数据数据
亚马逊云科技数据分析新服务 - 数据湖
本文将从实践角度阐述 亚马逊云科技数据湖以及数据分析等产品，是如何帮助企业更加智能的利用数据，从而辅助业务决策。

2020-12-15 13:03:21

数据分析
数据湖的发展趋势将给企业带来什么 译文
“数据湖”(Data Lake) 这一术语已经推出了将近10年的时间，如今已经成为从大型数据存储库中的数据挖掘中形成竞争性见解的关键工具。

2020-12-09 09:00:00

数据湖工具首席信息官
数据湖 VS 数据仓库之争？阿里提出大数据架构新概念：湖仓一体
数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？

2020-12-02 17:20:58

数据仓库阿里云数据湖
深度对比Apache CarbonData、Hudi和Open Delta三大开源数据湖方案
今天我们就来解构数据湖的核心需求，同时深度对比Apache CarbonData、Hudi和Open Delta三大解决方案，帮助用户更好地针对自身场景来做数据湖方案选型。

2020-10-30 09:27:25

开源技术 数据
如何用好云原生数据湖？
阿里云从2018年起就开始布局数据湖，推出了云原生数据湖分析Data Lake Analytics(DLA)，从数据湖管理(帮助客户高效管理构建数据湖)，Serverless Spark(提供高性价比的大规模计算)，Serverless SQL(提供高性价比的在线交互式分析)三个方面帮助客户挖掘数据价值。

2020-10-27 07:08:06

云原生数据湖存储
企业级数据湖来了 阿里云陈起鲲：数据湖将成为企业应用创新标配
10月23日，数据湖高峰论坛在京召开，阿里云宣布推出业内首个云原生企业级数据湖解决方案，提供EB级数据存储、分析能力，可一站式实现湖存储、湖加速、湖管理、湖计算，帮助企业对数据深入挖掘与分析，洞察其中蕴含价值，更适合于人工智能、物联网、自动驾驶等拥有海量数据场景的新兴行业。

2020-10-23 22:43:05

阿里云企业级数据湖
有了数据湖，距离数据仓库消失还有几年？
很多人跟我一样，对于数据湖充满好奇，也许还读了不少数据湖文章，但无论别人怎么说，你还是会觉得难以把握数据湖的本质。

2020-10-20 18:59:40

数据湖数据仓库采集
数据湖架构，为什么需要“湖加速”？
湖加速即为数据湖加速，是指在数据湖架构中，为了统一支持各种计算，对数据湖存储提供适配支持，进行优化和缓存加速的中间层技术。那么为什么需要湖加速?数据湖如何实现“加速”?本文将从三个方面来介绍湖加速背后的原因，分享阿里云在湖加速上的实践经验和技术方案。

2020-09-15 12:56:00

数据湖架构
数据湖到底是什么湖？
近两年，随着大数据、云计算等技术的发展与成熟，数据湖再次被人们提起，人们对原始数据的分析、非结构化数据的分析的应用也越来越多，数据湖开始走向企业的实际应用中。

2020-08-04 14:20:20

数据湖Hadoop数据仓库
成功实施数据湖的关键因素
数据湖的实现需要很多关键因素，其中涉及从技术到治理，组织需要评估其实施策略中最重要的因素。

2020-07-30 11:40:54

数据湖大数据数据湖平台
如何通过采用敏捷方法成功实施数据湖
灵活的数据湖开发方法有助于公司快速启动分析程序并建立持久的对数据有利的文化。

2020-07-27 09:58:55

数据湖数据CIO
企业如何确保数据湖安全
企业的数据湖充满了敏感信息，确保数据安全是当务之急。而人们需要了解使信息免受黑客攻击的优秀实践。

2020-06-28 11:00:18

大数据数据湖安全
您真的需要数据湖吗？
如果您正在讨论是否需要数据湖来加强数据策略，那么本文将为您提供一些帮助，以便您进行电话咨询。

2020-06-16 08:58:08

数据湖数据数据库
金融交易系统：分布式数据湖
所谓“无科技不金融”，如今金融交易系统不仅提供交易服务，还面临数据的性能与安全的挑战。

2020-06-12 12:49:52

数据
MongoDB统一分布式数据源，云数据库支持数据湖和搜索功能
分布式文件存储数据库MongoDB发布了新版本，包括大量产品组合更新。并且为云数据库MongoDB Atlas(数据库的特定于云的版本)添加了更多功能，为开发人员推出了全新的产品数据库同步平台。

2020-06-11 08:26:54

MongoDB数据库分布式
简化数据湖可为组织节省时间和资源
行业专家首席解决方案架构师Mark McQuade对组织在寻求降低其数据湖的复杂性时需要考虑的问题提供了自己的见解。

2020-04-27 11:11:54

数据湖数据人工智能
开源数据湖方案选型：Hudi、Delta、Iceberg深度对比
我们来逐一分析为何各技术公司要推出他们的开源数据湖解决方案，他们碰到的问题是什么，提出的方案又是如何解决问题的。我们希望客观地分析业务场景，来理性判断到底哪些功能才是客户的痛点和刚需。

2020-03-26 10:05:18

大数据IT互联网
从数据到洞察 数据湖时代到来 原创
我们经历过数据库、数据仓库、数据湖等不同概念时期，应对了不同种类、量级、形式的数据。随着人工智能的快速发展，以及产业互联网的转型，处理数据的技术也在升级，再加上云计算的计算能力，企业可以快速获取洞察，实现业务创新。

2020-03-25 09:39:03

数据数据湖数据仓库
企业面临哪些数据湖管理挑战？
成功的数据治理方案涉及部署策略、标准和流程，以在整个企业中有效正确地利用高质量数据。如果你的企业具有数据湖环境，并希望从中获得高质量的分析结果，则你需要部署正确数据湖治理，作为整体治理计划的一部分。

2020-02-25 15:37:31

数据安全数据存储
分析：亚马逊如何通过数据湖解决大数据挑战？
数据湖是一个集中式安全存储库，可让您以任何规模存储，管理，发现和共享所有结构化和非结构化数据。数据湖不需要预定义的架构，因此您可以处理原始数据，而不必知道将来可能要探索的洞察力。

2020-02-24 15:06:13

亚马逊数据湖AWS
大数据时代，数据湖并不能完全取代数据仓库
数据仓库为组织了解其历史业务表现和推动持续运营提供了一个接入窗口，为数据分析师和业务用户提供了诸如客户行为、业务趋势、运营效率和销售等方面的信息。

2020-01-08 21:53:06

大数据数据仓库数据湖
数据湖的这些知识点你了解吗
今天这篇文章主要介绍数据湖(data lake)的定义，其次介绍各大云厂商的解决方案以及目前的开源解决方案。

2019-11-25 21:46:12

数据湖云计算数据仓库
企业选择数据湖架构的5大理由
随着大数据的重要性和接受度的提高，人们也越来越需要考虑如何组织和托管大数据。答案之一是数据湖，在数据准备和组织方面最广泛的数据体系结构系统。

2019-10-10 18:11:32

数据湖数据存储企业
辨析BI、数据仓库、数据湖和数据中台内涵及差异点
随着大数据技术的不断更新和迭代，数据管理工具得到了飞速的发展，相关概念如雨后春笋一般应运而生，如从最初决策支持系统(DSS)到商业智能(BI)、数据仓库、数据湖、数据中台等。

2019-10-09 16:38:50

数据平台架构
数据湖里没有“水怪”，有的是，，，
什么是数据湖，它是什么工作原理？它又是如何作用于大数据分析的？它们的驱动因素和优缺点又是什么？

2019-09-18 09:40:48

数据湖数据分析数据
DaaS能否帮助企业从数据湖中获益？
数据即服务(DaaS)从2015年开始被使用，是一项较新的技术。它通过各种API将数据按需交付给消费者，以避免需要获取和存储大型数据资产，然后在数据资产中搜索所需信息。

2019-04-17 09:10:00

DaaS数据湖云计算
数据湖对初创公司分析工作至关重要的五个原因
在大数据行业围绕数据湖的争议往往集中在他们认为的缺点上。数据湖非常没有结构化、太宽泛和太难管理。无论如何，数据湖具备了使其有独特价值的关键特征，尽管这些特征相对较新，但对初创公司尤其有用。

2018-11-06 12:16:10

数据湖初创公司大数据
初探：企业数据湖治理优秀实践！
通常，那些刚接触大数据的人，甚至是精通Hadoop的老手，都会尝试使用不同的脚本、工具和第三方供应商来组建几个集群并拼凑在一起，这既不符合成本效益，也不可持续。本文，作者将描述数据湖与集群拼凑方式相比的优势是什么，集群如何规划和治理才能构建有效的数据湖。

2018-09-30 15:05:38

数据湖数据仓库Hadoop
Gartner预测：90％的数据湖将毫无用处
Gartner此前曾预计，到2018年，90%的数据湖将毫无用处，因为它们充满了原始数据，很少有人会使用这些技术。在当前的技术领域，没有什么能像人工智能(AI)那样引起人们的好奇和兴奋。而AI的潜在优势，也刚刚开始在企业内显现出来。

2018-08-01 14:15:28

数据湖AI人工智能
上一页 1 2 3
点赞

51CTO技术栈公众号

业务
速览
在线客服