51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9034内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9034 条
货拉拉大数据元数据管理体系演进和实践
本文将分享货拉拉大数据元数据管理的演进与实践。本次分享的重点是元数据管理平台，该平台作为大数据体系的元数据中心，其核心职责涵盖了元数据管理、数据资产管理以及成本治理三大方面。

2024-10-08 08:27:22

大数据元数据管理成本治理
用户生命周期分析，这个坑90%的人踩过！
对线下实体店而言，用户到店即付费，先消费后体验服务。但在互联网产品里，付费与活跃脱节的现象很常见。或者有的产品干脆允许用户只活跃，不付费，通过额外的权益和道具收费。比如游戏、在线音乐、视频、社区等等皆是如此。

2024-10-08 08:14:08

用户生命周期分析服务
数据分析，如何实现降本增效？
比如很多公司做促销活动，总喜欢搞“全场大促”，心理感觉可以多覆盖用户，可实际上参与的都是同一批人。结果经常是有活动的产品销量大涨，没活动的一蹶不振，总业绩也不见涨。

2024-09-30 08:47:07

数据分析降本增效覆盖用户
因果推断的四个模型，的确管用！
既然复杂的方法不好用，有没有简单的办法？有！比如基于最朴素的感觉：既然A会引发B，那么A产生了B就该产生，A结束了，B会慢慢结束（或者B死掉）。人们就此总结出了因果推断四大原则。

2024-09-29 09:22:00

因果推断模型统计学
滴滴指标标准化实践
指标是对客观世界业务过程以及结果的度量，是企业数仓的核心产物，通常需要配合维度及聚合方式进行衡量。完善的指标体系不仅可以辅助业务进行精细化运营，而且可以指导战略层进行经营分析以及业务决策。

2024-09-29 08:54:36

数仓交付指标管理企业数仓
数据编织技术：数据虚拟化在数据治理实践中的应用
本文将深入探讨 Denodo 在数据治理和数据虚拟化方面的解决方案，阐释逻辑数据编织的理念、优势以及其在企业中的实际应用。

2024-09-29 08:40:34

数据治理数据虚拟化数据管理
数据分析工作，能做一辈子吗？
所谓的“AI/人工智能/智能BI/ChatGPT会取代数据分析师”，正是来自对数据分析工作的不了解。在不懂行的人眼里，数据分析师和算命大师没啥区别，不需要数据采集、不需要数据清洗、不需要数据治理、不需要分析建模、不需要积累经验、不需要你测试验证。

2024-09-29 00:00:05

AI人工智能ChatGPT
农业银行基于FS-LDM模型构建企业级数据模型
中国农业银行将数据建模方法与DataOps全生命周期的标准化流水线相结合， 从组织模式、管理制度、系统工具为数据模型结构提供全方位支撑。

2024-09-27 13:05:02

数据模型
数据分析落地全流程，你学会了吗？
面对细节数据缺失，可以用管理手段配合数据建设。比如要求客服在首次接单且售后无异常的情况下，接单30分钟内完成分配，有异常就人工反馈标注。

2024-09-27 10:27:50

数据分析模型管理
用户活跃、留存、流失，超全图解！
难做的根源，是：如果用户登陆的话，我们很清楚他登录以后干了什么，但是用户未登录的话，我们不清楚他为什么不登录。未登陆的理由，只能去猜。这就是这三大问题难缠的核心之处。如果领导问我们：“今天登录用户访问了哪些页面？”估计各个对答如流。

2024-09-26 12:28:49

用户活跃留存流失
​面试题：AI时代下怎么设计一个数据平台？
数据平台，最重要的是数据。AI时代下，视频，文本，音乐等一系列文件数据，都需要在一个统一的存储池上存储和处理，这个地方就是对象存储COS。

2024-09-26 08:03:25

数据平台AI数据湖
商业银行数据建模流程模式对比
商业银行数据模型是指使用结构化的语言将收集到的企业业务经营、管理和决策中使用的数据需求进行综合分析，按照模型设计规范将需求重新组织形成的结构化模型 。

2024-09-25 21:38:33

数据模型
细说企业数据分级：挑战、角色、步骤和实践 原创 精选
本文从数据分级的概念出发，依次介绍数据分级的挑战、必要性、好处、与数据生命周期的关系、以及实施数据分级的角色、步骤与实践。

2024-09-24 10:58:47

数据分级数字化安全
华为发布数据智能解决方案5.0，加速大模型从赋能到产能转型升级
华为全联接大会2024期间，华为第十二届全球智慧金融峰会2024（Huawei Intelligent Finance Summit 2024，以下简称“峰会”）同期举行。在以“韧行智远，共筑数智金融未来”为主题的峰会上，华为联合安硕、恩核、帆软、kyligence、瑞和数智、神州信息、同盾、兔展、先进数通、新希望金科、宇信、永洪、中电金信、中软国际等生态伙伴发布数据智能解决方案5.0，通过场景创

2024-09-23 08:36:45

华为全联接大会数据智能
联通数科基于一体化数据平台的元数据管理实践
本文将分享联通数科基于一体化数据平台的元数据管理实践。联通数科一体化数据资产管理平台获得了非常多的认可与荣誉，包括工信部、环保部、DAMA 等颁发的奖项。

2024-09-23 08:21:01

元数据管理数据治理数据虚拟化
字节跳动开源云原生数仓引擎 ByConity 技术详解与应用
本文介绍字节跳动开源的云原生数仓引擎，ByConity。ByConity 是基于 ClickHouse 产生。ClickHouse 社区已经发展了很多年。字节从 2017 年开始大规模使用 ClickHouse。在验证了多款产品之后，最终发现 ClickHouse 是唯一能够支撑字节当时的体量以及保证查询体验的产品。

2024-09-23 08:15:11

云原生ByConity数仓引擎
如何实现无头数据架构 译文 精选
无头数据架构可以在整个组织中解锁前所未有的数据访问，但它从左移开始。

2024-09-20 21:09:42

无头数据架构数据分析平台多跳架构
知乎大数据如何降本增效?
本篇文章介绍了知乎大数据在降本增效方面的实践。知乎内部 2022 年开始建设一套经济化计费体系——FinOps，以此系统为抓手推动公司内部降本实践。

2024-09-20 08:20:20

大数据FinOps成本模型
数据库顶会 VLDB 2024 论文解读：字节跳动如何对大规模 Spark 作业进行资源提效
近年来 Spark 已经成为离线大数据处理引擎的事实标准，广泛用于数据仓库、数据湖、机器学习等领域。在字节跳动内部每天运行百万级别的 Spark 离线作业，Shuffle 量高达 500PB，CPU 资源需求达到千万级别。

2024-09-19 19:08:46

Spark大数据
数据仓库平台Snowflake的全面管理指南 译文 精选
Snowflake的管理涉及到各种任务，从用户和角色管理到数据加载和安全性等方面。

2024-09-13 12:25:43

数据仓库Snowflake
这才是经营分析赋能，但90%的人都搞错了！
固定投入更像基础建设，很难直接衡量每一块投入提升多少订单。因此只能做分类管理，对每一类渠道的基建投入，控制总量。而可变投入是直接和订单相关的，因此必须具体考核收益。如果投下去资源没有见到额外增长，就得复盘投入价值。

2024-09-12 11:51:44

经营分析业绩增长数据量
腾讯大数据实时湖仓智能优化实践
本次分享题目为腾讯大数据实时湖仓智能优化实践。数据湖计算部分，Spark 作为 ETL Batch 任务的主要批处理引擎，Flink 作为准实时计算的流处理引擎，StarRocks 和 Presto 作为即席查询的 OLAP 引擎。

2024-09-11 14:47:00

大数据湖仓智能优化数据湖
缩小差距：解决数据驱动型组织中数据战略的九种反模式
在数据是关键资产的世界中，制定强大的数据战略对于任何旨在充分发挥数据潜力的企业来说都至关重要。然而，成功的数据战略之路充满了常见的陷阱——我称之为“反模式”。如果不加以识别和解决，这些失误甚至可能破坏最周密的计划。

2024-09-09 14:38:41

数据战略数据驱动
DataOps关键技术能力模型实践
DataOps作为一种新兴的数据处理与管理 方法，强调数据驱动自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简化了数据交付的周期，提升数 据生产者与数据消费者的协同效率，成为企业数字化转型快速释放数据生产力的最佳方案。

2024-09-09 13:55:35

DataOps云计算大数据
数据湖与数据仓库的对比
与数据仓库不同，数据湖是一种存储大量原始数据的系统，这些数据可以是结构化的、半结构化的或非结构化的。

2024-09-05 16:08:52

数据仓库数据湖
我们一起聊聊数据分析模型：人货场模型
“我看到收入下降/新增用户减少/成本上升，该怎么进一步分析呢？”很多人有类似困惑，经常写了一堆同比环比，除了“同比降了，要搞高”就不知道写啥。该怎么办呢？

2024-09-05 10:36:58

数据分析人货场模型
一文读懂Hive底层数据存储格式
Parquet 表支持 Uncompress、Snappy、Gzip、Lzo 压缩，默认不压缩(Uncompressed)。其中 Lzo 压缩是支持切分的，所以在表的单个文件较大的场景会选择 Lzo 格式。

2024-09-03 08:40:31

Hive底层数据
营销中合成数据的兴起：市场研究和战略决策的未来
探讨合成数据在营销中的应用如何通过增强隐私保护、提高成本效益和提供创新见解来革新市场研究与策略。

2024-09-02 16:11:39

大数据
大数据和分析的七大优势以及考虑它的理由
大多数企业已经明白如何捕捉流入其业务的海量数据，并通过分析将其转化为可操作的洞察。大数据和分析的优势使其成为那些希望挖掘业务潜力的企业的必备工具。对于专业人士来说，大数据分析领域提供了丰富的机会，是职业发展的下一步值得考虑的方向。

2024-09-02 16:04:45

大数据
大厂都要求的“数据分析闭环”，该如何实现？你学会了吗？
当然，现实工作中，总会遇到公司领导不重视，业务不积极，数据太少等等问题。该怎么补救呢？你不能太指望遇到100%完美型的公司才干活，因此建议大家抱着：行有不得，反求诸己的精神，先把我们自己能干的工作干好。

2024-09-02 12:23:27

数据分析闭环
技术 or 业务？数据分析发展路径大盘点
无论你是站在门外心怀憧憬；还是刚刚入行，踌躇满志；又或者被每天跑数累得七荤八素，都可以认真复盘下咱数据人的优势与机会。

2024-08-30 11:53:31

技术业务数据分析
七个流行的开源数据治理工具
数据治理是一种管理框架，通过定义和实施组织范围内的数据管理政策、标准和流程，确保数据的准确性、一致性、安全性和合规性。

2024-08-30 09:13:56

数据治理开源
站在数字化转型的十字路口，数据飞轮能否为汽车行业指明前进方向？​ 原创
近几年，汽车行业的数字化建设开始加速，许多车企积累了大量的客户行为数据，而数据飞轮的理念能够引导企业利用这些行为数据提供更加个性化的服务，以此满足不同类型消费者的需求。

2024-08-29 09:35:46

数据飞轮数据中台
搭建经营分析模型，这可能是最好的策略
如果分析不深入，分析师就只能笼统地喊：“差旅费高了/销售费用高了，要控制”，这完全无法落地。更有甚者，业务部门摆烂，说：“业绩做不好，都怪你们瞎胡控制费用”。搞得分析师灰头土脸。

2024-08-28 11:56:33

经营分析模型策略
Data+AI 一体架构的产品创新
在 Data for AI 产品层面，当前更多是大数据为 AI 赋能的应用，针对结构化、半结构化以及非结构化数据，探索数据预处理如何与 AI 深度学习与大模型数据训练的协同场景。而在 AI for DataWarehouse 层面，更多是应用在智能数仓的场景上。

2024-08-27 09:41:02

大数据AI数据架构
Apache Paimon 实时湖仓存储底座
本次分享包括四个部分。首先是关于实时湖仓的介绍，什么是实时湖仓、为什么需要实时湖仓？第二部分介绍与 Apache Paimon 相关的技术。第三部分介绍 Paimon 在各个公司的主流应用场景。最后一部分将介绍 Paimon 目前正在发展的一些前沿技术。

2024-08-27 09:12:36

实时湖仓Paimon数据架构
2024前端数据可视化常用工具大盘点
ECharts是一个基于JavaScript的开源数据可视化库，它由百度开源，现在由 Apache 基金会维护。ECharts提供了丰富的图表类型、灵活的配置选项和强大的交互功能，使得开发者能够轻松构建出美观且功能强大的数据可视化应用。

2024-08-27 00:00:06

开源数据可视化
基于改进字典的大数据多维分析加速实践
工程化支持[维度组合]方式加速rbm结构, 将能定位唯一粒度实体维度组合以最小组合方式建立, 可有效减少rbm结构数据的数量。节省存储的同时, 也提升查询性能。

2024-08-26 14:54:54

大数据多维数据
为什么这两年，“大数据”谈得越来越少了 ...
在最近做数字化项目的过程中，不管是和客户交流还是看一些项目的技术方案，都发现有一个曾经很火的概念，突然很少出现了。

2024-08-26 13:00:10

大数据数字化转型
Python数据分析领域的十大高级技巧
本文是我们精心挑选了十大高级技巧，适用于数据科学家、分析师以及任何希望深入探索Python数据分析的人。

2024-08-21 15:31:53

Python数据分析
数据湖、数据湖仓和数据编织项目建设中应避免的七个关键错误
数据湖、数据湖仓和数据编织等集中式数据架构越来越受欢迎，用于管理海量数据并实现数据驱动的决策。然而，该领域的许多项目面临挑战，甚至无法实现预期成果。

2024-08-21 13:40:15

数据湖数据湖仓数据编织
Top 5 Python 数据可视化技术
掌握下面这五种高级可视化图表将使数据可视化变得容易。这些库互为补充，以最大化数据表达。

2024-08-20 18:16:49

数据可视化Python
天穹数仓自治能力在大模型时代的新实践
随着大数据技术的不断发展，数据治理和自治能力的提升变得尤为重要。本次分享题目为“天穹数仓自治能力新实践”。

2024-08-20 08:39:41

大数据天穹数仓数据治理
一文快速解锁：标签体系全流程
标签工作至关重要，它是量化定性因素，提供价值判断的重要工具，是一项非常基础的建设。但做标签项目，一定要和经营分析（对管理层）活动支持（对运营）系统工具（对一线）结合起来，不能自己默默无闻奉献。

2024-08-19 13:46:00

标签体系工具
GenAI时代的实时数据分析：Apache Pinot与向量索引技术探秘
本文将分享如何使用 Apache Pinot 将实时数据分析和检索增强生成 RAG 结合起来。随着实时机器学习以及数据分析应用的发展，实时数据的价值越来越多地被挖掘出来。

2024-08-19 10:06:44

机器学习数据分析推荐算法
通过一个手抓饼摊，看懂数据分析全流程
有诗云：“一杯茶、一支烟、一段SQL写一天”，就是在吐槽，数据计算太过复杂，导致得写几百行SQL才能拿出来。

2024-08-19 09:07:00

手抓饼摊数据分析SQL
Nature子刊 | 基于内生复杂性，自动化所新类脑网络构筑人工智能与神经科科学的桥梁
具有内生复杂性的小型模型为 AI 的发展带来了新的机遇。通过模拟生物神经元的复杂动力学，优化模型的局部微结构扩展内生复杂性，我们可以构建更高效、更强大的 AI 模型，并克服外部复杂性大型模型的困境。

2024-08-19 09:06:00

AI模型
释放银行数据要素价值，数据飞轮是破局之道吗？ 原创
“数据飞轮是数据中台发展到更高阶段的呈现形式。”魏生强调，数字化转型是每个企业的必经之路，但如何支撑数据应用并发掘其价值，才是企业应当持续关注的核心，企业需要的是基于自身的资源禀赋、能力基础和实际需求，选择最适合自己的解决方案。​

2024-08-16 09:48:48

数据飞轮数据中台数据管理
自动化是解决大数据迁移障碍的答案
管理数以拍字节计的信息迁移已成为企业在从非结构化数据中提取价值时所必需的实践。

2024-08-15 17:25:04

大数据自动化
揭秘选对数据治理工具的六大步骤
通过评估主要功能、可扩展性、集成能力、用户友好性和合规性支持来了解如何选择正确的数据治理工具。

2024-08-14 16:16:56

数据治理
上一页 1 23456 ··· 181
点赞

51CTO技术栈公众号

业务
速览
在线客服