51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9062内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9062 条
DataOps关键技术能力模型实践
DataOps作为一种新兴的数据处理与管理 方法，强调数据驱动自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简化了数据交付的周期，提升数 据生产者与数据消费者的协同效率，成为企业数字化转型快速释放数据生产力的最佳方案。

2024-09-09 13:55:35

DataOps云计算大数据
数据湖与数据仓库的对比
与数据仓库不同，数据湖是一种存储大量原始数据的系统，这些数据可以是结构化的、半结构化的或非结构化的。

2024-09-05 16:08:52

数据仓库数据湖
我们一起聊聊数据分析模型：人货场模型
“我看到收入下降/新增用户减少/成本上升，该怎么进一步分析呢？”很多人有类似困惑，经常写了一堆同比环比，除了“同比降了，要搞高”就不知道写啥。该怎么办呢？

2024-09-05 10:36:58

数据分析人货场模型
一文读懂Hive底层数据存储格式
Parquet 表支持 Uncompress、Snappy、Gzip、Lzo 压缩，默认不压缩(Uncompressed)。其中 Lzo 压缩是支持切分的，所以在表的单个文件较大的场景会选择 Lzo 格式。

2024-09-03 08:40:31

Hive底层数据
营销中合成数据的兴起：市场研究和战略决策的未来
探讨合成数据在营销中的应用如何通过增强隐私保护、提高成本效益和提供创新见解来革新市场研究与策略。

2024-09-02 16:11:39

大数据
大数据和分析的七大优势以及考虑它的理由
大多数企业已经明白如何捕捉流入其业务的海量数据，并通过分析将其转化为可操作的洞察。大数据和分析的优势使其成为那些希望挖掘业务潜力的企业的必备工具。对于专业人士来说，大数据分析领域提供了丰富的机会，是职业发展的下一步值得考虑的方向。

2024-09-02 16:04:45

大数据
大厂都要求的“数据分析闭环”，该如何实现？你学会了吗？
当然，现实工作中，总会遇到公司领导不重视，业务不积极，数据太少等等问题。该怎么补救呢？你不能太指望遇到100%完美型的公司才干活，因此建议大家抱着：行有不得，反求诸己的精神，先把我们自己能干的工作干好。

2024-09-02 12:23:27

数据分析闭环
技术 or 业务？数据分析发展路径大盘点
无论你是站在门外心怀憧憬；还是刚刚入行，踌躇满志；又或者被每天跑数累得七荤八素，都可以认真复盘下咱数据人的优势与机会。

2024-08-30 11:53:31

技术业务数据分析
七个流行的开源数据治理工具
数据治理是一种管理框架，通过定义和实施组织范围内的数据管理政策、标准和流程，确保数据的准确性、一致性、安全性和合规性。

2024-08-30 09:13:56

数据治理开源
站在数字化转型的十字路口，数据飞轮能否为汽车行业指明前进方向？​ 原创
近几年，汽车行业的数字化建设开始加速，许多车企积累了大量的客户行为数据，而数据飞轮的理念能够引导企业利用这些行为数据提供更加个性化的服务，以此满足不同类型消费者的需求。

2024-08-29 09:35:46

数据飞轮数据中台
搭建经营分析模型，这可能是最好的策略
如果分析不深入，分析师就只能笼统地喊：“差旅费高了/销售费用高了，要控制”，这完全无法落地。更有甚者，业务部门摆烂，说：“业绩做不好，都怪你们瞎胡控制费用”。搞得分析师灰头土脸。

2024-08-28 11:56:33

经营分析模型策略
Data+AI 一体架构的产品创新
在 Data for AI 产品层面，当前更多是大数据为 AI 赋能的应用，针对结构化、半结构化以及非结构化数据，探索数据预处理如何与 AI 深度学习与大模型数据训练的协同场景。而在 AI for DataWarehouse 层面，更多是应用在智能数仓的场景上。

2024-08-27 09:41:02

大数据AI数据架构
Apache Paimon 实时湖仓存储底座
本次分享包括四个部分。首先是关于实时湖仓的介绍，什么是实时湖仓、为什么需要实时湖仓？第二部分介绍与 Apache Paimon 相关的技术。第三部分介绍 Paimon 在各个公司的主流应用场景。最后一部分将介绍 Paimon 目前正在发展的一些前沿技术。

2024-08-27 09:12:36

实时湖仓Paimon数据架构
2024前端数据可视化常用工具大盘点
ECharts是一个基于JavaScript的开源数据可视化库，它由百度开源，现在由 Apache 基金会维护。ECharts提供了丰富的图表类型、灵活的配置选项和强大的交互功能，使得开发者能够轻松构建出美观且功能强大的数据可视化应用。

2024-08-27 00:00:06

开源数据可视化
基于改进字典的大数据多维分析加速实践
工程化支持[维度组合]方式加速rbm结构, 将能定位唯一粒度实体维度组合以最小组合方式建立, 可有效减少rbm结构数据的数量。节省存储的同时, 也提升查询性能。

2024-08-26 14:54:54

大数据多维数据
为什么这两年，“大数据”谈得越来越少了 ...
在最近做数字化项目的过程中，不管是和客户交流还是看一些项目的技术方案，都发现有一个曾经很火的概念，突然很少出现了。

2024-08-26 13:00:10

大数据数字化转型
Python数据分析领域的十大高级技巧
本文是我们精心挑选了十大高级技巧，适用于数据科学家、分析师以及任何希望深入探索Python数据分析的人。

2024-08-21 15:31:53

Python数据分析
数据湖、数据湖仓和数据编织项目建设中应避免的七个关键错误
数据湖、数据湖仓和数据编织等集中式数据架构越来越受欢迎，用于管理海量数据并实现数据驱动的决策。然而，该领域的许多项目面临挑战，甚至无法实现预期成果。

2024-08-21 13:40:15

数据湖数据湖仓数据编织
Top 5 Python 数据可视化技术
掌握下面这五种高级可视化图表将使数据可视化变得容易。这些库互为补充，以最大化数据表达。

2024-08-20 18:16:49

数据可视化Python
天穹数仓自治能力在大模型时代的新实践
随着大数据技术的不断发展，数据治理和自治能力的提升变得尤为重要。本次分享题目为“天穹数仓自治能力新实践”。

2024-08-20 08:39:41

大数据天穹数仓数据治理
一文快速解锁：标签体系全流程
标签工作至关重要，它是量化定性因素，提供价值判断的重要工具，是一项非常基础的建设。但做标签项目，一定要和经营分析（对管理层）活动支持（对运营）系统工具（对一线）结合起来，不能自己默默无闻奉献。

2024-08-19 13:46:00

标签体系工具
GenAI时代的实时数据分析：Apache Pinot与向量索引技术探秘
本文将分享如何使用 Apache Pinot 将实时数据分析和检索增强生成 RAG 结合起来。随着实时机器学习以及数据分析应用的发展，实时数据的价值越来越多地被挖掘出来。

2024-08-19 10:06:44

机器学习数据分析推荐算法
通过一个手抓饼摊，看懂数据分析全流程
有诗云：“一杯茶、一支烟、一段SQL写一天”，就是在吐槽，数据计算太过复杂，导致得写几百行SQL才能拿出来。

2024-08-19 09:07:00

手抓饼摊数据分析SQL
Nature子刊 | 基于内生复杂性，自动化所新类脑网络构筑人工智能与神经科科学的桥梁
具有内生复杂性的小型模型为 AI 的发展带来了新的机遇。通过模拟生物神经元的复杂动力学，优化模型的局部微结构扩展内生复杂性，我们可以构建更高效、更强大的 AI 模型，并克服外部复杂性大型模型的困境。

2024-08-19 09:06:00

AI模型
释放银行数据要素价值，数据飞轮是破局之道吗？ 原创
“数据飞轮是数据中台发展到更高阶段的呈现形式。”魏生强调，数字化转型是每个企业的必经之路，但如何支撑数据应用并发掘其价值，才是企业应当持续关注的核心，企业需要的是基于自身的资源禀赋、能力基础和实际需求，选择最适合自己的解决方案。​

2024-08-16 09:48:48

数据飞轮数据中台数据管理
自动化是解决大数据迁移障碍的答案
管理数以拍字节计的信息迁移已成为企业在从非结构化数据中提取价值时所必需的实践。

2024-08-15 17:25:04

大数据自动化
揭秘选对数据治理工具的六大步骤
通过评估主要功能、可扩展性、集成能力、用户友好性和合规性支持来了解如何选择正确的数据治理工具。

2024-08-14 16:16:56

数据治理
业务分析模型，我整理了四个好用的模板
逻辑树模型有两个难点，第一个是：提出合理的假设。比如一提到收入下降，很多人会习惯性地扯“大环境不好”；提到成本升高，很多人习惯性扯“通货膨胀”。这些看似有理但过于宏大的假设，会误导分析方向，掩盖真实问题。

2024-08-13 12:03:09

业务分析模型
小米数据中台建设实践赋能业务增长！
本文将介绍小米数据中台部门在销售数仓建设方面的实践。文章将从小米销售数仓的发展历程开始，介绍其定位、内容、作用、规模等，并分享数仓建设常用的维度建模和分层理论，以及小米销售数仓的架构演进和能力沉淀。

2024-08-13 08:14:55

数据中台销售数仓数仓建设
用户分析五大法则，互联网大厂都在用！
正所谓：长袖善舞，多钱善贾。做数据分析，如果数据本身就很少，那也很难分析出有深度的结论。反映在用户分析上，如果用户是轻度用户，注册时候就留个手机号，登录一两次就没来了，那铁定没有啥数据可以分析。

2024-08-12 11:42:21

用户分析互联网分层
数据飞轮：解锁银行业数据潜能的新范式 原创
“数据飞轮”作为近两年被多次提及的技术概念，代表着一种全新的数据驱动模式。但是，数据飞轮究竟是什么，能否在银行业机构落地，仍是一个未知数。为了寻找答案，我们邀请到了某银行总行数字金融资深专家魏生，共同探讨数据飞轮在银行业的应用前景。

2024-08-12 10:00:31

数据飞轮数据中台
清华大学经管学院朱武祥教授：五步构建高效的数据飞轮，提升企业核心竞争力 原创 精选
面对AI时代的到来，企业应积极拥抱这一变革，构建和优化自身的数据飞轮，让飞轮高速转动起来，为企业的创新发展持续赋能。

2024-08-09 10:05:55

数据飞轮数据消费AI技术
大数据存储 模型训练数据从哪来
面对大数据的爆炸式增长，且具有大数据量、异构型、高时效性的需求时，数据的存储不仅仅有存储容量的压力，还给系统的存储性能、数据管理乃至大数据的应用方面带来了挑战。

2024-08-07 15:27:50

大数据大数据存储
数据分析十大模型：杜邦分析模型
如果你掌握了杜邦分析模型的构建思路，以上问题都能迎刃而解。然而，很多网红文章在介绍杜邦分析模型的时候，只是罗列了一大堆指标，同学们看得头昏脑涨，也搞不懂其中的逻辑。

2024-08-06 11:32:07

数据分析模型杜邦分析模型
我们一起聊聊如何做一个优秀的数据分析项目？
纵观整个过程，我们能看到，做好项目的过程，就是把数据方法应用于企业实践的过程。数据本身有统计学、数学、编程、数据库等专业知识，但其中相当部分（比如数仓、ETL）是为保障数据本身的正常运行；相当部分（比如语义判断、图像识别）是用于工业应用，不用考虑业务理解和配合；相当部分（比如统计学）适用于科学实验、农林牧鱼研究。

2024-08-05 10:55:52

数据分析项目统计学
从大数据到大模型：搜索推荐技术的前沿探索
今天介绍从大数据到大模型过程中，我们的大数据平台建设，以及如何在大数据场景下应用大模型的能力。分享内容分为三大块：一是搜索推荐广告的技术架构；二是在搜索推荐场景中的工程和算法实践；三是结合大模型的一些探索及相关工程产出。

2024-08-05 09:18:21

大数据大模型算法
思科与Splunk的「协同效应」：重塑可视化、人工智能和网络安全 原创
思科与Splunk的协同效应将助力客户实现更多可能性，同时也给整个行业注入新的活力。​

2024-07-31 16:32:52

思科Splunk人工智能
这才是有效的用户细分，而不是只分高中低
虽然数据、统计学给我们提供了很多工具（分类工具、降维工具）可真正用到实处还是得考虑具体业务场景。我们从来都不缺少会背课本的学生，我们缺少的是会考虑实际场景的分析人员。

2024-07-31 11:52:55

用户工具电商行业
期末大作业：客户流失数据可视化分析与预测
现在有性能各异的不同模型。通过集成学习，可以将这些模型融合在一起，以实现更高的性能！这里我们使用带有“软”投票的投票分类器，它根据预测概率总和的 argmax 来预测类标签。

2024-07-31 11:48:07

客户流失数据可视化
如何处理大数据量的Excel导出功能？
在使用Spring Boot和MyBatis进行报表导出功能开发时，处理大数据量的Excel文件（从几十兆到几个G）的导出是一个常见而又具有挑战性的任务。本文将详细介绍如何高效地处理大数据量的Excel导出，包括如何生成Excel文件并导出，同时通过接口向前端返回进度信息。

2024-07-30 15:56:42

Spring BooExcel大数据
为什么你做的数据异动分析，总被人Diss
从本质上看：只有死人的心电图才是一根直线，但凡是个正常的人一定会有波动。把握业务规律，判断合理波动范围，了解业务应对异常的手段，才能推动合理决策。想达到这个效果，需要分几步完成。

2024-07-30 14:05:00

数据异动分析业务
快手指标中台建设实践
指标中台是快手数据平台部的核心平台之一，本文将分享快手指标中台从设计到落地的实践经验。

2024-07-30 08:54:03

指标中台大数据智能数据开发
为什么 Top node、Free、Grafana 的数据对不上，你知道吗？
对于 Pod 来说，通过 top 和 Grafana 看到的内存使用量可能是相同的，因为，大部分 Grafana 面板绘制 Pod 内存使用量用的是 container_memory_working_set_bytes，这与 top 的计算方式是一致的。

2024-07-26 21:53:59

数据PodGrafana
商业分析师如何利用 SQL 进行数据分析
在当今数据驱动的营销环境中，利用 SQL 可以显著提高商业分析师的工作效率与效果，并根据业务需求定制数据分析，实时优化营销活动，以易于理解的方式向相关人员展示数据报告。

2024-07-26 21:36:43

SQL数据分析分析师
大厂必考：数据分析如何实现闭环
业务没有需求，数据分析师通过看数据，主动发现了一个异常点，又找到了解决问题的办法，然后告诉业务方，业务方听了大喜，立即执行，发现效果非常好。

2024-07-26 08:30:03

数据分析数据业务
StarRocks 是什么？ 一文了解
在数据分析这个复杂多变的领域，不太可能存在一个放之四海而皆准的解决方案。StarRocks 在某些方面的确表现出色，例如尤其是在处理大规模数据集时的查询速度。

2024-07-26 00:00:10

StarRocks数据分析技术
新一代实时数仓：阿里云数据库 SelectDB 版--100% 兼容 Apache Doris 的全托管云原生实时数仓
本文将介绍 SelectDB 产品能力及其所支持的场景，为数仓选型提供参考和借鉴。SelectDB 是基于 Apache Doris 提供的一个商业化的云原生产品。Apache Doris 是一款国产的开源数据库，专注于实时数仓领域。

2024-07-25 08:12:11

数仓选型开源数据库SelectDB
AB实验的采样分流技术演进以及Sutva假设与现实挑战
通过 AB实验，我们可以发现退烧是因，出汗是果， 所以发烧捂汗的做法是不对的。在互联网产品中，类似的问题很常见， AB实验可以给决策者更清晰的因果链路, 从而让产品经理或者业务决策者更全局的视角，更准的决策。

2024-07-23 10:02:49

AB实验大数据数据分析
分布式 Data Warebase - 让数据涌现智能
本文将从数据、信息、知识和智慧（DIKW）的层次结构出发，探讨数据系统的发展历程，以及如何让数据涌现智能。

2024-07-19 11:08:41

数据系统数据模型DIKW
火山引擎基于 DataLeap 的电商指标管理实践
本文将分享火山引擎基于 DataLeap 的电商指标管理实践。指标管理的关键在于三个要素：指标的有效拆解、统一基础数据的建设，以及指标管理角色的明确划分。

2024-07-18 08:40:28

指标管理数仓建设大数据
上一页 1 23456 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服