51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9140内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9140 条
数据治理要有"治"有"理"，才有宝藏
数据是企业的核心资产，而数据治理是激活这一资产的关键。有"​​治​​"有"​​理​​"，你的数据才能成为真正的宝藏。

2025-04-17 07:00:00

大数据数据治理数字化
Spark on K8s 在vivo大数据平台的混部实战
在离线混部可以提高整体的资源利用率，不过离线Spark任务部署到混部容器集群需要做一定的改造，本文将从在离线混部中的离线任务的角度，讲述离线任务是如何进行容器化、平台上的离线任务如何平滑地提交到混部集群、离线任务在混部集群中如何调度的完整实现以及过程中的问题解决。

2025-04-17 06:00:00

SparkK8s大数据
数据分析不只是跑个SQL！
SQL只是数据分析的一小部分工具，真正的数据分析是一个完整的价值创造过程，从问题定义到价值实现的全流程闭环。

2025-04-17 02:00:00

数据分析SQL大数据
高效数据分析必备：Pandas 最常用的十个核心函数
本文介绍十个高频函数，结合代码示例，帮助您快速掌握核心功能。通过掌握这10个函数，您能高效完成80%的日常数据处理任务。

2025-04-16 08:10:00

PandasPython数据分析
数据和人工智能治理委员会是否应该分开？
决定将数据治理与 AI 治理分开还是合并，最终取决于您组织的独特需求和成熟度。虽然两种方法都有其合理的论据，但从统一的框架入手通常能够提供灵活性和简便性，以便随着组织的发展进行扩展。

2025-04-16 01:30:00

人工智能数据治理大数据
朋友，要数仓实战代码不要？只要你开金口...
本文将围绕我们在项目中使用的实战代码，详细介绍每个层次的实现过程和关键技术。

2025-04-15 10:10:00

数据仓库大数据数据
还没等老板开口，我已经把 ADS 层建好了
ADS层是数据仓库与业务系统之间的桥梁，将经过清洗、转换和汇总的数据以业务友好的方式呈现给最终用户。今天以我们项目中的实际案例为例进行ADS层建设思路介绍。

2025-04-14 08:15:00

ADS层数据仓库大数据
【小白扫盲】到底什么是数据（data）？
最近几年愈演愈烈的AI浪潮，进一步推动了数据的价值提升。人工智能的三要素，其中一项，就是数据（另外两个是算力和算法）。数据作为AI的“燃料”，其质量和数量直接决定了AI系统的性能和准确性。

2025-04-14 01:01:52

数据data人工智能
一文读懂数据建模的方法论
数据建模是将业务世界中的对象、行为和规则，通过结构化方式映射为数据模型的过程。它不只是"把数据装进数据库"，而是让数据具备业务语义，确保企业内部对数据有一致的理解和使用方式。

2025-04-10 11:47:41

大数据数字化数据治理
CDO 的价值要求：通过 Agentic AI 推动业务影响
人工智能正逐渐成为企业运营的中枢神经系统。随着人工智能战略、治理和货币化成为焦点，CDO 往往会演变为首席人工智能官 (CAIO)。

2025-04-09 12:39:46

CDOAgentic AI数据治理
老板又让我负责数仓 DWS 层建设了...
DWS（Data Warehouse Service）层是数据仓库的服务数据层，位于DWD层之上，ADS层之下。它主要承担了将明细数据进行主题聚合的职责，是数据仓库中承上启下的关键环节。

2025-04-09 10:24:36

DWS服务数据层数据仓库
PandaAI：一个基于AI的对话式数据分析工具
PandaAI 是一个基于 Python 开发的自然语言处理和数据分析工具，支持问答式（ChatGPT）的数据分析和报告生成功能。

2025-04-09 03:00:00

AIPandaAI数据分析
AI时代下数字化转型最大陷阱！是没数据，还是没用对数据？
企业不缺数据，缺的是对数据价值的挖掘。企业只要存续经营，就在不断产生大量数据，这些未被充分利用的数据就像沉睡的金矿，等待被唤醒创造价值...

2025-04-09 01:20:00

AI人工智能数字化转型
大模型+数据分析：下一代智能查询优化体系的先行探索
当你每天面对万亿级数据、日均百万次查询请求时，你会怎么做？ 处理海量数据查询犹如在迷雾中寻路，方向稍有不慎就会迷失。数据负载高到屏幕只显示超时，查询速度慢到让你有时间泡一杯咖啡再来检查结果。

2025-04-09 01:00:00

大模型数据分析智能查询
告诉我！数据仓库 DWD 层怎么建？
DWD（Data Warehouse Detail）层是数据仓库的核心加工区域，承担着将原始数据转换为可用分析数据的重要职责。

2025-04-08 09:40:00

DWD数据仓库大数据
数据质量不重要？它可以是数据治理的第一块基石！
我们常说"没有规矩不成方圆"，数据也是如此。企业数据是一种隐形资产，想要发挥其价值，就需要有一套科学有效的规则和机制来管理它。这就是数据治理的本质。

2025-04-07 08:00:00

大数据数字化数据治理
DeepSeek再好，还得先进行数据清洗！
数据清洗就像是数据分析的"地基工程"，地基不牢，上层再漂亮也会坍塌。 如何才能高效清洗数据，让脏数据变干净，让分析结果更可靠？如果数据清洗不当，数据质量不佳，DeepSeek也难成大就？ 让我们通过这篇文章一起掌握数据清洗的要点。

2025-04-07 00:30:00

DeepSeek大数据数字化
数据库、数据仓库、数据湖、数据中台，别再傻傻分不清了
作为技术人，你一定遇到过这样的困惑：数据库、数据仓库、数据湖、数据中台，这些名词傻傻分不清。 让我们一起揭开数据生态的神秘面纱，看看这些"数据家族成员"各自扮演什么角色。

2025-04-03 11:00:52

数据库数据仓库数据湖
一文看懂“深入的”数据分析：分析方法，MECE，业务建议
分析方法是相互穿插的。有常见的描述性统计、对比分析，也可以结合预测模型，也可以结合数据测试，判断方法可行性。做数据分析，从来都不是一条无敌公式打天下，细细梳理业务，构建逻辑，才体现水平。​

2025-04-03 05:10:00

数据分析分析方法MECE
Pandas 数据分析全攻略：从入门到精通！
如果你想用 Python 进行数据分析，Pandas 绝对是首选！ 今天，我们来详细讲解 Pandas 的核心功能，助你成为数据分析高手！

2025-04-02 09:33:01

Python数据分析Pandas
在 Blazor 中使用 Chart.js 快速创建数据可视化图表
Blazor是一种新兴的Web应用程序框架，具有很大的潜力和发展前景。Blazor是在.NET和Razor上构建的用户界面框架，它采用了最新的Web技术和.NET框架优势，可以使用C# 编程语言编写Web 应用程序，它不仅可以提高开发效率，还可以提供更好的用户体验和更好的可维护性。

2025-04-02 07:37:29

BlazorChart.js可视化
这才是真正的用户分析体系，而不是罗列DAU
做用户分析，最怕：没数据。大厂用户画像看着光鲜，和他们采集的用户数据多有直接关系。不管什么企业，一定有：消费数据。第一步可以从这里开始。从消费记录里，可以区分出来：谁是高消费用户。这是后续所有分析的起点。

2025-04-02 02:12:00

用户分析业务数据
五个案例快速入门 Plotly 可视化
本文将通过五个实用的案例，带您快速入门Plotly的使用，让您轻松创建令人印象深刻的交互式图表。

2025-04-01 08:30:00

Plotly数据可视化数据分析
到底是什么是“数据湖仓”？
根据毕马威的报告显示，86%的海外企业计划统一其分析数据，以支持AI业务的开发。国内也是如此。例如腾讯、B站、小红书等头部互联网企业，都采用了数据湖仓架构，用于不同程度的AI应用。

2025-03-28 01:33:00

数据湖仓AI
六张图详解“toB分析”：客户画像、转化路径、LTC模型
toB的目标客户是相对固定的。如果你是互联网广告业务，目标客户就是游戏、电商、互金、汽车、其他互联网APP；如果你是卖猪肉的，目标客户就是连锁零售、餐饮业、批发商贩。所以，toB业务分析，应从清晰画像开始。

2025-03-27 03:00:00

toB分析客户画像LTC模型
十段代码让你掌握Python Polars，高性能数据处理和分析工具
本文向读者全面介绍 Polars 库，从其独特特性、便捷的安装方式，到基础操作与高级应用技巧，还会探讨它在实际项目中的广泛应用场景，助力读者深入掌握并灵活运用这一工具，为数据处理工作带来质的飞跃。

2025-03-26 00:07:00

代码Polars技巧
Apache Hive：基于Hadoop的分布式数据仓库
Apache Hive 是一个基于 Apache Hadoop 构建的开源分布式数据仓库系统，支持使用 SQL 执行 PB 级大规模数据分析与查询。

2025-03-25 10:49:24

分布式数据仓库HadoopSQL
让数据说话，用 DataGear 开启你的视觉盛宴！
今天，我们将揭秘一款名为DataGear的Java开源神器——它不仅免费，还能用“万能兼容”和“无限定制”重新定义数据可视化！

2025-03-13 10:05:26

DataGearJava开源
写给小白的“数据仓库”科普
数据仓库，是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策（Decision Making Support）。

2025-03-12 03:00:00

数据仓库集成管理决策
一文搞懂“经营分析”：模型、策略、业财打通
对于服务类产品，或者虚拟产品，该访谈同样有用。比如手机游戏，为什么游戏产品/运营部门会看一大堆用户行为指标，就是要判断：到底用户体验好不好。这才是促成产品选择的关键。

2025-03-12 02:00:00

经营分析模型策略
超越算法：为什么数据治理是制药业AI未来的关键
最近的一项全球首席数据官洞察调查突出了核心问题：数据质量和准备程度(43%)、技术成熟度不足(43%)以及技能和数据素养短缺(35%)。传统的数据管理实践根本无法满足AI对动态和情境化数据的需求。

2025-03-07 07:00:00

数据治理药业AIAI驱动
智能数据如何使企业渡过供应链危机
随着供应链日益复杂，有效利用数据来预测和预防中断不再是便利或奢侈——而是生存的必需品。应对中断最成功的企业并不总是那些拥有最先进技术的企业。

2025-03-05 08:00:00

供应链智能数据企业
这才是真正的用户分层，而不是看平均数
用户分层看起来简单，可深入探讨的话，需要牵扯的业务细节非常多。很多同学做起来很困扰，都是困扰在：领导让我分高端用户，到底是8000算高端，10000算高端，还是12000算高端呢？

2025-03-05 00:01:00

用户分层平均数消费
五个Python数据可视化技巧，绘制更漂亮的数据图
流图形似河流，用于描绘数据随时间的变化。不同颜色区分不同类别，“河流”的宽度代表每个类别的数值大小。它以可视化的方式展示数据趋势和关系，便于理解数据动态。

2025-03-04 00:22:31

数据可视化技巧
基于PHP扩展Phpy实现Apache ORC高效读写，搞定大数据处理
Apache ORC 是一种专为 Hadoop 生态系统设计的列式存储文件格式，它具备高效的数据压缩和快速的查询性能。由于采用列式存储，ORC 格式在处理大规模数据时能够显著减少 I/O 开销，提高数据处理效率，广泛应用于大数据处理框架如 Apache Hive、Apache Spark 等。

2025-02-28 09:05:38

ApacheORCHadoop
抄作业！手把手教你搭建运营分析体系
想要实现真正的运营策略分析，首先得把运营工作，从一个个孤立的，单点式活动中解放出来，站在二层楼看问题。把各种主动动作拉通，看清楚围绕一个目标的策略组合是什么，才能做到策略层面的分析。​

2025-02-26 07:40:25

运营分析体系运营策略
ClickHouse BSI与字典服务在B站商业化DMP中的应用实践
DMP（数据管理平台）为广告部门提供B站用户数据的管理。主要功能包括用户标签收集存储，标签市场建设，人群包圈选，人群画像分析，人群/特征定向几大功能模块。

2025-02-26 01:17:57

ClickHouseDMPB站
Cloudera Lakehouse Optimizer助力企业轻松交付高性能Iceberg表
为进一步简化数据湖仓一体架构的管理，Cloudera推出了Cloudera Lakehouse Optimizer。该服务可智能化自动处理Iceberg表，使得许多维护作业能够在后台自动运行。

2025-02-24 10:48:45

ClouderaLakehouse湖仓一体
重塑数仓开发模式：物化视图与逻辑数据集的应用
文章详细介绍了逻辑数据集和物化视图的配置、运维、查询改写以及ETL任务生成与调度等关键技术手段。

2025-02-21 14:47:15

逻辑数据集物化视图大数据
分布式系统中的幂等性：何时以及为何重要​ 译文 精选
本文探讨了分布式系统中的幂等性问题，阐述了在多次执行操作时如何确保结果的一致性，并涉及其实现方法及面临的挑战。​

2025-02-14 14:22:40

分布式系统幂等性
从数据孤岛到AI就绪：用AI+大数据重塑百年建筑巨头的战略与实践
本文讲述了一位领导者如何打破数据孤岛，构建统一的企业数据战略，并促进团队多样性的故事。

2025-02-14 08:30:00

AI人工智能大数据
用傅里叶变换解码时间序列：从频域视角解析季节性模式
本文将详细介绍一些基础但重要的概念，这些方法对于每位研究时间序列的数据科学家都具有实用价值。

2025-02-12 10:28:57

SARIMA可视化分析Python
网易实践：用Apache Kyuubi构建云原生Spark网关
本文基于网易数帆软件工程师、Apache Kyuubi/Zeppelin PMC 成员潘成老师的分享整理汇总。通过本文，可以从网易在 Spark 服务化的经验中，学习如何使用 Apache Kyuubi 构建统一的 Spark 网关，既满足业务团队多样的 Spark 使用方式，又可以适配不同基础设施环境中多样的 Spark 部署方式。

2025-02-12 08:26:13

云原生Spark 网关大数据网关
从割裂到闭环：经营分析、财务分析、数据分析的实战框架
从2023年开始，经营分析迎来了一波文艺复兴。企业经营压力加大，便开始加强对业务绩效的考核，加强对成本的控制，强调投入产出比，而非规模增长。

2025-02-11 14:02:11

经营分析数据分析财务分析
货拉拉Flink CDC实践：稳定性建设与数据入湖新探索
本文将分享货拉拉基于 Flink CDC 的建设实践，以及对 CDC 数据入湖的新思考。我们正在建设的数据入湖，也做了一些面向未来的设计，包括 CDC 数据入湖分析。

2025-02-11 10:13:05

Flink数据湖湖仓一体
2025年数据治理趋势与成功策略全解析
随着2024年数据管理成果的回顾与2025年业务计划的展望，现代数据治理再次被确立为成功数据战略的核心。

2025-02-11 08:00:00

数据治理大数据
数据管理革命：2025年推动安全性、可扩展性和治理的趋势
本文探讨了2025年数据管理的五大关键趋势，包括AI 机器学习增强的数据管理、数据脱敏技术、大规模实时数据集成、云优先数据策略以及伦理AI和决策的数据治理。

2025-02-10 11:55:33

数据管理大数据AI
数据分析标准方法之周期性分析法
周期性分析法，即通过数据，找出业务周期性。从而达到理解业务规律、发现业务问题、避免误判的方法。那么，该怎么发现业务周期性呢？

2025-02-10 05:00:00

数据分析数据周期性
14个必学的Seaborn数据可视化技巧
通过使用pairplot、heatmap、lmplot等函数，能够清晰展示数据间的关系和趋势，帮助深入洞察数据背后的规律。

2025-02-10 00:45:00

pairplotheatmaplmplot
你了解布隆过滤器（Bloom Filters）吗？ 译文
本文将对布隆过滤器（Bloom Filters）数据结构进行介绍，解释了它是什么、何时使用它，以及其实现和功能的关键技术细节。​

2025-02-08 17:30:00

布隆过滤器数据结构
1 23456 ··· 183
点赞

51CTO技术栈公众号

业务
速览
在线客服