51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9104内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9104 条
Cloudera Lakehouse Optimizer助力企业轻松交付高性能Iceberg表
为进一步简化数据湖仓一体架构的管理，Cloudera推出了Cloudera Lakehouse Optimizer。该服务可智能化自动处理Iceberg表，使得许多维护作业能够在后台自动运行。

2025-02-24 10:48:45

ClouderaLakehouse湖仓一体
重塑数仓开发模式：物化视图与逻辑数据集的应用
文章详细介绍了逻辑数据集和物化视图的配置、运维、查询改写以及ETL任务生成与调度等关键技术手段。

2025-02-21 14:47:15

逻辑数据集物化视图大数据
分布式系统中的幂等性：何时以及为何重要​ 译文 精选
本文探讨了分布式系统中的幂等性问题，阐述了在多次执行操作时如何确保结果的一致性，并涉及其实现方法及面临的挑战。​

2025-02-14 14:22:40

分布式系统幂等性
从数据孤岛到AI就绪：用AI+大数据重塑百年建筑巨头的战略与实践
本文讲述了一位领导者如何打破数据孤岛，构建统一的企业数据战略，并促进团队多样性的故事。

2025-02-14 08:30:00

AI人工智能大数据
用傅里叶变换解码时间序列：从频域视角解析季节性模式
本文将详细介绍一些基础但重要的概念，这些方法对于每位研究时间序列的数据科学家都具有实用价值。

2025-02-12 10:28:57

SARIMA可视化分析Python
网易实践：用Apache Kyuubi构建云原生Spark网关
本文基于网易数帆软件工程师、Apache Kyuubi/Zeppelin PMC 成员潘成老师的分享整理汇总。通过本文，可以从网易在 Spark 服务化的经验中，学习如何使用 Apache Kyuubi 构建统一的 Spark 网关，既满足业务团队多样的 Spark 使用方式，又可以适配不同基础设施环境中多样的 Spark 部署方式。

2025-02-12 08:26:13

云原生Spark 网关大数据网关
从割裂到闭环：经营分析、财务分析、数据分析的实战框架
从2023年开始，经营分析迎来了一波文艺复兴。企业经营压力加大，便开始加强对业务绩效的考核，加强对成本的控制，强调投入产出比，而非规模增长。

2025-02-11 14:02:11

经营分析数据分析财务分析
货拉拉Flink CDC实践：稳定性建设与数据入湖新探索
本文将分享货拉拉基于 Flink CDC 的建设实践，以及对 CDC 数据入湖的新思考。我们正在建设的数据入湖，也做了一些面向未来的设计，包括 CDC 数据入湖分析。

2025-02-11 10:13:05

Flink数据湖湖仓一体
2025年数据治理趋势与成功策略全解析
随着2024年数据管理成果的回顾与2025年业务计划的展望，现代数据治理再次被确立为成功数据战略的核心。

2025-02-11 08:00:00

数据治理大数据
数据管理革命：2025年推动安全性、可扩展性和治理的趋势
本文探讨了2025年数据管理的五大关键趋势，包括AI 机器学习增强的数据管理、数据脱敏技术、大规模实时数据集成、云优先数据策略以及伦理AI和决策的数据治理。

2025-02-10 11:55:33

数据管理大数据AI
数据分析标准方法之周期性分析法
周期性分析法，即通过数据，找出业务周期性。从而达到理解业务规律、发现业务问题、避免误判的方法。那么，该怎么发现业务周期性呢？

2025-02-10 05:00:00

数据分析数据周期性
14个必学的Seaborn数据可视化技巧
通过使用pairplot、heatmap、lmplot等函数，能够清晰展示数据间的关系和趋势，帮助深入洞察数据背后的规律。

2025-02-10 00:45:00

pairplotheatmaplmplot
你了解布隆过滤器（Bloom Filters）吗？ 译文
本文将对布隆过滤器（Bloom Filters）数据结构进行介绍，解释了它是什么、何时使用它，以及其实现和功能的关键技术细节。​

2025-02-08 17:30:00

布隆过滤器数据结构
经营分析的三个等级，你到哪一级了？
很多同学很郁闷：说的是做经营分析，感觉就是把收入、利润、费用数据算个同比环比，再写个“要搞高”而已。到底高级的经营分析长啥样？今天系统地跟大家解答一下。

2025-02-07 12:29:21

经营分析等级数据
用户行为分析，这是我见过最实用的指南！
很多同学会说：直接问业务不就好了。问题是，四个情况里，除了情况三是很明确的有KPI压力以外，其他三个情况都很含糊，最后口头表达的需求就是：“做个用户行为分析看看”。

2025-02-06 11:52:44

行为分析ID交易订单
现代化实时数据仓库 SelectDB 产品全面解读
本次分享重点介绍了数据分析的痛点与机遇，SelectDB 的架构演进与优化，涵盖了多数据源集成、ETL 处理、实时查询及性能提升。通过支持复杂数据类型、日志查询优化及存储优势，SelectDB 为用户提供了高效的数据平台，简化系统架构，降低运维成本。

2025-02-06 08:54:54

数据分析SelectDB数据仓库
一文带您理解正态分数变换 (Normal Score Transformation，NST)
正态分数变换（NST）是一种将非正态分布数据转化为接近标准正态分布的方法，主要通过对数据进行排序并根据秩值转换为正态分布分位数。

2025-02-05 12:06:15

正态分数变换NST
互联网产品分析的三大核心模型
​互联网产品（APP、小程序、H5、网页）分析非常普遍，也让很多同学觉得很棘手。每次都是列了一堆DAU/MAU、打开率、跳失率、转化率数据，却很难得出结论。然后被领导批为：“分析不够深入”。

2025-02-04 18:36:12

互联网核心模型
搭建数据运营体系：从“跑数机”到“增长引擎”
为什么会这样？因为从本质上看，运营是个辅助性工作。理论上，如果产品力足够强大，商品天下无敌，那根本没运营啥事。——用户自己就抢着买到断货，玩得乐不思蜀了，运营啥运营。

2025-02-04 16:23:19

数据运营体系业务
搭建数据运营体系：从“跑数机”到“增长引擎”
运营是个大工作，里边的分支非常多。单独看每一类运营，都有一套自己的指标体系。这就是开头说的：“运营已经自己有指标了，我做了指标他们不看”问题的本质所在。

2025-01-26 09:25:08

数据运营指标体系
如何快速提升数据分析能力
“做数据的，看不懂数据”是很多基础同学痛点。在建立监控指标以后，应首先了解业务考核的关键指标（比如销售收入、利润、新用户数、活跃用户数等）的常规走势。

2025-01-26 00:00:10

数据分析PythonSQL
生成式人工智能时代的数据治理挑战 ​ 译文
应对隐私、安全和合规性挑战以推动创新。有效的数据治理由于生成式人工智能的最新发展变得更加关键。​

2025-01-17 14:03:02

数据治理生成式AI
阿里数据治理进化论：基于瓴羊Dataphin的多引擎兼容与统一资产消费实践
瓴羊，脱胎于阿里巴巴这座“超级工厂”的数字化实践，旨在将内部经验系统化、产品化地向千行百业进行输出。作为瓴羊旗下的智能数据建设与治理工具，Dataphin能够提供一站式的采、建、管、用的大数据能力，涵盖企业数据资产的建设、治理、消费等不同环节

2025-01-16 10:09:06

数据治理Dataphin瓴羊
构建【业务预测模型】，这个方法绝了
业务预测模型最大的优势，就是能彻底终结：“到底是预测不准，导致业绩不好；还是业绩不好，导致预测不准”这个鸡生蛋、蛋生鸡的问题。它明确地告诉大家：就是因为业务没做好，所以才预测不准！

2025-01-16 08:50:33

业务预测模型
Ray 在 Bilibili 的场景探索与落地实践
本文将详细解读 B 站如何借助 Ray 实现技术突破与业务升级。文章开篇将介绍 B 站业务概况，包括业务场景、诉求以及面临的痛点，揭示 B 站寻求变革的背景。接着深入架构升级部分，分享问题洞察与方案实施过程，展现如何借助 Ray 优化架构。

2025-01-15 09:16:10

Ray视频剪辑大数据
抖音集团离线数仓血缘基础能力的构建与应用
本文将从底层视角来描述血缘在离线数仓场景的具体应用。我们提出了一套依托 SQL 血缘能力的数据发现与数据保护解决方案。

2025-01-09 08:22:05

离线数仓数据建设SQL 血缘
蔚来知识平台的建设与应用
本文将分享蔚来知识平台的建设与应用。通过引入 AI 辅助知识理解、AI辅助知识创作、多模态能力和知识类型扩展，我们将持续优化和完善知识平台的功能和服务，以更好地满足用户需求并提升平台的整体价值。

2025-01-07 08:34:02

数据孤岛AI知识平台
TAG：定义自然语言查询的高效解决方案 原创 精选
TAG 模型的出现填补了传统数据查询技术与现代语义推理需求之间的空白。通过结合 SQL 查询和大语言模型，TAG 在复杂查询、推理和结果生成方面展现了强大的能力。

2025-01-07 07:00:00

数据分析自然语言查询TAG 模型
一文看懂：数据指标体系的四大类型
评估型指标体系的难点，主要是考虑问题的全面性和指标数据采集可行性。这里特别要注意：数据指标可采集性。很多同学一提到评估，就会随口说：NPS、用户满意度、用户意向之类的指标。

2025-01-03 09:30:01

数据指标体系
Cloudera刘隶放：企业需务实推进AI应用，AI智能体将迎来井喷式发展 原创
​在科技日新月异的今天，生成式 AI 无疑是最热门的话题之一。从文本生成到图像创作，从客户服务到供应链管理，生成式 AI 正逐步渗透到各行各业。然而，在这场 AI 技术革命中，拥有庞大、可信数据的企业无疑将更具竞争优势。近日，Cloudera 大中华区技术总监刘隶放接受了51CTO的采访，就 2025 年科技趋势，特别是生成式 AI 和 AI Agent 的发展，分享了他的见解。

2025-01-03 08:50:20

ClouderaAI Agent
五种被低估的非常规统计检验方法：数学原理剖析与多领域应用价值研究
本文将详细介绍五种具有重要应用价值的统计检验方法，并探讨它们在免疫学（TCR/BCR库分析）、金融数据分析和运动科学等领域的具体应用。

2025-01-02 15:10:17

数据分析MoodFriedman
后端开发必备：ElasticSearch入门与进阶
Kibana 是一款 ES 的数据可视化和管理工具，可以提供直方图，线形图，饼状图，地图。Kibana 还包含 Canvas 和 Elastic Maps 等应用程序。Canvas 可以基于用户创建动态信息。Elastic Maps 可以对空间数据进行可视化处理。

2025-01-02 10:58:27

数据可视化工具
C#中大数据列表的并行处理技术详解
在实际应用中，建议先进行性能测试，根据数据量大小和处理复杂度选择合适的实现方式。同时要注意异常处理和资源管理，确保程序的稳定性和可靠性。

2025-01-02 08:53:14

大数据并行处理测试
2025年数据分析趋势预测
世界涌现了各种数据库及分析模式：数据湖、数据仓库、内存分析和嵌入式分析。但开源编排平台开发商Kestra的首席执行官兼联合创始人Emmanuel Darras表示，到2025年，分析的标准将是数据湖屋（lakehouse）。

2024-12-31 15:18:56

数据分析数据库数据建模
轻松拿捏！七种数据分析报告写作模板
数据分析报告，首先是一个报告，得有清晰的报告逻辑。至于数据，只是让报告更可信，更真实。那做报告到底有几种常见逻辑呢？根据一个人对报告内容的熟悉程度来分，有7种类型介绍如下。

2024-12-31 12:09:31

数据分析模板数据
SuperSonic：Chat BI 与 Headless BI 新一代数据分析平台实践
我们融合 Chat BI 与 Headless BI，构建了新一代数据分析平台，为用户提供了更高效、更智能的数据分析服务和体验。

2024-12-31 08:46:10

数据分析Chat BI数据解读
基于指标+标签的经营分析 Agent 创新实践
本文将分享如何基于大模型能力，叠加指标和标签平台能力，构建企业内智能数据分析产品。

2024-12-30 08:45:09

大模型智能数据分析AI Agent
一文解读贝塞尔修正：样本方差为何用 n−1而非n？
当样本均值大于总体均值时，低值部分的数据点会比总体均值更接近样本均值，依然导致方差的低估。同样地，由于正态分布的对称性，低估的区域依然大于高估的区域，因此我们通过将偏差除以 n−1 来修正这种低估，确保样本方差是总体方差的无偏估计。

2024-12-30 00:00:02

贝塞尔数据低值
做数据分析，牢记这个底层逻辑！
当一个不懂区分的数据分析师，遭遇一个企图蒙混过关的业务，就是标准的盲人骑瞎马了。这才会出现开头的种种吐槽。更搞笑的是，这时候懵懂懂的数据分析师还没发现问题，还会在网上到处问：“哪里有中国互联网数据分析统一标准定义？”

2024-12-29 19:36:04

数据分析分类型数据
一文读懂大数据的流批处理框架
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。

2024-12-27 14:45:59

大数据处理框架数据集
大数据驱动汽车制造业的变革与未来
汽车行业正迎来大数据驱动的变革，市场价值预计将从61.2亿美元飙升至2032年的236.1亿美元。

2024-12-26 15:39:48

大数据汽车制造供应链
你 VS 数据分析高手，最大的差异竟是……
在开发的时候，先做能用基础标签+现有数据指标，直接计算出来的标签。这种标签也被称作：规则标签。即业务给到计算规则后，可以基于基础标签+现有指标直接计算。这种标签获得速度快，也容易验证。

2024-12-26 11:49:14

数据分析标签模型
Cloudera发布2025年科技趋势预测
近日，Cloudera发布2025年五大科技趋势预测，揭示了在未来一年生成式AI和AI Agent等创新技术的发展趋势。

2024-12-24 17:26:30

Cloudera
Python 可视化：Seaborn 库使用基础
当使用Seaborn进行可视化分析时，它提供了丰富的功能和美观的默认样式，使数据可视化变得更加容易和具有吸引力。

2024-12-24 07:30:00

Seaborn可视化Python
2025年大数据重回焦点，决定AI成败
随着GenAI的兴起，人们一度忽视了数据的重要性，然而，现在人们意识到，AI的基础建立在数据之上，数据的质量和可信度至关重要。2025年，大数据将重新成为焦点，因为AI的成功与否取决于用于训练和测试的数据。

2024-12-23 15:48:38

大数据
平安人寿数据管理实践与展望
关于数据治理与数据管理的区别，可以通过如下关系图来理解。数据开发是数据生产端，如个人 APP、保单承保系统，而数据应用则是数据消费端，包括大数据平台、数据仓库、BI 报表等。

2024-12-23 08:09:31

数据治理数据管理数据开发
用 Python 实现量化交易策略回测
今天要给大家分享的例子，就展示了如何基于Python中常用的numpy、pandas等常用数据分析处理框架，针对目标个股简单实现「均线策略回测」。

2024-12-23 07:20:00

Pythonnumpy数据分析
年终盘点：2024年最炙手可热的十家大数据初创公司
数据已经成为很多企业和组织的宝贵资产。他们正在分析数据以深入了解市场、客户和他们自己的运营情况。他们正在使用数据来推动数字化转型计划，支持新的数据密集型服务。

2024-12-19 13:49:24

数据初创AI数据
Kafka Streams 在监控场景的应用与实践
介绍 Kafka Streams 的原理架构，常见配置以及在监控场景的应用。

2024-12-19 09:45:24

服务器大数据
腾讯云流式湖仓统一存储实践
本文将分享腾讯云流式湖仓的架构与实践。腾讯云流计算基于开源的 Apache Flink 搭建，作为腾讯云大数据产品中的实时链路，是企业级实时大数据平台，具备一站式开发、5 秒无缝衔接、亚秒延迟、低成本、安全稳定等特性。

2024-12-16 08:34:13

大数据数据分析数据孤岛
1 23456 ··· 183
点赞

51CTO技术栈公众号

业务
速览
在线客服