51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9084内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9084 条
生成式人工智能时代的数据治理挑战 ​ 译文
应对隐私、安全和合规性挑战以推动创新。有效的数据治理由于生成式人工智能的最新发展变得更加关键。​

2025-01-17 14:03:02

数据治理生成式AI
阿里数据治理进化论：基于瓴羊Dataphin的多引擎兼容与统一资产消费实践
瓴羊，脱胎于阿里巴巴这座“超级工厂”的数字化实践，旨在将内部经验系统化、产品化地向千行百业进行输出。作为瓴羊旗下的智能数据建设与治理工具，Dataphin能够提供一站式的采、建、管、用的大数据能力，涵盖企业数据资产的建设、治理、消费等不同环节

2025-01-16 10:09:06

数据治理Dataphin瓴羊
构建【业务预测模型】，这个方法绝了
业务预测模型最大的优势，就是能彻底终结：“到底是预测不准，导致业绩不好；还是业绩不好，导致预测不准”这个鸡生蛋、蛋生鸡的问题。它明确地告诉大家：就是因为业务没做好，所以才预测不准！

2025-01-16 08:50:33

业务预测模型
Ray 在 Bilibili 的场景探索与落地实践
本文将详细解读 B 站如何借助 Ray 实现技术突破与业务升级。文章开篇将介绍 B 站业务概况，包括业务场景、诉求以及面临的痛点，揭示 B 站寻求变革的背景。接着深入架构升级部分，分享问题洞察与方案实施过程，展现如何借助 Ray 优化架构。

2025-01-15 09:16:10

Ray视频剪辑大数据
抖音集团离线数仓血缘基础能力的构建与应用
本文将从底层视角来描述血缘在离线数仓场景的具体应用。我们提出了一套依托 SQL 血缘能力的数据发现与数据保护解决方案。

2025-01-09 08:22:05

离线数仓数据建设SQL 血缘
蔚来知识平台的建设与应用
本文将分享蔚来知识平台的建设与应用。通过引入 AI 辅助知识理解、AI辅助知识创作、多模态能力和知识类型扩展，我们将持续优化和完善知识平台的功能和服务，以更好地满足用户需求并提升平台的整体价值。

2025-01-07 08:34:02

数据孤岛AI知识平台
TAG：定义自然语言查询的高效解决方案 原创 精选
TAG 模型的出现填补了传统数据查询技术与现代语义推理需求之间的空白。通过结合 SQL 查询和大语言模型，TAG 在复杂查询、推理和结果生成方面展现了强大的能力。

2025-01-07 07:00:00

数据分析自然语言查询TAG 模型
一文解读贝塞尔修正：样本方差为何用 n−1而非n？
在计算样本方差或标准差时，除以 n−1看似一个微小的变化，但它对于获得总体方差的无偏估计至关重要。这个调整称为贝塞尔修正，它补偿了由于依赖样本均值而非真实总体均值所导致的低估问题。

2025-01-06 07:57:26

贝塞尔样本方差
一文看懂：数据指标体系的四大类型
评估型指标体系的难点，主要是考虑问题的全面性和指标数据采集可行性。这里特别要注意：数据指标可采集性。很多同学一提到评估，就会随口说：NPS、用户满意度、用户意向之类的指标。

2025-01-03 09:30:01

数据指标体系
Cloudera刘隶放：企业需务实推进AI应用，AI智能体将迎来井喷式发展 原创
​在科技日新月异的今天，生成式 AI 无疑是最热门的话题之一。从文本生成到图像创作，从客户服务到供应链管理，生成式 AI 正逐步渗透到各行各业。然而，在这场 AI 技术革命中，拥有庞大、可信数据的企业无疑将更具竞争优势。近日，Cloudera 大中华区技术总监刘隶放接受了51CTO的采访，就 2025 年科技趋势，特别是生成式 AI 和 AI Agent 的发展，分享了他的见解。

2025-01-03 08:50:20

ClouderaAI Agent
五种被低估的非常规统计检验方法：数学原理剖析与多领域应用价值研究
本文将详细介绍五种具有重要应用价值的统计检验方法，并探讨它们在免疫学（TCR/BCR库分析）、金融数据分析和运动科学等领域的具体应用。

2025-01-02 15:10:17

数据分析MoodFriedman
后端开发必备：ElasticSearch入门与进阶
Kibana 是一款 ES 的数据可视化和管理工具，可以提供直方图，线形图，饼状图，地图。Kibana 还包含 Canvas 和 Elastic Maps 等应用程序。Canvas 可以基于用户创建动态信息。Elastic Maps 可以对空间数据进行可视化处理。

2025-01-02 10:58:27

数据可视化工具
C#中大数据列表的并行处理技术详解
在实际应用中，建议先进行性能测试，根据数据量大小和处理复杂度选择合适的实现方式。同时要注意异常处理和资源管理，确保程序的稳定性和可靠性。

2025-01-02 08:53:14

大数据并行处理测试
2025年数据分析趋势预测
世界涌现了各种数据库及分析模式：数据湖、数据仓库、内存分析和嵌入式分析。但开源编排平台开发商Kestra的首席执行官兼联合创始人Emmanuel Darras表示，到2025年，分析的标准将是数据湖屋（lakehouse）。

2024-12-31 15:18:56

数据分析数据库数据建模
轻松拿捏！七种数据分析报告写作模板
数据分析报告，首先是一个报告，得有清晰的报告逻辑。至于数据，只是让报告更可信，更真实。那做报告到底有几种常见逻辑呢？根据一个人对报告内容的熟悉程度来分，有7种类型介绍如下。

2024-12-31 12:09:31

数据分析模板数据
SuperSonic：Chat BI 与 Headless BI 新一代数据分析平台实践
我们融合 Chat BI 与 Headless BI，构建了新一代数据分析平台，为用户提供了更高效、更智能的数据分析服务和体验。

2024-12-31 08:46:10

数据分析Chat BI数据解读
基于指标+标签的经营分析 Agent 创新实践
本文将分享如何基于大模型能力，叠加指标和标签平台能力，构建企业内智能数据分析产品。

2024-12-30 08:45:09

大模型智能数据分析AI Agent
一文解读贝塞尔修正：样本方差为何用 n−1而非n？
当样本均值大于总体均值时，低值部分的数据点会比总体均值更接近样本均值，依然导致方差的低估。同样地，由于正态分布的对称性，低估的区域依然大于高估的区域，因此我们通过将偏差除以 n−1 来修正这种低估，确保样本方差是总体方差的无偏估计。

2024-12-30 00:00:02

贝塞尔数据低值
做数据分析，牢记这个底层逻辑！
当一个不懂区分的数据分析师，遭遇一个企图蒙混过关的业务，就是标准的盲人骑瞎马了。这才会出现开头的种种吐槽。更搞笑的是，这时候懵懂懂的数据分析师还没发现问题，还会在网上到处问：“哪里有中国互联网数据分析统一标准定义？”

2024-12-29 19:36:04

数据分析分类型数据
一文读懂大数据的流批处理框架
大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。

2024-12-27 14:45:59

大数据处理框架数据集
大数据驱动汽车制造业的变革与未来
汽车行业正迎来大数据驱动的变革，市场价值预计将从61.2亿美元飙升至2032年的236.1亿美元。

2024-12-26 15:39:48

大数据汽车制造供应链
你 VS 数据分析高手，最大的差异竟是……
在开发的时候，先做能用基础标签+现有数据指标，直接计算出来的标签。这种标签也被称作：规则标签。即业务给到计算规则后，可以基于基础标签+现有指标直接计算。这种标签获得速度快，也容易验证。

2024-12-26 11:49:14

数据分析标签模型
Cloudera发布2025年科技趋势预测
近日，Cloudera发布2025年五大科技趋势预测，揭示了在未来一年生成式AI和AI Agent等创新技术的发展趋势。

2024-12-24 17:26:30

Cloudera
Python 可视化：Seaborn 库使用基础
当使用Seaborn进行可视化分析时，它提供了丰富的功能和美观的默认样式，使数据可视化变得更加容易和具有吸引力。

2024-12-24 07:30:00

Seaborn可视化Python
2025年大数据重回焦点，决定AI成败
随着GenAI的兴起，人们一度忽视了数据的重要性，然而，现在人们意识到，AI的基础建立在数据之上，数据的质量和可信度至关重要。2025年，大数据将重新成为焦点，因为AI的成功与否取决于用于训练和测试的数据。

2024-12-23 15:48:38

大数据
平安人寿数据管理实践与展望
关于数据治理与数据管理的区别，可以通过如下关系图来理解。数据开发是数据生产端，如个人 APP、保单承保系统，而数据应用则是数据消费端，包括大数据平台、数据仓库、BI 报表等。

2024-12-23 08:09:31

数据治理数据管理数据开发
用 Python 实现量化交易策略回测
今天要给大家分享的例子，就展示了如何基于Python中常用的numpy、pandas等常用数据分析处理框架，针对目标个股简单实现「均线策略回测」。

2024-12-23 07:20:00

Pythonnumpy数据分析
年终盘点：2024年最炙手可热的十家大数据初创公司
数据已经成为很多企业和组织的宝贵资产。他们正在分析数据以深入了解市场、客户和他们自己的运营情况。他们正在使用数据来推动数字化转型计划，支持新的数据密集型服务。

2024-12-19 13:49:24

数据初创AI数据
Kafka Streams 在监控场景的应用与实践
介绍 Kafka Streams 的原理架构，常见配置以及在监控场景的应用。

2024-12-19 09:45:24

服务器大数据
腾讯云流式湖仓统一存储实践
本文将分享腾讯云流式湖仓的架构与实践。腾讯云流计算基于开源的 Apache Flink 搭建，作为腾讯云大数据产品中的实时链路，是企业级实时大数据平台，具备一站式开发、5 秒无缝衔接、亚秒延迟、低成本、安全稳定等特性。

2024-12-16 08:34:13

大数据数据分析数据孤岛
命令行的视觉盛宴：如何用 Sampler 轻松实现数据可视化
面对复杂指令或大量信息时，传统的文本输出可能难以快速理解。使用Sampler这类工具可以将命令行结果以更直观、清晰的方式展示，使工作更加轻松高效。

2024-12-13 15:36:27

命令行CLI数据可视化
性能指标提升50%+，携程数据报表平台查询效率治理实践
本文概述了面对公司数据报表平台遇到的查询性能挑战，数据平台组围绕数据缓存、物化视图、查询策略、SQL质量等方向所做的一系列治理工作，以提升平台的查询效率和稳定性。

2024-12-13 10:50:00

数据开发携程
构建大模型时代的数据基础设施，腾讯云发布全新一代数据智能平台TCHouse-X
12月12日，腾讯云宣布发布全新一代数据智能平台TCHouse-X。该平台采用一体化、智能化、高性能、云原生等理念打造，大幅简化了传统数据平台的复杂架构，并引入了智能化系统交互、资源管理与运维管理能力，能够为大模型时代的应用创新提供一站式数据处理能力，助力企业高效释放数据价值。

2024-12-13 09:52:15

腾讯云数据智能TCHouse-X
高手的数据分析方法：标杆分析法
一个数据分析师去跟销售讲怎么卖出业绩，只会被人嘲笑“你他妈卖过1单吗！你敢教我！”但一个数据分析师去把销售大神们的祖传秘方总结出来分享，其他销售会伸长了脖子来听，还生怕听漏了。这就是标杆分析法的直观优势。

2024-12-09 13:11:22

标杆分析法业绩
Blaze：快手自研 Spark 向量化引擎从生产实践到社区开源
今天我要给大家分享的是 Spark 向量化技术引擎——Blaze。目前 Blaze 已经在快手大规模地投入生产了。

2024-12-09 08:27:02

Blaze数据架构数据平台
构建易于扩展的数据管道的五个要点​ 译文 精选
数据管道就是将数据从一个位置传输到另一个位置的一系列过程，常常在此过程中改变数据。

2024-12-09 08:00:00

数据管道数据处理
零基础入门Hadoop：IntelliJ IDEA远程连接服务器中Hadoop运行WordCount
我们简单地了解了大数据处理中一个经典的应用——WordCounter，并通过Hadoop框架的实践，展示了如何使用MapReduce进行分布式计算。虽然表面上看，WordCounter是一个相对简单的程序，但它却揭示了大数据处理中的核心思想。

2024-12-06 10:51:10

Hadoop大数据框架
大数据的3V、4V、7V，到底是什么意思？
在大数据领域，我们经常看到一些关于3V、4V、7V的说法。这些V，到底是什么意思呢？今天这篇文章，小枣君就简单给大家介绍一下。

2024-12-06 07:10:00

大数据3V4V
这是我见过最好的用户增长分析模型
当赛道具体到一个具体领域后（快消、耐用、零食、服务……），其目标用户群体的画像、消费力、人群数量是可以锁定的。这里有两个要重点关注的东西：用户消费力分层与用户复购行为。这两点，直接决定了增长打法。

2024-12-03 12:05:57

增长分析模型用户消费
如何搭建一个高效的运营分析体系？
数据本身不说明问题，数据+标准才说明问题。标准从哪里来？当然从业务目标里来，能达到目标就是做得好。

2024-11-29 12:51:18

运营分析体系
从 ETL 到 NoETL 的数据架构演进——Denodo 的创新解决方案
本文将深入探讨数据架构从传统 ETL 到新兴概念的转变历程，剖析 ETL 与 NoETL 技术的差异及应用场景，通过实际案例展现其在不同企业中的实践成果，并对未来发展趋势进行展望，为读者呈现数据领域的前沿动态与发展方向。

2024-11-29 08:40:34

ETLNoETL数据架构
万字长文 | 数据治理“三字经”，赋能实践路更明！ 原创 精选
在当今数字化时代，数据是企业最不可或缺的宝贵资源之一。然而，随着数据量的迅猛增长及其复杂性的日益提升，如何高效地管理、充分利用并妥善保护这些数据，已成为企业亟待攻克的一大难题。

2024-11-28 08:00:00

数据治理数字化
还在纠结每天的波动？用户活跃分析这么做！
在讲用户流失分析的时候，我们说过：流失分析的目的不是消灭流失率，而是把流失控制在可控范围内。在用户活跃分析的时候，道理类似：做活跃分析，不是为了逼用户天天来戳一下，而是为付费、转介绍提供稳定的支持。

2024-11-27 11:44:08

用户分析流失率
一文看懂大数据的四十年发展史
进入90年代后，随着互联网的诞生和爆发，信息革命进入了全新的阶段。越来越多的人开始购买计算机，访问互联网。也有越来越多的科研机构和企业开始上线IT系统，推动自身的信息化转型。

2024-11-26 18:05:02

大数据信息技术互联网
数据分析终极一问：指标波动有多大，才算是大！
硬指标和软指标的区分，不是一成不变的。比如很多互联网公司会考察“用户增长”，这时候注册用户数就是个硬指标，逼着推广部门完成。因此区分硬指标和软指标，要看部门具体KPI要求。

2024-11-26 14:45:29

数据分析互联网KPI
什么是数据架构师？技能、薪资以及如何成为数据框架大师
数据架构师是连接业务与技术的重要桥梁，负责设计并实施企业的数据管理框架。

2024-11-25 17:11:13

大数据数据架构师数字化转型
目标明确：引领企业AI成功的北极星
企业已意识到生成式AI是促进创新和提高生产力的绝佳机会，但要真正释放其商业价值，关键在于有目的的采取行动。

2024-11-25 14:23:36

Cloudera生成式AI
滴滴ChatBI技术实践：智能数据分析的前沿探索与应用
滴滴团队在 23 年初就坚定地投身于大模型，致力于数据产品的升级与探索，截至目前，我们已经取得了一些阶段性的成果并成功落地。

2024-11-25 08:50:24

大模型智能数据分析AI
火山引擎基于大模型 ChatBI 的演进与实践
今天分享的主题是火山引擎 DataWind ChatBI 基于大模型的演进与实践。DataWind 是火山引擎推出的 BI 平台。在建设初始阶段，DataWind 主要聚焦于 MVP 产品路径的构建，致力于满足研发者、分析师、一线业务及日常协同办公等多方面的需求。

2024-11-25 08:20:22

大模型DataWind数据分析
京东数据架构解析：供应链效率提升与决策优化策略
本文介绍了数据编织在数据分析与治理中的应用。我们的目标是将传统数据处理方式升级至指标中台模式，旨在革新数据计算与加工流程。

2024-11-21 08:33:29

数据编织数据分析数据架构
1 23456 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服