51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9034内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9034 条
StarRocks 如何借助物化视图加速数据分析
本文将分享StarRocks数据湖分析应用场景、物化视图技术，再结合实际用户案例，来帮助读者理解物化视图技术在数据湖分析场景中的价值。

2023-09-18 07:23:45

数据湖数据分析
火山引擎 DataWind 产品可视化能力揭秘
本文聚焦 DataWind 产品的核心可视化能力，并为您揭秘其实现原理。

2023-09-15 14:39:09

DataWind可视化数据分析
眺望数据应用新态势｜第八届腾讯云Techo TVP开发者峰会圆满落幕
腾讯云 TVP 将始终与时俱进，秉持“用科技影响世界”的初心，持续为开发者打造“最有料、有趣、且有用”的开发者峰会，让我们共同期待下一次 Techo TVP 开发者峰会的到来。​

2023-09-13 17:27:55

腾讯开发
数据可用性是数据成为资产和发挥价值的重要基础
展望未来，数据的利用将成为一种普遍范式，支持智能工作流程和便捷的人机交互。麦肯锡的预测认为，到 2025 年，这些无缝交互的普及程度将与企业资产负债表的普及程度相媲美，从而提高生产力。

2023-09-13 16:59:51

数据数据可用性
基于元数据构建智能化治理平台建设实践
本文将分享网易云音乐基于元数据构建智能化治理平台的建设实践。云音乐是网易集团一个比较大的BU，我们基于集团的数据平台数帆结合音乐的业务打造了面向音乐业务的相对垂类的数据开发平台 - 云村数据平台。

2023-09-13 07:19:46

数据开发平台治理平台
聊聊什么是供应链分析？
随着传感器、RFID标签、物联网和其他技术的进步并在整个商业生态系统中变得更加突出，供应链分析的重要性也将增加。这些新的信息来源将使人们能够更深入地了解复杂系统，并为更快、更强大的供应链铺平道路。

2023-09-13 07:02:23

RFID标签系统
数据治理正在释放数据分析的力量
初级、中级和高级功能之间的主要区别不是技术或数据，而是企业习惯和实践，使所有利益相关者能够安全地访问及时、相关、干净和完整的数据，以开发洞察力并将其应用于决策，这就是数据治理领域。

2023-09-12 13:29:39

数据治理数据分析
Snowflake的工作负载优化 译文
事实表明，高效的数据管理和查询性能对于数据投资的有效运营性能至关重要。

2023-09-12 08:00:00

大数据数据管理Snowflake
企业级大数据中台构建与实施
在当今数字化时代，数据被认为是一项宝贵的资源，能够为企业提供深入洞察、有效决策以及创新机会。为了更好地管理和利用海量的数据，越来越多的企业开始构建大数据中台，这是一个统一的数据平台，能够集成、存储、处理和分析各种类型的数据，为企业提供全面的数据支持，推动创新和业务增长。

2023-09-11 12:57:00

大数据大数据中台
数据分析十大模型之漏斗模型（V2.0全新升级版）
漏斗模型，其实应该叫做“流程式业务分析模型”。它是基于业务流程数据，对业务进行分析诊断的工具。因为销售端的业务，常常会出现“流程越长，用户流失越多的情况”。

2023-09-11 11:38:53

漏斗工具模型
Presto+腾讯DOP（Alluxio）在腾讯金融场景的落地实践
随着企业内部日渐扩展的海量数据，平衡低成本数据存储和高效数据查询的矛盾成为用户最大需求。本文主要介绍Presto+腾讯DOP（Alluxio）在腾讯金融场景的落地实践，如何进行降本增效。

2023-09-11 07:40:53

大数据数据查询
ElasticSearch+Kibana on K8s 讲解与实战操作（版本7.17.3）
Elasticsearch 7 引入了集群维护模式（cluster maintenance mode），允许您更方便地执行维护操作而不影响数据平衡。您可以将集群设置为维护模式，然后执行维护操作，最后再将集群恢复到正常状态。

2023-09-11 00:09:18

KibanaK8s数据
MPP 与 SMP 的区别，终于有人讲明白了
MPP 需要一种复杂的机制来调度和平衡各个节点的负载和并行处理过程，通信复杂。当通信时间长时， MPP 性能会变差。目前一些基于 MPP 技术的服务器一般 通过系统级软件（如数据库）来屏蔽这种复杂性。

2023-09-08 18:57:42

MPPSMP节点
我用三步，搭建一个高效的运营分析体系
一提到内容运营，很多同学本能想到公众号、微博、抖音。于是数据指标是张口就来：粉丝量、新增粉丝量、常读粉丝量、阅读数、打开率、转发率……越说越起劲，喉咙里那句：“今天阅读低了，要搞高”几乎要破口而出。

2023-09-08 13:10:20

运营分析体系
技术的未来：亚太地区数据仓库即服务及其对电信的影响
DWaaS是一种基于云的数据管理形式，允许用户从任何位置访问和分析数据。这对于每天处理大量数据的电信企业来说尤其有利。以其技术实力而闻名的亚太地区一直处于这一发展的前沿，许多企业采用DWaaS来简化运营并提高效率。

2023-09-07 15:54:26

数据仓库DWaaS
数据网格2.0：兑现去中心化的承诺 译文
“数据网格”正迎来重大时刻。通过谷歌新闻粗略地搜索一下，你会看到几十个相关的结果，而且种类繁多。随着众多新技术不断进步，这种情况正在发生。此外，连大有希望的学科也会迅速销声匿迹，一些学科在没有达到最初效果的情况下却存活下来。

2023-09-07 09:00:00

数据网格数据驱动
算法AB实验平台进化历程和挑战
未来我们会希望借助数仓部门的AB平台的指标计算和可视化通用能力，希望可以逐步增强AB平台的数据可视化能力，在实验分流情况的可视化分析，实验的用户特征的分布可视化分析，实验的指标变化原因排查等方面与分析同学一起合作，提升AB实验的指标报表问题分析效率。

2023-09-06 18:37:21

可视化数仓平台
谈谈数据要素资产化的六个核心事项
最新的 NewVantage数据和分析全球领导力 (DAGL) 调查显示，几乎所有接受调查的公司都报告称其数据提供了一些可衡量的价值，而五年前只有一半的组织做出了肯定的答复。尽管全球经济不确定性加剧，超过 90% 的受访者还表示计划在 2023 年增加数据投资。

2023-09-06 16:36:43

数据资产
工欲善事，必先利器：数字经济下的大数据“技术观”
众所周知，任何社会发展的潮流和趋势，背后都有一系列综合因素共同驱动，那么对于数字经济的发展也是一样。

2023-09-06 16:30:31

大数据数据分析数字经济
只知道ABtest？测试方法还有这些，数据分析师都得掌握！
测试从来都是数据分析解决问题的手段。俗话说：是骡子是马，拉出来遛遛。测试就是遛马的过程，结果好坏一眼即明。特别针对：新渠道、新产品、新团队这种创新情况。旧的数据不能完全推演创新，就更得上测试了。

2023-09-06 11:36:04

ABtest数据分析师
利用ChatGPT分析数据的六种方法​ 译文
想提升您的数据分析技能吗？本文介绍了几个巧妙的方法，可以将ChatGPT用作数据分析工具包中的一款强大工具。

2023-09-06 08:00:00

ChatGPT数据分析
数据仓库与数据分析架构：驱动数据驱动决策
在当今信息爆炸的时代，数据已经成为了企业决策的核心资产。数据仓库与数据分析架构的崛起，为企业提供了有效地管理和分析海量数据的解决方案，实现了数据驱动决策的愿景。这个强大的架构不仅能够帮助企业更好地理解市场、客户和业务，还能够发掘潜在的机会，提高决策的准确性和效率。

2023-09-05 16:30:53

数据仓库数据分析
大数据及其影响：企业如何充分利用它
大数据帮助企业分析大型数据集并揭示模式、趋势和关联，以便对未来活动做出预测或决策。它涉及机器学习技术，如聚类和分类算法，从非结构化或半结构化数据源中提取有价值的见解。

2023-09-05 14:58:23

大数据
业务部门又来刁难了，数据分析师怎么办？
为什么会这样？其一就是：蠢。很多人干活就是不带脑子。确实有很多公司的运营、策划、产品经理，干活就找模板，想创意就抄竞品，其他啥都不会。

2023-09-05 13:10:00

业务部门数据分析师
字节基于 Hudi 的批流一体存储实践
通过采用Hudi作为底层存储引擎，结合分布式文件系统进行数据存储和管理，实现批流一体业务高效的数据存储和查询。该方案已在金融风控、零售电商和物流运输等多个场景中得到成功应用，解决了业务痛点。未来，将进一步优化和完善批流一体存储实践方案。

2023-09-05 07:22:17

Hudi数据存储
大数据和数据分析：决策制定的新方式
本文将深入探讨大数据和数据分析在现代世界中的崭露头角，以及它们如何改变了决策制定的方式。我们将分析大数据的概念、重要性以及数据分析方法的演变，同时探讨大数据和数据分析对各个领域的影响，并讨论未来的趋势和挑战。

2023-09-04 15:35:54

大数据数据分析
这是我见过最【准确】的数据诊断模型
算法模型不是一个处理标准问题的好办法。用机器学习算法，如果用无监督方法，比如Kmean聚类，本身输出的结果就随着聚类中心变化而变化，不稳定结果不能做标准。如果用有监督的方法，那一开始的“好/坏”标注谁来打？还是得老板来打。看似复杂的算法又变成：请老板酌定。

2023-09-04 11:32:28

数据诊断模型
星云零售信贷基于 Doris 的 OLAP 演进之路
随着业务规模的不断扩大和数据量的快速增长，传统的数据仓库已经无法满足星云零售信贷的数据分析需求。因此，团队开始探索基于Doris的OLAP解决方案，以实现更高效、准确的数据处理和分析。本文将介绍星云零售信贷基于Doris的OLAP演进之路，包括实践中所面临的问题和解决方法。

2023-09-04 07:09:08

数据仓库数据处理
五分钟技术趣谈 | Apache Paimon浅析及在威胁情报中的应用
Flink团队开发了一种新的数据湖架构——Apache Paimon，支持高速数据摄取、变更数据跟踪和实时分析，并为读/写操作提供灵活的架构，并与各种计算引擎集成。目前Apache Paimon已经成功在威胁情报云应用落地，并取得良好的效果。

2023-09-03 19:21:07

大数据架构
15个基本且常用Pandas代码片段
Pandas提供了强大的数据操作和分析功能，是数据科学的日常基本工具。在本文中，我们将介绍最常用的15个Pandas代码片段。这些片段将帮助简化数据分析任务，从数据集中提取有价值的见解。

2023-09-03 16:46:09

Pandas工具
这是一份完整的用户分析攻略
如果用户行为本身发生得很随机，则测算可以简化。比如啤酒、瓜子、矿泉水一类零食，用户购买可能完全是临时起意，没啥深入思考，也没啥忠诚度可言。此时只靠按单次广告投放核算成本即可。只要每次投出去的商品能赚钱就行。

2023-09-01 14:02:25

用户分析攻略
如何构建与优化数据仓库架构与模型设计？
数据仓库是企业中存储和管理大量结构化数据的核心组件，用于支持业务分析和决策制定。构建和优化数据仓库的架构和模型设计是确保数据仓库能够高效、可扩展地满足业务需求的关键要素。

2023-08-31 17:10:56

数据仓库高级互联网架构架构
数据管理如何实现可持续发展？
我们没有以正确的频率收集正确的数据，无法以最有意义的方式体现我们的环境足迹，传统的环境、社会和治理(ESG)报告无法动态描绘影响，并且对供应链活动缺乏监督。可持续发展数据管理仍然是一个令人头痛的问题，以下五种技术有望改变这一现状。

2023-08-31 16:04:16

数据管理可持续发展
它是最给力的数据分析体系，却被90%的人忽略！
报表是整体数据分析体系核心。报表做好，处处好，报表做不好，人肉sql写到老。而且，日、周、月、季、年报，不是简单地把同一个字段按五个时间周期统计五遍，五种工具间相互配合，才能起到更好效果。

2023-08-31 12:01:14

数据分析体系
你是否知道如何使用Python Matplotlib创建令人惊叹的数据可视化？
本文将深入介绍 Python Matplotlib 的使用，包括常用的 API、参数、返回值，以及各种详细的示例代码，帮助读者更好地掌握这个强大的数据可视化工具。

2023-08-31 08:45:39

Python数据可视化工具
活动效果评估体系，该怎么搭建？
在分析这些指标的时候，要注意先后顺序。比如有关新用户注册问题。要先看各个用户来源渠道的投放力度，活动是否及时上架，何时与投放结合。之后才是深入分析文案、活动礼品、领取后行为等等。​

2023-08-30 11:41:17

活动效果评估体系注册
解读大数据分析与战略之间的复杂联系
本文踏上了探索之旅，通过独特的符号学视角，探索这种关系的未知维度。通过仔细研究数据驱动战略中嵌入的微妙指标和复杂性，目标是更深入地理解数据如何塑造和指导不同部门的战略格局。这一旅程旨在阐明利用符号学见解所产生的变革潜力，为在制定未来有效战略时加强大数据的利用提供一条途径。

2023-08-30 11:35:29

大数据分析数据驱动
MaxCompute湖仓一体方案新能力
本次分享的题目为《MaxCompute增量更新和处理架构以及智能数仓新优化解密》。一般综合解决方案会采用Lambda架构去支持大数据的复杂业务，全量批处理使用 MaxCompute 链路，时效性要求高的使用增量处理实时链路。但该架构也存在大家所熟知的问题，如图中所示。

2023-08-30 07:14:27

MaxCompute湖仓一体
效率提升 10 倍！达达基于 StarRocks 极速统一的智能配送再升级
随着国内大数据架构技术的不断演进，达达快速构建了以 Apache Hive 和 Apache Spark 为核心的离线数据仓库，以及以 Apache Flink 和 Apache Kafka 为核心的实时数据处理链路。在业务发展和整体架构的不断迭代过程中，我们尝试了不同时期出现的优秀 OLAP 产品来解决我们在数据分析中对查询加速的需求。

2023-08-29 18:55:25

StarRocks大数据架构
实时数仓混沌演练实践
基于中间件、数据库、JVM、基础资源、网络、服务等注入常见的异常，根据实际业务中梳理的应用核心场景进行混沌演练，检验系统的脆弱性和应急响应能力，从而提升团队的稳定性保障处理能力。

2023-08-29 10:20:00

JVM数据库网络
基于Lambda架构的实时电商数仓建设经验分享
文章分享了某电商平台离线数仓、实时数仓、数据应用等方面的实践经验。电商平台以APP作为载体，最重要的数据就是以订单为核心的结构化数据和以日志流为核心的半结构化数据，这也互联网业务最典型的应用场景。

2023-08-29 07:42:21

离线数仓实时数仓
可视化数据分析：从数据中获得洞察力
在当今数字化的世界中，数据被广泛收集和储存，但这些数据本身并没有意义。要从数据中获得洞察力和价值，可视化数据分析成为一种强大的工具。

2023-08-28 16:19:32

数据分析数字化
我总结了数据推动业务的七大坑点，千万注意！
理论说起来容易，执行起来只能看菜下饭，且行且珍惜了。况且这还是在业务部门推动的情况下，如果是数据部门自己想推动，那就更得付一番精力。​

2023-08-28 12:09:53

数据推动业务
货拉拉大数据Doris稳定性保障实践
本文将介绍货拉拉大数据在Doris稳定性保障方面的实践。我们从2022年初开始使用Doris，在这一年半的时间里，Doris还是相对稳定的，同时提供了高性能的查询。上图右侧是Doris的整体架构图。Doris的数据源来自IOT、埋点和数据库，通过实时数仓和离线数仓两个方式写入。以Doris作为主引擎构建了大数据OLAP平台，服务于上层应用。

2023-08-28 06:58:40

Doris大数据
一个完整的案例，看懂用户画像怎么做
如果走鬼大叔见了家长，不问人家买什么，在那谈天说地瞎聊天。他还能卖出风筝吗？当然不行，可能扯淡是扯个爽的。这就是有目标和无目标的区别。对应到工作中，很多人做用户画像是基于：“领导要求做”“我看人家都在做”。

2023-08-27 21:25:20

用户画像数据数据分析
大数据开发技巧：解锁数据的价值
随着信息时代的到来，大数据已经成为各个领域的重要资源。企业、政府机构以及科研机构都在努力收集、存储和分析海量的数据，以便从中获取有价值的洞察和决策支持。而大数据开发技巧，作为解锁数据价值的关键钥匙，扮演着至关重要的角色。

2023-08-27 15:25:49

大数据
做经营分析，只会同比环比，怎么办！
所谓策略，就是业务开展的前后顺序，轻重缓急。比如上文提到的“A产品销售差3%”达标。如果站在产品策略的角度，就不是这么头疼医头，脚疼医脚地把每一个产品的涨跌列出来。

2023-08-26 20:41:34

策略经营分析角度
一个数据分析师的自述：数据建模
我的职业生涯始于数据分析分析师，之前没有数据建模经验。我只是使用转换后的数据和一些参考表构建了报告和仪表板。我不知道维度数据建模的使用，也不明白为什么其他开发人员使用事实表。

2023-08-25 16:33:10

数据分析师数据建模
大数据与云计算架构：构建弹性高效的数据处理平台
随着数字化时代的到来，大数据已经成为了各行各业的重要资源。然而，要充分发挥大数据的价值，需要一个强大的数据处理平台。

2023-08-25 15:13:16

大数据云计算
当今数据时代正在发生的五个关键转变
如今，我们每秒都拥有千兆字节的数据，而且还有智能计算基础设施、软件和算法，可以迅速将这些数据转化为有意义的见解。如果企业想要在数据时代成为一家具有领导地位的智能企业，现在比以往任何时候都更需要重新思考数据管理。

2023-08-24 15:43:05

大数据数据管理
上一页 1 ··· 1112131415 ··· 181
点赞

51CTO技术栈公众号

业务
速览
在线客服