鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9062内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9062 条

火山引擎 DataLeap 计算治理自动化解决方案实践和思考

本文旨在探讨火山引擎 DataLeap 在处理计算治理过程中所面临的问题及其解决方案，并展示这些解决方案带来的实际收益。

2023-11-21 07:21:39

火山引擎计算治理自动化

知乎是怎样进行埋点平台建设升级的？

在望海，京东，美团等公司参与过基础引擎研发和业务系统研发工作，目前在知乎负责埋点数据系统研发工作。埋点是大数据时代不可或缺的核心数据来源，其价值和作用在不断扩大和提升。在未来的数据时代，埋点将继续扮演着重要的角色，为数据分析和决策提供有力支持。

2023-11-21 07:14:43

埋点大数据

GenAI时代的数据治理蓝图

随着GenAI的不断发展，掌握数据治理变得更加关键，这不仅仅是为了维护数据质量，也是为了理解这些数据与利用它的AI模型之间的复杂关系。这种洞察力对于技术进步、业务健康以及维护利益相关者和更广泛公众的信任至关重要。

2023-11-20 15:52:18

GenAI 人工智能

探索大数据的阴暗面

大数据在改变企业及其经营方式方面有着巨大的力量。如今，企业正贪婪地寻找在日益激烈的竞争环境中脱颖而出的方法，大数据为其实现目标铺平了道路。

2023-11-20 14:32:48

大数据企业

布隆vs布谷鸟：哪种过滤器最适合你的大数据需求？

布隆过滤器（Bloom Filter）和布谷鸟过滤器（Cuckoo Filter）是两种概率型数据结构，用于快速而高效地检查一个元素是否属于一个集合。尽管它们都能够用于这一目的，但在实现细节、性能特点和使用场景上存在不同。

2023-11-20 14:18:55

大数据布隆过滤器布谷鸟过滤器

从Clickhouse迁移到Doris，数据仓库性能大提升

本文分享如何从ClickHouse迁移到Doris的过程，包括为什么需要更改，需要注意什么以及如何比较两个数据库在各自环境中的性能。

2023-11-17 18:02:19

数据仓库性能 Doris

聊一聊几款主流消息队列之间的差异，我们应该如何选择

消息队列是历史最悠久的中间件之一，它可以和不同的进程进行通信，从而实现上下游之间的消息传递。基于此特性，我们可以在以下三个场景中使用消息队列。

2023-11-17 15:08:24

消息队列大数据

BI 数据可视化平台建设（2）—筛选器组件升级实践

本文主要介绍了BI数据可视化平台建设中比较核心的筛选器组件，涉及组件分类、组件库开发等升级实践经验，通过分享一些对交互和业务耦合度高的组件开发迭代的思考，希望可以给正在做组件重构解耦的读者带来启发。

2023-11-16 11:34:05

小米数据中台建设实践赋能业务增长！

本文将介绍小米数据中台部门在销售数仓建设方面的实践。文章将从小米销售数仓的发展历程开始，介绍其定位、内容、作用、规模等，并分享数仓建设常用的维度建模和分层理论，以及小米销售数仓的架构演进和能力沉淀。

2023-11-15 13:36:00

数仓建设数据中台

如何通过数据分析推动数字时代营销的演变

在这个数字时代，技术和数据引导成功的营销活动，数据分析已成为企业在这个动态环境中生存和发展不可或缺的工具。通过利用数据分析，企业可以根据洞察做出决策，个性化营销策略，精确定位目标受众，并准确评估营销计划的结果。

2023-11-15 10:08:33

数据分析大数据

从零开始学习数据分析之MySQL入门

最近，我的一位证券行业的铁哥们想要学习SQL，来取代Excel做数据处理。因此，我决定开设一个系列，从基础知识开始，介绍数据分析的相关内容。这个系列不仅涵盖MySQL的SQL语句，还将涉及使用pymysql操作、Pandas用法、PySparkSQL、PySpark算子的使用以及商业智能（BI）报表平台等方面的内容。

2023-11-14 16:14:49

数据分析 MySQL 大数据

数据湖成功的七个优秀实践

如果没有适当的管理和实施，数据湖很快就会变得难以管理且难以使用。在本文中，我们将讨论一些关键的数据湖最佳实践，以确保数据管理从一开始就得到优化。

2023-11-14 14:25:09

数据湖大数据

流式图计算在蚂蚁大数据场景的应用

今天主要介绍蚂蚁集团实时数据体系和关键技术、基于流式图计算的实时流量归因场景应用，以及基于流式图计算在支付宝营销场景实时 OLAP 和数金场景实时用户行为意图分析的探索。

2023-11-14 07:21:44

大数据流式图计算

大数据治理的"黑科技"：场景驱动的数据管理

随着数字世界的不断扩大，大数据已经渗透到我们生活的每一个角落。那么，在这个大数据的时代，如何有效管理数据，确保数据的质量和安全，进而实现数据的最大价值呢？

2023-11-13 14:53:23

大数据数字化

Python好用的可视化库（从低级到高级）

今天，我将深入探讨Python中的数据可视化世界，更具体地说，我们如何利用一些官方库来可视化SQL查询的结果，已有的“轮子”可以让这个过程变得轻松愉快。

2023-11-10 09:55:09

Python 数据可视化

如何构建六层大数据堆栈架构

大数据堆栈是一套互补的软件技术，用于管理和分析对于传统技术来说太大或太复杂的数据集。大数据堆栈技术——最常用于分析——是专门为应对数据大小、速度和种类的增长而设计的。

2023-11-09 16:12:06

大数据大数据堆栈

从数据池或大数据仓库到数据湖

这篇博文讨论了从数据池/大数据仓库到数据湖的演变。它探讨了传统数据仓库的局限性以及数据湖在可扩展性、敏捷性和自助服务方面的优势

2023-11-09 15:56:26

数据仓库数据湖

2023 年数据仓库终极指南：概念、技术和新兴趋势

在当今数据驱动的世界中，管理和分析大量数据是业务成功的关键方面。数据仓库是一种强大的解决方案，可帮助组织有效地存储、管理和分析数据，从而推动明智的决策。

2023-11-09 15:02:45

数据仓库数据湖架构师

使用Python自动与微信交互：获取聊天记录

当需要从客户端应用程序中采集数据时，使用自动化工具来模拟操控并获取数据是一种有效的方法。

2023-11-09 14:40:56

大数据自动化工具

数字前沿：释放大数据生态系统的潜力并克服障碍

从传统的业务方法转变，利用和分析数据洞察的企业可以有效地深入研究消费者行为、市场趋势和运营效率。数据驱动模型对企业的新增长产生深远影响。通过在当前不断动荡的市场环境中获得竞争优势，现代企业可以将自己定位为在技术先进的环境中面向未来和向...

2023-11-09 10:05:09

BI 数据可视化平台建设（1）—交叉表组件演变实战

本文主要通过交叉表组件的升级实践给大家讲解一下如何设计开发高性能的表格组件。

2023-11-09 08:38:25

交叉表组件大数据

深算院重磅发布原创数据库YashanDB 助力国产数据库高质量发展原创

11月8日，YashanDB 2023年度产品发布会成功召开

2023-11-08 14:18:49

数据可视化，到底解决了什么问题？

数据可视化，是数字化技术在业务应用中十分常见的一种具体落地形式，随着前端展示技术不断成熟，以及基于地图、3D等渲染形式日益丰富，数据可视化的产业应用价值也飞快地得到提升拔高。那么，在数字化转型浪潮下，数据可视化技术到底帮助我们解决了什么问题呢？

2023-11-08 14:03:47

数据可视化数字化转型

2023年重塑CRM和数据行业的趋势

物联网已经成为大多数行业的游戏规则改变者，但2023年CRM和物联网的合作将有所增加。这种集成带来了许多优势，如销售自动化、高度定制的营销活动、提高客户忠诚度等。

2023-11-08 07:00:10

CRM 数据行业趋势

Hadoop高可用集群部署

在master节点中使用yarn rmadmin -getAllServiceState命令查看各个节点ResourceManager状态，接下来停止active状态节点的ResourceManage进程，ResourceManage active自动跳转到其他节点，集群仍可用，随后再启动该节点ResourceManager进程，最后再次查看状态，Failed状态恢复为standby。

2023-11-07 07:30:18

Hadoop 高可用

“数据”如何影响“业务决策” ？

在数字化时代，数据已经成为企业成功的关键因素之一。对于许多公司而言，如何利用数据来影响业务决策已经成为了一个越来越重要的问题。

2023-11-06 11:12:08

大数据数据治理

商业数据科学：利用洞察力促进增长

数据科学不再是科技巨头或专注于数据的企业的专利。对于任何想要在现代环境中蓬勃发展的企业来说，它都是不可或缺的工具。利用数据科学可以使企业能够做出数据驱动的决策，增强客户体验，预测未来趋势，优化运营，促进创新并扩大市场范围。

2023-11-06 10:34:19

数据科学数据驱动

字段抽取：异构数据结构化的利器

鸿鹄系统旨在提供一站式的异构数据平台，提供了一套完整的关于数据分析的开箱即用的用户界面，简化整体的数据分析过程。字段抽取功能，实现了鸿鹄系统中重要的技术特点——读时建模，提供了端到端的海量异构数据处理工具，提高了数据分析的效率和准确性。

2023-11-06 07:39:36

数据处理异构数据平台

如何做内容推荐策略产品？

本次将分享内容推荐策略的道与术，其中“道”指价值观，“术”指方法论。本篇内容比较口语化，既适合一线同学，又适合从事搜广推的团队管理者阅读。

2023-11-06 07:33:01

推荐策略数据分析

Ydata_Profiling：自动生成数据探索报告的Python库

Ydata_profiling能够直接完成数据探索的工作，只需要几行代码，它会生成互动网页形式的报告，里面包含数据概览、字段分布、统计学特征、相关性、缺失值、样本信息等。

2023-11-06 06:39:36

数据分析 Python

Filebeat on k8s 日志采集实战操作

Filebeat 提供了丰富的配置选项，可以根据您的需求对日志数据进行高度定制和筛选。它还支持自动发现新容器、节点和服务，并动态调整采集策略。这使得它成为 Kubernetes 环境中日志采集的有力工具。

2023-11-06 01:17:25

主机容器选项

大数据管理面临的挑战及其解决方案

大数据管理面临的主要障碍与组织、技术和运营限制有关，例如缺乏基础设施或熟练人员。让我们将这些障碍解构为可管理、易于理解的问题，并提供具体的解决方案。

2023-11-03 19:52:43

如何将数据治理应用于AI/ML系统

AI/ML系统的功能与传统的固定记录系统不同，目标不是返回单个事务的值或状态，相反，AI/ML系统筛选数PB的数据，寻找可能是巨大和多方面的查询的答案。

2023-11-03 15:12:44

数据治理 AI/ML系统

数据分析终极一问：指标波动有多大，才算是大！

所谓盲人骑瞎马，大概就是这个感觉。至于指望着“从头、腾、阿公司，请一个高级数据科学家，建立人工智能大数据模型，一张嘴就天知地知”，则已经是病入膏肓指望着救命仙丹的想法了。

2023-11-03 11:51:31

指标波动数据模型

大数据管理：挑战与解决方案

大数据对几乎每一个行业的企业决策、产品创造和运营管理都产生了巨大影响。大数据的主要障碍与组织、技术和运营方面的限制有关，例如缺乏基础设施或熟练人员。

2023-11-02 17:48:20

大数据分析在智慧城市发展中的作用

大数据分析通过实现数据驱动的决策、资源优化、增强公共服务和可持续性举措，在智慧城市的发展中发挥着关键作用。

2023-11-02 11:55:36

大数据智慧城市

2023年大数据行业预测

大数据在2023年将变得触手可及的一年。大多数公司现在都明白数据作为一种资产的价值，但许多企业仍在努力挖掘它的真正价值。尝试这样做在一定程度上推动了托管数据库即服务和/或数据管理即服务的增长，从而降低了复杂性。

2023-11-02 07:24:41

大数据行业预测

把握数据，在AI领域取胜的方法

虽然大多数将AI应用到他们的运营中的公司都不会处理像人命这样重要的事情，但这里有一个突出的教训：向AI系统提供糟糕的数据，你会得到糟糕的结果。AI无疑将成为下一个重要的业务差异化因素，但只有那些能够控制数据的公司才会如此。

2023-11-01 17:04:31

数据湖如何为企业赋能

数据湖可以帮助组织执行SQL查询、大数据分析、全文搜索、实时分析和机器学习(ML)等分析来发现见解。调查结果显示，一般企业的数据每年都会膨胀50%。除了数据量之外，这些企业还管理来自33个独特来源的数据。除非他们实施数据湖技术，否则他们会发现导航大量和多样化的数据具有挑战性。

2023-11-01 11:36:47

数据湖大数据分析

我不建议你抄大厂的用户画像，为什么？

用户数据少、做出来没有用。还有些传统企业傻乎乎，觉得：我找一些中间商，买一些用户数据补个缺，是不是就OK了？当然不是！国家对于用户隐私的保护级别一直在上升。

2023-11-01 11:34:40

用户画像企业

Intent数据传递为什么需要Bundle？

使用序列化的好处是可以方便地传递复杂的对象，包括对象的属性和方法等。而如果不通过序列化，直接传递对象的引用，可能会导致对象的属性和方法在传递过程中丢失或无法正常使用。

2023-11-01 08:20:51

Intent 数据传递对象

银行如何通过数据治理提高收益

通常，数据治理包括挖掘数据、对数据进行分类、设置适当的指导方针和标准，并通过规则实施这些标准。归根结底，这是为了管理和治理数据风险，但对于大多数企业来说，这感觉像是一项无穷无尽的任务。通常，个别业务线将采用自己的数据流程和标准，而不是通过更广泛的治理计划创建的数据流程和标准。

2023-10-31 17:50:58

数据治理银行业

23个优秀开源免费BI仪表盘

如今，大数据受到各行各业的重视，随着大数据不断发展，BI利用大数据进行分析和可视化以支持决策的作用日趋凸显。本文收集了一些开源免费BI仪表盘项目，供BI项目建设参考。

2023-10-31 16:34:19

交互式层次聚类（RAC）算法助力大型数据集分层聚类译文精选

本文讲述如何使用交互式层次聚类（RAC）算法为大型数据集的分层聚类提供强有力的支持。

2023-10-31 09:00:00

交互式层次聚类大型数据集

科技运营数据管理实践

数据管理实践是一项有既有挑战又有意义的工作，而且需要不断持续优化，它即是一门科学，更是一门艺术，我们要深入学习以上“道”，“法”，“术”，“器”的方法论，再结合工作中的具体场景，不断深耕实践，让运维之手和运维之眼有数可依，更加高效、从容地实现自动化、智能化运维，全面实现科技赋能。我们将踔厉奋发、笃行不怠，持续推动数字化转型工作更上一层楼，把一流财富管理银行推向前进！

2023-10-31 07:06:50

运营数据管理

数据分层：打造数据资产管家

随着数据分析技术的进一步发展，数据分层也必将不断优化和完善。从数据分析工具的不断升级，到人工智能和机器学习技术的应用，数据分层必将成为企业数据管理和决策分析的头号利器。

2023-10-30 18:44:26

数据优化数据分层

从ETL到ELT，揭秘火山引擎ByteHouse的技术实现

在本文中，我们将重点介绍ByteHouse遇到的挑战，以及如何通过3大能力建设实现完备的ELT能力。

2023-10-30 15:51:43

ByteHouse 大数据

一文读懂数据标准中的属性定义与元数据的区别

最近在做项目过程中发现一个问题：有些同事经常把指标数据标准中的业务属性、技术属性、管理属性当做业务元数据、技术元数据、管理元数据或者在数据指标标准定义的时候直接分为业务元数据、技术元数据和管理元数据。

2023-10-30 15:28:51

这才是搭建数据指标体系，而不是死背AARRR

梳理数据流，即明确业务的目标是否已量化记录，业务的操作流程是否已量化记录。这一步是确保前两步梳理的内容，能落地成数据表报，而不是悬在空中。考察的是数据采集的功夫。

2023-10-30 08:14:14

数据指标体系

火山引擎VeCDP：如何0-1构建与应用标签体系

火山引擎VeCDP的标签最终服务于上层的业务场景，例如营销、分析等场景。而标签体系是对标签的一种组织方式，对标签进行分类，形成一套可以长期稳定使用并且适用性较强的框架。

2023-10-30 07:30:08

VeCDP 火山引擎

上一页 1 ··· 9 10 11 12 13 ··· 182 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营