鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 24年11月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9034内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9034 条

字段抽取：异构数据结构化的利器

鸿鹄系统旨在提供一站式的异构数据平台，提供了一套完整的关于数据分析的开箱即用的用户界面，简化整体的数据分析过程。字段抽取功能，实现了鸿鹄系统中重要的技术特点——读时建模，提供了端到端的海量异构数据处理工具，提高了数据分析的效率和准确性。

2023-11-06 07:39:36

数据处理异构数据平台

如何做内容推荐策略产品？

本次将分享内容推荐策略的道与术，其中“道”指价值观，“术”指方法论。本篇内容比较口语化，既适合一线同学，又适合从事搜广推的团队管理者阅读。

2023-11-06 07:33:01

推荐策略数据分析

Ydata_Profiling：自动生成数据探索报告的Python库

Ydata_profiling能够直接完成数据探索的工作，只需要几行代码，它会生成互动网页形式的报告，里面包含数据概览、字段分布、统计学特征、相关性、缺失值、样本信息等。

2023-11-06 06:39:36

数据分析 Python

Filebeat on k8s 日志采集实战操作

Filebeat 提供了丰富的配置选项，可以根据您的需求对日志数据进行高度定制和筛选。它还支持自动发现新容器、节点和服务，并动态调整采集策略。这使得它成为 Kubernetes 环境中日志采集的有力工具。

2023-11-06 01:17:25

主机容器选项

大数据管理面临的挑战及其解决方案

大数据管理面临的主要障碍与组织、技术和运营限制有关，例如缺乏基础设施或熟练人员。让我们将这些障碍解构为可管理、易于理解的问题，并提供具体的解决方案。

2023-11-03 19:52:43

如何将数据治理应用于AI/ML系统

AI/ML系统的功能与传统的固定记录系统不同，目标不是返回单个事务的值或状态，相反，AI/ML系统筛选数PB的数据，寻找可能是巨大和多方面的查询的答案。

2023-11-03 15:12:44

数据治理 AI/ML系统

数据分析终极一问：指标波动有多大，才算是大！

所谓盲人骑瞎马，大概就是这个感觉。至于指望着“从头、腾、阿公司，请一个高级数据科学家，建立人工智能大数据模型，一张嘴就天知地知”，则已经是病入膏肓指望着救命仙丹的想法了。

2023-11-03 11:51:31

指标波动数据模型

大数据管理：挑战与解决方案

大数据对几乎每一个行业的企业决策、产品创造和运营管理都产生了巨大影响。大数据的主要障碍与组织、技术和运营方面的限制有关，例如缺乏基础设施或熟练人员。

2023-11-02 17:48:20

大数据分析在智慧城市发展中的作用

大数据分析通过实现数据驱动的决策、资源优化、增强公共服务和可持续性举措，在智慧城市的发展中发挥着关键作用。

2023-11-02 11:55:36

大数据智慧城市

2023年大数据行业预测

大数据在2023年将变得触手可及的一年。大多数公司现在都明白数据作为一种资产的价值，但许多企业仍在努力挖掘它的真正价值。尝试这样做在一定程度上推动了托管数据库即服务和/或数据管理即服务的增长，从而降低了复杂性。

2023-11-02 07:24:41

大数据行业预测

把握数据，在AI领域取胜的方法

虽然大多数将AI应用到他们的运营中的公司都不会处理像人命这样重要的事情，但这里有一个突出的教训：向AI系统提供糟糕的数据，你会得到糟糕的结果。AI无疑将成为下一个重要的业务差异化因素，但只有那些能够控制数据的公司才会如此。

2023-11-01 17:04:31

数据湖如何为企业赋能

数据湖可以帮助组织执行SQL查询、大数据分析、全文搜索、实时分析和机器学习(ML)等分析来发现见解。调查结果显示，一般企业的数据每年都会膨胀50%。除了数据量之外，这些企业还管理来自33个独特来源的数据。除非他们实施数据湖技术，否则他们会发现导航大量和多样化的数据具有挑战性。

2023-11-01 11:36:47

数据湖大数据分析

我不建议你抄大厂的用户画像，为什么？

用户数据少、做出来没有用。还有些传统企业傻乎乎，觉得：我找一些中间商，买一些用户数据补个缺，是不是就OK了？当然不是！国家对于用户隐私的保护级别一直在上升。

2023-11-01 11:34:40

用户画像企业

Intent数据传递为什么需要Bundle？

使用序列化的好处是可以方便地传递复杂的对象，包括对象的属性和方法等。而如果不通过序列化，直接传递对象的引用，可能会导致对象的属性和方法在传递过程中丢失或无法正常使用。

2023-11-01 08:20:51

Intent 数据传递对象

银行如何通过数据治理提高收益

通常，数据治理包括挖掘数据、对数据进行分类、设置适当的指导方针和标准，并通过规则实施这些标准。归根结底，这是为了管理和治理数据风险，但对于大多数企业来说，这感觉像是一项无穷无尽的任务。通常，个别业务线将采用自己的数据流程和标准，而不是通过更广泛的治理计划创建的数据流程和标准。

2023-10-31 17:50:58

数据治理银行业

23个优秀开源免费BI仪表盘

如今，大数据受到各行各业的重视，随着大数据不断发展，BI利用大数据进行分析和可视化以支持决策的作用日趋凸显。本文收集了一些开源免费BI仪表盘项目，供BI项目建设参考。

2023-10-31 16:34:19

交互式层次聚类（RAC）算法助力大型数据集分层聚类译文精选

本文讲述如何使用交互式层次聚类（RAC）算法为大型数据集的分层聚类提供强有力的支持。

2023-10-31 09:00:00

交互式层次聚类大型数据集

科技运营数据管理实践

数据管理实践是一项有既有挑战又有意义的工作，而且需要不断持续优化，它即是一门科学，更是一门艺术，我们要深入学习以上“道”，“法”，“术”，“器”的方法论，再结合工作中的具体场景，不断深耕实践，让运维之手和运维之眼有数可依，更加高效、从容地实现自动化、智能化运维，全面实现科技赋能。我们将踔厉奋发、笃行不怠，持续推动数字化转型工作更上一层楼，把一流财富管理银行推向前进！

2023-10-31 07:06:50

运营数据管理

数据分层：打造数据资产管家

随着数据分析技术的进一步发展，数据分层也必将不断优化和完善。从数据分析工具的不断升级，到人工智能和机器学习技术的应用，数据分层必将成为企业数据管理和决策分析的头号利器。

2023-10-30 18:44:26

数据优化数据分层

从ETL到ELT，揭秘火山引擎ByteHouse的技术实现

在本文中，我们将重点介绍ByteHouse遇到的挑战，以及如何通过3大能力建设实现完备的ELT能力。

2023-10-30 15:51:43

ByteHouse 大数据

一文读懂数据标准中的属性定义与元数据的区别

最近在做项目过程中发现一个问题：有些同事经常把指标数据标准中的业务属性、技术属性、管理属性当做业务元数据、技术元数据、管理元数据或者在数据指标标准定义的时候直接分为业务元数据、技术元数据和管理元数据。

2023-10-30 15:28:51

这才是搭建数据指标体系，而不是死背AARRR

梳理数据流，即明确业务的目标是否已量化记录，业务的操作流程是否已量化记录。这一步是确保前两步梳理的内容，能落地成数据表报，而不是悬在空中。考察的是数据采集的功夫。

2023-10-30 08:14:14

数据指标体系

火山引擎VeCDP：如何0-1构建与应用标签体系

火山引擎VeCDP的标签最终服务于上层的业务场景，例如营销、分析等场景。而标签体系是对标签的一种组织方式，对标签进行分类，形成一套可以长期稳定使用并且适用性较强的框架。

2023-10-30 07:30:08

VeCDP 火山引擎

纵腾湖仓全链路落地实践

数据湖作为一个统一存储池，可接入多种方式的数据输入，无缝对接多种计算分析引擎，进行高效的数据处理与分析。本文将介绍数据湖上的选型思考与探索实践。

2023-10-30 07:25:37

数据湖数据处理

数据分析的经典方法之结构分析法

类似的方法，还有矩阵分析法、趋势分析法、漏斗分析法。这些方法的共同点，就是：用一组有逻辑的指标，树立清晰的标杆，长期监控业务变化，从而快速得出结论。

2023-10-29 18:15:41

数据分析趋势分析法漏斗分析法

六个2023年热门开源数据质量管理工具

目前，开源社区出现了许多数据质量工具，可选择的项目越来越多，下面是2023年比较热门的6个开源数据质量管理工具。

2023-10-29 16:44:39

数据质量管理开源

更简洁更高效，Doris对比ClickHouse、MySQL、Presto、HBase

Apache Doris可以替代ClickHouse、MySQL、Presto和HBase，因为它在整个数据处理流程中具备全面的能力。

2023-10-29 12:54:16

Doris 数据仓库

这套方法，更能让数据分析师立功，比算法模型好用

往往我们看到所谓用户画像，ABtest，预测模型，要么就是那些顺风顺水的大厂在说，要么就是当产品准备卖给乙方的甲方在说。一但大形势不好，过往吹得再厉害的模型、画像、测试统统都不管用了。

2023-10-27 11:31:00

数据分析师预测模型 ABtest

国家数据局正式揭牌，50万亿数据资产“活”了

我国拥有庞大的数据量，数据显示，2022年中国数字经济规模超过50万亿元，总量稳居世界第二，占GDP比重41.5%。与此同时，数据交易类企业机构的数量也在快速增长，截至2022年底，我国现有数据交易类企业超9.2万家。

2023-10-26 10:22:19

大数据基础产国家数据局

数据治理“三字经”，伴君摘得“满天星” 原创精选

随着我国数字经济的蓬勃发展，大数据已经成为推动社会发展和企业竞争的重要资源，数据要素也被提升到了前所未有的高度。然而，面对海量的数据资源，如何高效管理和有效利用，成为众多企业亟待解决的一道难题。

2023-10-26 09:00:00

数字经济数据治理大数据

数据驱动业务，就得这么干！

破题的关键，在于：把业务动作和数据关联起来。用数据论证判断，在行动中收集数据，这样才能让数据和业务结合起来。比如眼前的任务，注意审题，老板只给了个方向：提升两平台同时下单人数，至于到底现在是多少，提升到多少？为什么要提升？一点信息都没给。

2023-10-26 06:58:44

数据驱动业务

阿里巴巴数据模型设计与构建实践

阿里云大数据开发治理工具 DataWorks从2009 年发展至今，已经有14年的发展历程。2021年云栖大会上，DataWorks 全新推出数据建模工具 DataWorks 智能数据建模。同 DataWorks 数据开发等产品模块相同，智能数据建模的产品建设离不开阿里巴巴内部各业务线的数据仓库团队，如菜鸟、淘宝、天猫等数据仓库团队的贡献。

2023-10-26 06:55:46

大数据数据仓库

B站数据质量保障体系建设与实践

本文将分享 B 站数据质量保障体系的建设和实践。文章将关注数仓和建模的相关方法论，讲解 B 站数仓平台团队在数仓建设和建模过程中所做的工作，并分享质量保障方面取得的成果。

2023-10-26 06:43:25

Vaex助力高效处理大规模数据集

Vaex是一个功能强大的数据科学库，可应对处理大规模数据集的挑战。借助其惰性计算的方法、高性能运算和交互式可视化功能，Vaex能够高效地操作、分析和可视化可能无法装入内存的大型数据集。

2023-10-26 01:26:04

Vaex 数据数据集

数据分析和机器学习的11个高级可视化图表介绍

可视化是一种强大的工具，用于以直观和可理解的方式传达复杂的数据模式和关系。它们在数据分析中发挥着至关重要的作用，提供了通常难以从原始数据或传统数字表示中辨别出来的见解。

2023-10-24 20:38:15

数据分析机器学习

知乎 Flink 取代 Spark Streaming 的实战之路

从实时数仓 1.0 到 2.0，不管是数据架构还是技术方案，我们在深度和广度上都有了更多的积累。随着公司业务的快速发展以及新技术的诞生，实时数仓也会不断的迭代优化。短期可预见的我们会从以下方面进一步提升实时数仓的服务能力。

2023-10-24 20:32:40

企业成功的有效数据治理优秀实践

在当今数据驱动的业务环境中，数据管理和治理已从确保数据安全和隐私的基本框架演变为全面的企业范围计划。其涵盖了商业智能、分析和机器学习中的数据访问和数据利用，同时还解决了数据在营销、销售、研究等方面的作用。

2023-10-24 14:48:23

数据治理大数据

打破数据孤岛是否有限制？

主数据管理(MDM)软件是统一数据并将所有数据孤岛置于单一管理之下的主要工具。MDM所做的是创建“黄金记录”，即“真实数据的单一版本”的主数据。

2023-10-23 16:14:00

数据孤岛数据管理

如何充分利用数据可视化？

数据可视化工具提供了一种易于访问的方式来查看和理解数据趋势和模式。出色的数据可视化早在创建仪表板、报告、图表、广告牌或股票行情之前就开始了。数据可视化的领域过于广泛，单一工具无法满足所有用户需求。

2023-10-23 16:11:14

数据可视化大数据

一文读懂数据运营的指标体系

在大数据时代早期，大部分数据并没有被充分地挖掘分析和利用。虽然数据规模非常大，但是却很难利用这些数据创造价值。而数据中台的提出及数据指标体系的构建，使得数据产生了实际价值。

2023-10-22 12:00:37

浅谈数据质量管理

大数据平台搭建之初，会优先满足业务的使用需求，数据质量往往是被忽视的一环。但是随着业务的逐渐稳定，数据质量越来越被人们所重视，千里之堤，溃于蚁穴，糟糕的数据质量往往就会带来低效的数据开发，不准确的数据分析，最终会导致错误的业务决策。

2023-10-22 11:47:37

大数据质量管理

Flink程序宕机后，数据会丢失吗

Apache Flink 是一种高性能、高吞吐量的流处理框架，它具有强大的容错机制，可以保证在程序宕机后不会丢失数据。

2023-10-20 13:18:05

如何正确使用 Bean Validation 进行数据校验

为了避免重复这些验证，通常的做法是将验证逻辑直接捆绑到领域模型中，通过元数据（默认是注解）去描述模型，生成校验代码，从而使校验从业务逻辑中剥离，提升开发效率，使开发者更专注业务逻辑本身。

2023-10-18 18:38:44

数据校验业务

简析数据匿名化的方法、挑战与应用实践

从数据匿名化的定义来看，该技术旨在将敏感的用户隐私信息转换成无法与特定人员关联的匿名化数据，是一种去除或哈希化与个体相关联的各种数据点的过程。这个过程使组织能够存储和交换用户数据，同时不会暴露数据与特定个人的任何联系。

2023-10-17 11:34:42

数据匿名化大数据

Spark入门指南：从基础概念到实践应用全解析

本篇文章，我们将一起走进Spark的世界，探索并理解其相关的基础概念和使用方法。

2023-10-17 09:36:32

Spark 大数据

ClickHouse在数据平台中的实践简介

本文介绍了大数据界的黑马ClickHouse技术在数据平台中的实践方案。

2023-10-16 18:51:04

ClickHouse 大数据

使用Pandas进行时间重采样，充分挖掘数据价值

在Pandas中进行数据重采样，有助于可视化连续或离散时间数据中的趋势和规律，进一步挖掘数据价值，突出显示不同的组成部分，包括趋势、季节性和不规则问题（可能是数据中的噪音）。

2023-10-16 18:02:29

Pandas 数据可视化

数据科学及其应用指南

我们生活在数据洪流时代，数据洪流是指当今世界每天每时每刻产生、发布或发布的大量数据和信息所导致的信息爆炸。如此丰富的数据既可能带来好处，也可能带来坏处，具体取决于数据的使用方式。

2023-10-16 10:25:34

数据科学大数据

国产开源湖仓LakeSoul--数据智能的未来方向

数元灵科技专注于一站式湖仓智能平台新基建，在研项目包括云原生湖仓一体框架，分布式训练引擎和算法框架，高性能数据、模型在线服务，以及云原生一站式AI开发生产平台。LakeSoul 作为国产自研开源湖仓框架，具备湖仓一体、流批一体、BI/AI 一体等核心设计理念和实现，在并发读写和 IO 性能等方面有着显著的优势。

2023-10-16 07:22:50

开源湖仓智能平台

面向小型企业的八个大数据解决方案

虽然SAS、Qualtrics、Google Analytics和其他软件平台为小型企业提供了大数据解决方案，但需要考虑的是，企业希望大数据解决方案提供什么样的服务。每个供应商专门研究不同类型的数据，并不是每个工具都适合每个用例。

2023-10-16 07:00:04

大数据 SAS Analytics

上一页 1 ··· 9 10 11 12 13 ··· 181 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营