51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9062内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9062 条
纵腾湖仓全链路落地实践
数据湖作为一个统一存储池，可接入多种方式的数据输入，无缝对接多种计算分析引擎，进行高效的数据处理与分析。本文将介绍数据湖上的选型思考与探索实践。

2023-10-30 07:25:37

数据湖数据处理
数据分析的经典方法之结构分析法
类似的方法，还有矩阵分析法、趋势分析法、漏斗分析法。这些方法的共同点，就是：用一组有逻辑的指标，树立清晰的标杆，长期监控业务变化，从而快速得出结论。

2023-10-29 18:15:41

数据分析趋势分析法漏斗分析法
六个2023年热门开源数据质量管理工具
目前，开源社区出现了许多数据质量工具，可选择的项目越来越多，下面是2023年比较热门的6个开源数据质量管理工具。

2023-10-29 16:44:39

数据质量管理开源
更简洁更高效，Doris对比ClickHouse、MySQL、Presto、HBase
Apache Doris可以替代ClickHouse、MySQL、Presto和HBase，因为它在整个数据处理流程中具备全面的能力。

2023-10-29 12:54:16

Doris数据仓库
这套方法，更能让数据分析师立功，比算法模型好用
往往我们看到所谓用户画像，ABtest，预测模型，要么就是那些顺风顺水的大厂在说，要么就是当产品准备卖给乙方的甲方在说。一但大形势不好，过往吹得再厉害的模型、画像、测试统统都不管用了。

2023-10-27 11:31:00

数据分析师预测模型ABtest
国家数据局正式揭牌，50万亿数据资产“活”了
我国拥有庞大的数据量，数据显示，2022年中国数字经济规模超过50万亿元，总量稳居世界第二，占GDP比重41.5%。与此同时，数据交易类企业机构的数量也在快速增长，截至2022年底，我国现有数据交易类企业超9.2万家。

2023-10-26 10:22:19

大数据基础产国家数据局
数据治理“三字经”，伴君摘得“满天星” 原创 精选
随着我国数字经济的蓬勃发展，大数据已经成为推动社会发展和企业竞争的重要资源，数据要素也被提升到了前所未有的高度。然而，面对海量的数据资源，如何高效管理和有效利用，成为众多企业亟待解决的一道难题。

2023-10-26 09:00:00

数字经济数据治理大数据
数据驱动业务，就得这么干！
破题的关键，在于：把业务动作和数据关联起来。用数据论证判断，在行动中收集数据，这样才能让数据和业务结合起来。比如眼前的任务，注意审题，老板只给了个方向：提升两平台同时下单人数，至于到底现在是多少，提升到多少？为什么要提升？一点信息都没给。

2023-10-26 06:58:44

数据驱动业务
阿里巴巴数据模型设计与构建实践
阿里云大数据开发治理工具 DataWorks从2009 年发展至今，已经有14年的发展历程。2021年云栖大会上，DataWorks 全新推出数据建模工具 DataWorks 智能数据建模。同 DataWorks 数据开发等产品模块相同，智能数据建模的产品建设离不开阿里巴巴内部各业务线的数据仓库团队，如菜鸟、淘宝、天猫等数据仓库团队的贡献。

2023-10-26 06:55:46

大数据数据仓库
B站数据质量保障体系建设与实践
本文将分享 B 站数据质量保障体系的建设和实践。文章将关注数仓和建模的相关方法论，讲解 B 站数仓平台团队在数仓建设和建模过程中所做的工作，并分享质量保障方面取得的成果。

2023-10-26 06:43:25

数仓建模
Vaex助力高效处理大规模数据集
Vaex是一个功能强大的数据科学库，可应对处理大规模数据集的挑战。借助其惰性计算的方法、高性能运算和交互式可视化功能，Vaex能够高效地操作、分析和可视化可能无法装入内存的大型数据集。

2023-10-26 01:26:04

Vaex数据数据集
数据分析和机器学习的11个高级可视化图表介绍
可视化是一种强大的工具，用于以直观和可理解的方式传达复杂的数据模式和关系。它们在数据分析中发挥着至关重要的作用，提供了通常难以从原始数据或传统数字表示中辨别出来的见解。

2023-10-24 20:38:15

数据分析机器学习
知乎 Flink 取代 Spark Streaming 的实战之路
从实时数仓 1.0 到 2.0，不管是数据架构还是技术方案，我们在深度和广度上都有了更多的积累。随着公司业务的快速发展以及新技术的诞生，实时数仓也会不断的迭代优化。短期可预见的我们会从以下方面进一步提升实时数仓的服务能力。

2023-10-24 20:32:40

大数据
企业成功的有效数据治理优秀实践
在当今数据驱动的业务环境中，数据管理和治理已从确保数据安全和隐私的基本框架演变为全面的企业范围计划。其涵盖了商业智能、分析和机器学习中的数据访问和数据利用，同时还解决了数据在营销、销售、研究等方面的作用。

2023-10-24 14:48:23

数据治理大数据
打破数据孤岛是否有限制？
主数据管理(MDM)软件是统一数据并将所有数据孤岛置于单一管理之下的主要工具。MDM所做的是创建“黄金记录”，即“真实数据的单一版本”的主数据。

2023-10-23 16:14:00

数据孤岛数据管理
如何充分利用数据可视化？
数据可视化工具提供了一种易于访问的方式来查看和理解数据趋势和模式。出色的数据可视化早在创建仪表板、报告、图表、广告牌或股票行情之前就开始了。数据可视化的领域过于广泛，单一工具无法满足所有用户需求。

2023-10-23 16:11:14

数据可视化大数据
一文读懂数据运营的指标体系
在大数据时代早期，大部分数据并没有被充分地挖掘分析和利用。虽然数据规模非常大，但是却很难利用这些数据创造价值。而数据中台的提出及数据指标体系的构建，使得数据产生了实际价值。

2023-10-22 12:00:37

数据运营
浅谈数据质量管理
大数据平台搭建之初，会优先满足业务的使用需求，数据质量往往是被忽视的一环。但是随着业务的逐渐稳定，数据质量越来越被人们所重视，千里之堤，溃于蚁穴，糟糕的数据质量往往就会带来低效的数据开发，不准确的数据分析，最终会导致错误的业务决策。

2023-10-22 11:47:37

大数据质量管理
Flink程序宕机后，数据会丢失吗
Apache Flink 是一种高性能、高吞吐量的流处理框架，它具有强大的容错机制，可以保证在程序宕机后不会丢失数据。

2023-10-20 13:18:05

Flink数据
如何正确使用 Bean Validation 进行数据校验
为了避免重复这些验证，通常的做法是将验证逻辑直接捆绑到领域模型中，通过元数据（默认是注解）去描述模型， 生成校验代码，从而使校验从业务逻辑中剥离，提升开发效率，使开发者更专注业务逻辑本身。

2023-10-18 18:38:44

数据校验业务
简析数据匿名化的方法、挑战与应用实践
从数据匿名化的定义来看，该技术旨在将敏感的用户隐私信息转换成无法与特定人员关联的匿名化数据，是一种去除或哈希化与个体相关联的各种数据点的过程。这个过程使组织能够存储和交换用户数据，同时不会暴露数据与特定个人的任何联系。

2023-10-17 11:34:42

数据匿名化大数据
Spark入门指南：从基础概念到实践应用全解析
本篇文章，我们将一起走进Spark的世界，探索并理解其相关的基础概念和使用方法。

2023-10-17 09:36:32

Spark大数据
ClickHouse在数据平台中的实践简介
本文介绍了大数据界的黑马ClickHouse技术在数据平台中的实践方案。

2023-10-16 18:51:04

ClickHouse大数据
使用Pandas进行时间重采样，充分挖掘数据价值
在Pandas中进行数据重采样，有助于可视化连续或离散时间数据中的趋势和规律，进一步挖掘数据价值，突出显示不同的组成部分，包括趋势、季节性和不规则问题（可能是数据中的噪音）。

2023-10-16 18:02:29

Pandas数据可视化
数据科学及其应用指南
我们生活在数据洪流时代，数据洪流是指当今世界每天每时每刻产生、发布或发布的大量数据和信息所导致的信息爆炸。如此丰富的数据既可能带来好处，也可能带来坏处，具体取决于数据的使用方式。

2023-10-16 10:25:34

数据科学大数据
国产开源湖仓LakeSoul--数据智能的未来方向
数元灵科技专注于一站式湖仓智能平台新基建，在研项目包括云原生湖仓一体框架，分布式训练引擎和算法框架，高性能数据、模型在线服务，以及云原生一站式AI开发生产平台。LakeSoul 作为国产自研开源湖仓框架，具备湖仓一体、流批一体、BI/AI 一体等核心设计理念和实现，在并发读写和 IO 性能等方面有着显著的优势。

2023-10-16 07:22:50

开源湖仓智能平台
面向小型企业的八个大数据解决方案
虽然SAS、Qualtrics、Google Analytics和其他软件平台为小型企业提供了大数据解决方案，但需要考虑的是，企业希望大数据解决方案提供什么样的服务。每个供应商专门研究不同类型的数据，并不是每个工具都适合每个用例。

2023-10-16 07:00:04

大数据SASAnalytics
如何设计出高质量Flink系统
根据我从事大数据处理多年的经验，要设计出高质量的Flink系统，需要考虑以下几个方面。

2023-10-15 12:07:09

大数据Flink
政府大数据困局：数据汇聚多，应用场景少，原因与破解之道
在数字化时代的浪潮中，数据已经成为推动社会进步和发展的重要引擎。然而，国内各地的政府大数据中心虽然汇集了各个部门的数据，但这些数据的应用场景却相对较少。那么，究竟是什么原因导致了这一困境呢？

2023-10-13 16:03:57

大数据数字化
20个GitHub优秀开源大数据项目
大数据技术的发展最开始便得益于开源社区的贡献，出现了许多优秀的大数据相关的开源项目。下面列举了20个最受欢迎且有趣的开源大数据项目，供研究、参考。

2023-10-13 13:11:26

大数据技术开源
数据湖与实时数仓应用实践
本文将分享滴普科技基于 Data Fabric 的实时湖仓平台技术实践。文章将介绍 Data Fabric 的基本原理和概念，并分享滴普基于 Data Fabric 构建的一款产品——FastData。

2023-10-13 07:25:50

FastData数据湖
大数据企业获得创新的见解
现在最流行的是人工智能技术，尽管人工智能已经存在了几十年，但直到最近它才进入主流的消费环境。由于采用的成本高，人工智能行业一直被财力雄厚、能够获得大量数据的企业所主导;这是因为，如果没有当今的大数据技术，人工智能就难有作为。

2023-10-13 06:52:40

大数据人工智能生产力
15个高效的Pandas代码片段
Python的Pandas库是数据科学家必备的基础工具，在本文中，我们将整理15个高级Pandas代码片段，这些代码片段将帮助你简化数据分析任务，并从数据集中提取有价值的见解。

2023-10-12 15:02:21

PythonPandas数据分析
利用分析的力量：数据驱动工程项目的四种方式
本文将探讨项目数据在工程和建筑项目中推动更明智决策的4种方式。从预测分析到实时数据监控，探究企业如何利用尖端技术保持领先地位，并取得更好的项目成果。通过采用分析和有效地利用数据，工程和建筑企业可以增强其决策流程，并在当今快速发展的市场中获得竞争优势。

2023-10-11 15:11:50

数据驱动数据智能
数据分析：揭示战略重点举措的隐藏模式
在当今快节奏和数据驱动的世界中，企业不断寻求获得竞争优势的方法。为满足这一需求而出现的一种强大工具是数据分析。通过利用数据的巨大力量，企业可以做出更明智的决策并推动战略举措，从而推动他们走向成功。

2023-10-10 16:06:14

数据分析工具
三个主要降维技术对比介绍：PCA, LCA,SVD
随着数据集的规模和复杂性的增长，特征或维度的数量往往变得难以处理，导致计算需求增加，潜在的过拟合和模型可解释性降低。降维技术提供了一种补救方法，它捕获数据中的基本信息，同时丢弃冗余或信息较少的特征。

2023-10-10 15:17:54

数据集降维技术
九张图揭秘如何做数据分析项目
某互联网大厂TOB业务线，可以向平台商家提供SaaS/Paas类服务，但苦于销售水平不高，沟通话术质量不佳，转化率不足。现计划做话术培训，提升客户转化率。

2023-10-10 11:41:28

数据分析项目
网易大数据智能运维平台 EasyEagle
本次分享的主题是网易数帆的大数据智能运维平台 EasyEagle。EasyEagle 是一个大数据智能运维平台服务，智能运维主要是为了监控、分析与解决大数据平台在使用过程中遇到的诸多问题。在长时间的大数据研发及运维实践中，我们发现大数据组件以及任务在治理运维中存在许多问题。

2023-10-10 07:43:15

大数据EasyEagle
（一文读懂大数据行业）-面向百度商业数据产品的全流程 DataOps 实践
目前整个大数据行业有很多宏大的思路和先进的架构，在百度商业数据产品是如何实现和落地的呢？本文将为您揭秘面向百度商业数据产品的全流程DataOps实践。

2023-10-10 07:38:46

大数据DataOps实践
数据分析，如何驱动科学决策
所谓的决策不科学性：原本可以出去玩，结果非宅家惹女朋友不开心。或者本来可以去景点，结果因为不知道，所以没去。通过数据澄清现状，梳理逻辑，可以避免这些问题。

2023-10-09 08:22:18

驱动科学数据分析因素
阿里巴巴数据稳定性治理实践
天下数仓工程师苦值班久矣，面对大规模的数据处理任务，复杂的处理链路与层次结构，数据团队在数据稳定性保障方面通常面临较大的压力。今天主要以平台建设方的视角，结合稳定性治理的实际场景，将阿里多年来基于自身特点总结出的数据稳定性治理的实践经验与探索，与大家进行分享。

2023-10-09 07:24:58

数据稳定性治理数据处理
大数据面临的六个挑战以及如何利用云计算克服这些挑战？
企业在利用大数据的力量时遇到的另一个主要挑战是缺乏熟练的人才。大数据分析需要一套独特的技能，包括数据科学、统计、编程和领域专业知识。然而，拥有这些专业技能的专业人员严重短缺。

2023-10-09 06:52:53

大数据云计算数据分析
谈谈数据仓库中的数据建模优秀实践
开发和生成数据库中使用的数据概念表示的过程称为数据建模。数据仓库上下文中的数据建模是创建将存储在数据仓库中的数据的逻辑表示的过程。

2023-10-08 16:26:23

数据仓库
数据新鲜出炉！今年“超级黄金周”哪里最火热？
在刚刚结束的中秋国庆假期中，全国文旅市场火热，旅游消费内容、场景丰富多样，体育赛事如火如荼，文化、旅游、体育深度融合，为社会经济增长注入新动力。

2023-10-08 14:27:18

大数据国庆
大数据沉浸式“回忆”国庆八天乐~
“今年十一期间全国日均出行次数同比增长128%，跟2019年同期相比增长了23%。全国主要商圈的消费次数同比增长了142%。”

2023-10-08 14:04:16

大数据
Pydantic，数据类型确认和解析神器
Pydantic通过提供一种优雅且易于使用的解决方案，简化了Python中数据验证和解析。它能确保数据的一致性，简化数据转换，并自动生成文档。

2023-10-08 12:34:16

Pydantic数据转换
探索大数据在可持续发展中的潜力
大数据是指从传感器、社交媒体、卫星和其他数字平台等各种来源持续生成的大量信息。 这些数据通常具有高速、多样性和复杂性的特点。 借助先进的分析和机器学习技术，可以对大数据进行处理和分析，以揭示以前隐藏在视图中的模式、趋势和相关性。 大数据可以通过以下一些方式促进可持续发展。

2023-10-08 11:11:45

大数据传感器
年度经营计划&预算怎么做？最全攻略来了！
外部环境，社会舆论，竞争对手，上游供应商，下游消费者，内部团队表现、内部新品成功概率、内部努力程度&稳定性……都会影响结果，却又很难全部预测清楚。未卜先知的本事大家都喜欢，问题是丫不存在。

2023-10-08 08:08:16

年度经营预算供应商
数据科学在腾讯内容生态中的应用
本文将分享内容生态中的数据科学。虽然正态分布很经典，应用很广泛，但是从个人角度而言，这个分布在日常生活中感知并不强烈。用成年人的身高来举例，虽然我们知道身边很多朋友的身高，但是在脑海里很难形成一个很鲜明的分布的概念。而在日常生活中，让我感知比较强烈的是另外一个分布——Power Law。

2023-10-08 07:40:29

Power Law数据科学
Presto 在阿里云实时日志分析中的实践和优化
本文将分享阿里云千亿规模实时日志分析的架构设计和实践。本文将聚焦在存储和分析基础能力上面的建设，重点分享日志分析系统，以及在面对核心问题时的一些架构设计思路和经验。

2023-10-08 07:33:24

Presto数据分析
上一页 1 ··· 1011121314 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服