51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9107内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9107 条
数据分析基础 | Python数据交叉表，你学会了吗？
数据交叉表是数据分析中非常重要的工具，掌握它可以让你更加高效地进行数据处理和可视化呈现。

2024-05-29 12:47:00

Python数据数据分析
搭建数据指标体系，我总结了标准化全流程
业务流程是主要数据来源，指标体系首要任务是反馈业务流程情况。有了主指标以后，要结合业务流程，梳理出过程指标。有了过程指标，才能解释主指标为什么低，为什么高。

2024-05-29 12:41:33

数据指标流程
京东统一存储实践
随着大数据时代的到来，海量数据的存储与处理成为了众多企业面临的重要挑战。HDFS 作为一个高可靠性、高扩展性的分布式文件系统，在京东零售的数据管理中扮演着重要角色。本文将分享京东在 HDFS 统一存储方面的实践经验，并对相关的技术细节进行总结。

2024-05-29 07:56:41

大数据海量数据HDFS
七个领先数据仓库和数据库的深入比较
在当今的数字时代，数据仓库和数据湖已成为存储和分析大量数据的核心，为各种数据管理挑战提供可扩展的解决方案。探索数据仓库和数据库的多样化世界，比较AmazonRedshift和MySQL等主要参与者，以确定最适合您的数据管理需求的解决方案。

2024-05-29 07:10:00

数据仓库数据湖
火花思维：从 0 到 1 构建一站式数据开发治理平台
火花思维作为在线教育领域的佼佼者，深知数据对于决策和运营的重要性。为进一步释放数据资源的价值，公司从 0 到 1 构建了一站式数据开发治理平台，实现了数据集成、数据开发、数据分析、数据服务等全流程整合，为公司的长远发展奠定了坚实的数据基础。

2024-05-28 07:58:08

数据分析数据开发火花思维
肯睿Cloudera：数据如何改变生活
一旦企业能够充分利用其创建和采集的海量数据，便开启了无限的可能性。

2024-05-27 10:30:20

数据Cloudera
NoETL，开启自动化数据管理新时代
在这个主题中，有两个大家很熟悉的词：ETL 和数据管理。但同时，也有两个不太熟悉的词：NoETL 和自动化数据管理。我们是否在创造一种新的概念？今天我将回答这个问题，并通过回答这个问题来解释我们为什么要创立 Aloudata 这家公司，以及我们的定位是什么。

2024-05-27 07:42:42

ETL数据管理NoETL
敏捷的数据工程实践
本文介绍了什么是敏捷数据工程， 并分析了几个有效的实践。如果能灵活的在数据项目中应用，将有效提升我们的数据产品交付质量。

2024-05-24 10:23:25

敏捷数据工程数据开发
腾讯大数据多引擎统一元数据和权限管理的探索
本文介绍了腾讯大数据多引擎统一元数据和权限管理的探索。TBDS的全称是腾讯大数据处理套件，它是一个基于 Hadoop 生态以及 MPP 生态的大数据平台。

2024-05-23 07:39:00

大数据TBDS数据湖
有效的数据治理如何推动业务增长
数据治理显得尤为重要，它确保了企业内数据的有效和高效管理。数据治理的核心目标是确保数据在其生命周期内，从获取到使用，都以支持企业业务目标的方式进行管理。

2024-05-22 15:31:56

数据治理大数据
第三代指标平台如何摆脱 ETL 宽表开发 做“轻”数仓
第三代指标平台给我们 IT 部门带来的体验改变，表现在大幅减少指标重复开发的工作量和运维变更的工作量。对业务部门来说，它提供了真正处理“最后一公里”自主分析问题的体验，让业务人员能够自助完成分析工作，而不需要为增加字段或维度而频繁联系 IT 部门。

2024-05-22 09:48:04

自动化指标平台数仓
携手亚马逊云科技，北京灵奥科技助力企业无缝结合大模型与数据​ 原创
近日，亚马逊云科技以“无数据不模型——生成式AI时代的数据基座”为主题召开了媒体沟通会。会上，北京灵奥科技CEO厉启鹏介绍了Vanus如何帮助企业解决数据问题，从而与大模型无缝结合。​

2024-05-21 09:36:38

亚马逊云科技数据基座Vanus
做数据分析十年，第一次见到靠谱的归因模型
从经验上来看：投诉类来电，在业务上性质特殊，属于高风险行为。别的来电都能用小程序替代，唯独怒气冲冲的客户，必须用人工来服务，至少让人家消消气。

2024-05-20 13:20:35

数据分析业务程序
大宗产业风控领域的数据探索与实践
蚂蚁作为互联网企业，数据建设通常是面向互联网场景围绕个人开展，传统业务上的数据应用构建与互联网存在着比较大的差异。蚂蚁尝试从大宗领域切入，探索能否基于已有能力去服务传统产业，帮助其实现产业数字化升级，并落地相关的风控场景应用。

2024-05-17 08:16:08

数据建设风控领域数据分析
数据处理不再难！用JSONCrack轻松打造炫目可视化效果！
对于许多人来说，处理数据依然是一个令人望而生畏的任务。幸运的是，有一种名为JSONCrack的工具可以帮助您轻松应对数据处理挑战，并将数据转化为令人惊叹的可视化效果！

2024-05-16 13:03:54

JSONCrack处理数据可视化
做经营分析，只会同比环比，怎么办！
所谓策略，就是业务开展的前后顺序，轻重缓急。比如上文提到的“A产品销售差3%”达标。如果站在产品策略的角度，就不是这么头疼医头，脚疼医脚地把每一个产品的涨跌列出来。

2024-05-15 11:51:40

经营分析业务产品
OPPO 下一代大数据 AI 一体架构实践
云厂商用存储吸引用户，进而提供上层 SaaS 服务。云原生弹性计算架构可提高调度效率，实现资源的自动弹性伸缩，优化资源利用。本文将展示OPPO 下一代大数据 AI 一体架构在功能云上的实践，希望为大家带来启发。

2024-05-14 08:03:31

SaaS 服务云原生AI 一体架构
Pandas 处理 CSV 数据的十个步骤
今天，我们将一起踏上Python数据分析之旅，以处理CSV文件为例，通过十个简单易懂的步骤，带你领略Pandas的强大之处。

2024-05-13 11:43:39

Python数据分析CSV
十分钟了解Flink SQL使用
本文将介绍Flink SQL的基本原理、使用方法、流批统一，并通过几个例子进行实践。

2024-05-13 09:28:43

Flink SQL大数据
一文快速解锁：价格分析模型
价格的敏感性，是可以事先测试的。在事先可以以优惠券为杠杆，以抽奖的形式测试用户的购买率，从而一定程度上推断涨价/降价多少合适。但是这种方式更适合测降价，涨价的话，用户本能的反感会比较强烈，所以不太适用。

2024-05-11 08:18:49

解锁价格模型
大数据管理的应用与实践
大数据管理是指企业在其整个生命周期中处理的大量数据的治理、管理和组织，包括数据的摄取、处理、存储和分析，以推动决策并保持运营顺利运行。

2024-05-10 13:01:49

大数据大数据管理
这才是真正的商品分析，而不是罗列进销存
一提到商品搭配，很多人脑子里第一时间蹦出来：啤酒与尿布。实际上即使不用数据去算，商品之间固定搭配。就像比起啤酒配尿布，啤酒配鸡爪，啤酒配花生米，啤酒配小龙虾更常见一样。

2024-05-10 12:01:00

商品分析数据分析断货
用Pyjanitor消除数据清洗(Data Cleaning)中的烦恼
数据清洗（Data Cleaning）通常被视为数据驱动决策的关键准备步骤，其目的在于查找并纠正数据中的错误和不一致，以提高数据质量。随着数据集的增长，确保数据的清洁度和完整性变得越发具有挑战性。了解数据清洗的重要性以及如何进行数据清洗变得至关重要。

2024-05-10 08:31:57

数据清洗数据驱动
HBase Meta 元信息表修复实践
HBase是一款开源高可靠、高可扩展性、高性能的分布式非关系型数据库，广泛应用于大数据处理、实时计算、数据存储和检索等领域。在分布式集群中，硬件故障是一种常态，硬件故障可能导致节点或者集群级别服务中断、meta表损坏、RIT、Region空洞、重叠等问题，如何快速修复故障恢复业务尤其重要，本文章主要是围绕HBase meta表常见的故障以及对应解决方案进行描述。

2024-05-10 08:00:00

HBase数据库
现实生活中的十大大数据应用
大数据方法的使用使来自不同行业的众多企业受益，包括医疗保健、银行、制造业等在内的许多行业都在使用大数据分析。本文将深入探讨现实生活中对我们日常生活产生深远影响的十大大数据应用。

2024-05-09 12:52:12

大数据
解锁数据可视化项目成功的关键：原型图反馈(Feedback )机制
在数据可视化项目中，缺乏真正用户的参与常导致仪表板被闲置。解决这一问题的关键在于在项目早期吸引业务运营人员的积极参与，并建立良好的原型设计和反馈机制。

2024-05-09 09:17:41

数据可视化项目业务
算法在 58 画像平台建设中的应用
用户画像平台是企业应用大数据的根基，精准营销、精细化运营和个性化推荐都离不开用户画像的建设。精准地刻画用户行为、兴趣以及需求尤为重要。本文将探讨算法在 58 用户画像平台建设中的作用，包括画像标签体系的建设，个性化推荐、精细化运营等业务应用。

2024-05-09 07:32:09

用户画像平台大数据算法
探讨供应链管理中的大数据分析
在当今快速发展和相互关联的世界中，供应链管理在各行业企业的成功中发挥着关键作用。随着大数据分析的出现，各组织现在能够利用数据的力量来优化其供应链运营、提高效率、降低成本，并提高整体业绩。

2024-05-08 15:46:52

供应链大数据
重新思考大数据以及业务运营和数据运营之间的脱节
数据是铺就AI价值之路的水泥。“大数据”是一个关键领域，存在被错误归类的风险——这是过去的事情，或者缺乏值得一试的上行空间。CIO和数字高管需要确保大数据得到应有的关注。

2024-05-08 15:34:12

大数据
数字健康中的大数据分析：全面概述
大数据分析在医疗保健中至关重要，包括分析庞大而复杂的数据集，以揭示隐藏的模式和见解。这一过程将原始数据转化为可操作的信息，提高患者的成果、操作效率和医疗保健的成本效益。

2024-05-08 15:15:41

大数据分析医疗保健数字健康
这才是大厂的经营分析报告，而不是“念PPT会”
想要提升效率，把经营分析会变成决策会而不是“例行会”“读ppt会”“甩锅会”，就得从众多数据中，把关键问题挑出来，帮大家聚焦到核心问题上。这里有5个问题最为关键。

2024-05-08 13:59:38

经营分析PPT
经营分析：决策分析模型搭建指南
如果同学们觉得没见过数据驱动决策，这也很正常，并非每个公司都这么规范认真，我们要做的是0级~7级的基础积累，积累越多，我们自己掌握的本事就越大，也越有机会到真正优秀的公司实践。

2024-05-07 12:00:47

决策分析模型数据
大数据和人工智能是如何合作的?
大数据的特点是产生的数据量大、种类多、速度快，为人工智能算法提供了提取有价值见解和推动明智决策的原材料。总之，这两种变革性技术有可能彻底改变全球的行业。让我们更深入地了解大数据和人工智能如何合作，以及释放其全部潜力的策略。

2024-05-07 11:29:59

大数据人工智能算法
一文带你了解大数据基石-Hadoop
基于存储以及计算Hadoop量大两大功能模块-分布式存储HDFS以及分布式计算MapReduce，下面分别针对这两大功能模块详细介绍。

2024-05-07 08:49:36

Hadoop数据存储-分布式存储
基于SpringBoot3.x和Apache Doris构建高效大数据分析系统
在传统数据处理过程中，我们面临的数据多数是结构化的，该数据保存在预定义的数据模型中，如关系型数据库的表。然而，随着科技发展，尤其是互联网、物联网和移动设备的普及，非结构化数据（如文本、图片、音频、视频、社交媒体数据等）的产生量正在急剧增加，它们共同构成了大数据的特征--多样性。

2024-05-07 08:16:17

大数据分析系统
vivo 超大数据规模分布式消息中间件架构演进实践
新一代数据架构覆盖数据全链路，包括数据的采集层、接入层，以及下游的海量计算、分布式存储等。本次分享题目为 vivo 超大数据规模分布式消息中间件架构演进实践。

2024-05-07 07:58:10

数据架构大数据中间件架构
数据分析，高手只比你多做了这一步
深入分析、建模、提业务建议，标签是很重要的一环。同学们可以试着多建有业务含义的标签，特别是涉及“盲盒”状态的业务，比如线上广告投放，线下销售跟进，商品选品等，标签的作用更大。​

2024-05-06 09:02:57

数据分析标签模型
时空图神经网络原理及Pytorch实现
在我们生活的这个充满联系的世界中，从微观的分子结构到宏观的社交网络，再到复杂的城市设计结构，都隐藏着一张张相互关联的图数据。这些图数据仿佛一张张神秘的网，将世界万物紧密相连。

2024-04-30 14:54:10

Pytorch时空图神经网络
蚂蚁集团 EB 级大数据治理架构与实践
本文将分享蚂蚁集团在大数据治理实践过程中沉淀的经验。蚂蚁的数据来源众多，包括行为日志、系统服务端收集的数据等。从类型上看，有DB 类、日志类、log 类等，还有消息类的和非结构化的数据。

2024-04-30 08:05:53

大数据数据治理数据质量治理
深入解析数仓维度建模中的维度
对于桥接维度可能就更加好理解了，就是两个维度表之间通过第三张维度表进行关联，其中存储另外两个维度表的关系。如图9-6所示，维度表A与维度表B之间某个字段的属性存在多对多关系，基于这种多对多关系设计维度表C，用来存储这两个属性的关系。

2024-04-30 00:00:00

数仓维度建模
大数据存储压缩算法调研：snappy、gzip还是lz4？
压缩比是衡量压缩算法效率的重要指标之一，它表示压缩后的数据大小与原始数据大小之间的比率。一般来说，压缩比越高，表示压缩算法越有效，可以更好地减小数据存储空间或网络传输带宽的占用。

2024-04-29 08:53:10

大数据存储数据
平安银行智能化数据安全分类分级实践分享
随着国家对数据安全的高度重视，以及相关法律法规的出台，数据安全领域工作得到了极大的提升。本文将分享平安银行运用智能化手段实现数据安全分类分级的背景、思路和方法。

2024-04-29 07:13:13

数据安全数据分类分级智能打标模型
解读数据，我发现了超好用的七步标准法
数据分析师想要加强数据洞察能力，就得多积累分析经验，针对具体业务问题，收集业务动作，多复盘，这样才能认识得越来越深入。每次具体问题来了，才有丰富的弹药库可用。

2024-04-28 12:47:03

数据业务业务
轻松处理CSV文件，csvkit助你高效数据分析！
在本文中，我们将介绍csvkit库的基本用法，并通过一个实际的案例来演示如何使用csvkit进行数据分析。

2024-04-28 11:39:17

绍csvkit数据分析
大数据序列化框架选型：Avro还是Json?
选择合适的序列化和反序列化协议需要根据实际需求和场景特点综合考虑。在不同的场景下，选择适合的序列化协议能够提高系统的性能、可维护性和开发效率，为系统的稳定运行提供保障。

2024-04-28 08:56:58

大数据框架Json
常用的时间序列分析方法总结和代码示例
时间序列是最流行的数据类型之一。视频，图像，像素，信号，任何有时间成分的东西都可以转化为时间序列。

2024-04-26 12:29:36

时间序列数据分析
放大招，数据运营全流程SOP
用户需求是客观存在的，最大难题是如何收集数据，了解到用户需求。有些人会说：这还不简单，直接让用户填问卷不就好了。问题是，你自己去买东西的时候会填问卷吗，填个屁。用户都是不想被过度打扰的，因此设计顾客旅程，分步骤引导用户留下数据，很重要。

2024-04-26 12:28:32

数据运营SOP
NameNode锁细粒度优化在B站的实践
NameNode是整个HDFS的核心组件，集中管理HDFS集群的所有元数据，主要包括文件系统的目录树、数据块集合和分布以及整个集群的拓扑结构。

2024-04-26 12:13:45

NameNodeHDFS核心
Hudi 1.0 新功能预览
本文将详细阐述 Hudi 1.0 在设计上的重新思考和设计思路，并深入探讨 1.0 版本中发布的一些新功能。Hudi 是一个高效的事务型数据湖仓平台，其核心特色是一个开放性的表格式定义和一套全面的事务数据库核心层。

2024-04-26 07:36:42

Hudi 1.0数据湖仓数据查询
学数据分析的八大误区，你中招了吗？
在设定学习目标的时候，到底是想提升目前岗位/行业的适应能力，还是提高自己在人才市场的竞争能力，是两个根本方向性问题。

2024-04-26 00:15:51

数据分析能力
上一页 1 ··· 45678 ··· 183
点赞

51CTO技术栈公众号

业务
速览
在线客服