51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9110内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9110 条
如何使用 Pandas 进行数据清洗？如何保证数据清洗的效果？
考虑使用自动化工具和框架来简化数据清洗过程。例如，使用 Apache Airflow 或 Prefect 来自动化数据管道，确保数据清洗步骤的一致性和可重复性。

2024-10-28 12:57:36

Pandas数据清洗
结合 NumPy 和 Matplotlib 进行数据可视化的十种创意
本文我们可以看到 NumPy 和 Matplotlib 在数据可视化中的强大能力，无论是简单的正弦波形还是复杂的等高线图，都能轻松实现。

2024-10-24 16:43:15

NumPyMatplotlib数据可视化
提升效率的十种 Pandas 数据操作方法
无论是数据清洗还是探索性数据分析，Pandas都能帮你轻松搞定。接下来，我会分享十个技巧，让你在处理数据时更加高效。

2024-10-23 09:00:00

数据分析Pandas
云上大数据架构是什么？
数据摄取是指从各种来源（结构化和非结构化数据）将数据导入系统的过程。数据可以来自数据库、日志文件、传感器数据、社交媒体等。

2024-10-23 08:46:16

云上大数据架构
为什么你做数据分析没思路？
数学、统计学、运筹学是有很多方法的，而看书本身能让人感到充实。于是，就有一些看书入迷的同学，开始拿着锤子找钉。比如今天看到统计学正态分布，好爽，于是看谁都像个正态。明天看到回归分析一章，看谁都想回归一下……

2024-10-22 11:34:34

数据分析统计学
大模型与大数据双向赋能，“WeData+AI”智能化升级
本文将分享 WeData 大数据开发与治理平台如何与 AI 技术相结合，实现智能化升级。

2024-10-22 08:55:40

大数据开发WeData大模型
Doris企业级实战，构建TikTok实时数据仓库
在迁移到Apache Doris前，TikTok通过Flink传输实时数据，并使用Kafka在不同数据层间实现数据流动。由于Kafka本身没有逻辑表，因此在其上开发不如在Hive上那么容易。

2024-10-18 08:17:09

Doris数据仓库
数据驱动营销五步法：提升营销效果的关键指南
数据驱动营销已成为企业提升营销效果的核心手段。本文提出了五个关键步骤：聚焦重要指标、确保数据质量、优化客户细分、整合跨渠道数据以及持续监控和调整策略，这些步骤帮助企业在激烈竞争中通过精准的数据分析，提升营销效率，推动业务增长。

2024-10-17 11:16:37

数据驱动数据分析
CIO仍然比以往任何时候都更接近他们梦想的数据湖仓
Databricks收购Tabular未能阻止Apache Iceberg的崛起，Iceberg现已成为数据湖领域的赢家，然而，这次收购令CIO们困惑，Databricks作为 Delta Lake的缔造者为何会收购Iceberg的创始团队。

2024-10-16 14:23:54

CIO数据湖
互联网海量数据如何存储Kafka
Kafka的数据是如何存储、分片、复制的？它是如何保证高可用，如何保证数据一致性的？那你会发现它和分布式存储系统，并没有什么太大的区别。唯一的区别就是，它的查询语言（生产和消费消息）和存储引擎的数据结构（Commit Log）比一般的存储系统要简单很多。

2024-10-16 10:35:52

存储大数据互联网
别再罗列指标了，有用的经营分析这么做
很多公司经营分析是财务部门做的，结果财务部门真的就只盯着自己的三张表，每天算利润、算现金。你问他：“销售部门在干啥？”“营销有啥动作？”“市场环境有啥变化？”一问三不知。只知道结果，不知道过程，这是“要搞高”问题根源。

2024-10-15 11:54:38

经营分析指标策略
京东大数据治理探索与实践
本文将分享京东在大数据治理上的探索和实践经验。作为国内领先的电商平台，京东在数据基础设施上的投入极为巨大，涵盖数万台服务器、数 EB 级存储、数百万个数据模型及数以百万计的任务执行

2024-10-15 08:14:51

大数据治理数据驱动数据模型
数据准备指南：十种基础特征工程方法的实战教程
在数据分析和机器学习领域，从原始数据中提取有价值的信息是一个关键步骤。这个过程不仅有助于辅助决策，还能预测未来趋势。为了实现这一目标，特征工程技术显得尤为重要。

2024-10-14 15:00:59

机器学习数据分析
“人货场”模型怎么用？为什么互联网行业也在讨论它？
由于既不确定顾客购买意向，又不确定需求，因此这个阶段的匹配成功率必然是大大降低的。并且夹杂的影响因素太多，根本无法分析清楚：到底是哪个环节出的问题导致不成交。

2024-10-14 12:51:02

人货场模型互联网
业务型 VS 技术型数据分析师，哪个更有前途？
对于在校生而言，强烈建议不要考虑啥业务型分析，就认认真真找一个写SQL的岗位实习仨月。也不用管它啥公司，只要能写SQL就行。

2024-10-12 14:39:54

业务型技术型数据分析师
大数据分析能让大学体育招募重回正轨吗？
如今美国大学体育招募就像狂野的西部，数百万业余运动员与2800个大学体育项目相匹配的过程已经变成了一场混战。但对于德克萨斯州奥斯汀市的一位科技企业家来说，这种混乱预示着一个机会，他渴望利用大数据技术为大学招募人员创造公平的竞争环境。

2024-10-12 14:12:50

数据分析体育招募人工智能
喜马拉雅基于大模型 ChatBl 实践探索
本文将分享喜马拉雅基于大模型 ChatBI 的实践探索，文中将重点介绍关于准确性和大模型幻觉等问题的解决方案。

2024-10-12 08:11:05

大模型ChatBI数据分析
盘点2024年生成式AI带来的五大新型安全威胁
随着OpenAI ChatGPT等工具的出现以及对攻击者用户的突显，“你可以假设复杂性和准确性都有所提高，以及网络钓鱼和社会工程中语言学发生的变化，”托管检测和响应提供商Blackpoint Cyber安全副总裁MacKenzie Brown这样表示。

2024-10-10 13:20:35

网络安全大数据AI
数据分析十大模型：CVP模型
为了保证APP正常运行，需要最起码的运维投入是多少？这个保底水平，也得通过数据量化，否则只看眼前运行没有问题，就随便裁员，导致APP出了大BUG，从“降本增效”变成“降本增笑，都是预料之中的。

2024-10-10 11:59:11

CVP模型数据
运营数据分析体系，最全搭建攻略来了！
运营工作形式灵活，因此经常需要根据实际工作流程，来设定数据指标。一来方便监控执行进度，二来在复盘的时候，好观察哪个环节出了问题，便于追查原因，寻找机会。

2024-10-09 11:57:34

运营数据分析体系
肯睿Cloudera发布AI推理服务，携手NVIDIA加速企业生成式AI开发与部署
肯睿Cloudera今天发布了由NVIDIA NIM微服务驱动的肯睿Cloudera AI推理服务，该服务同时成为NVIDIA AI Enterprise平台的一部分。

2024-10-09 11:00:29

ClouderaNVIDIA生成式AI
文心大模型赋能商业智能助手的探索与实践
本文将分享文心大模型在构建商业智能助手中的探索与实践，重点讲述其在爱企查中提升商业收益和用户体验的应用。文中将介绍利用大模型代码生成能力，和知识图谱，优化数据库查询效率，并通过加入表结构和样例数据提升代码生成准确率，还将介绍如何利用图形可视化进一步提升数据分析效率。

2024-10-09 08:36:52

文心大模型数据分析数据库查询
现代数据架构的探索与实践：知语数据编织系统
数据编织是分布式数据逻辑集成的关键，本次分享将对这种新型数据管理架构展开探讨，包括为什么我们需要数据编织，以及知语数据编织产品的相关研究和实践。

2024-10-09 08:33:41

数据编织数据管理架构数据孤岛
存算分离是数据架构必然趋势？
存算分离架构是一种新的数据架构的设计范式，自上而下分为数据分析层、计算层和存储层，其中计算层和存储层解耦合，都是独立的分布式服务。

2024-10-08 14:52:37

数据架构数据分析数字化转型
标签 VS 数据指标体系，这篇讲得太清楚了！
当然，流程式也不止漏斗这一种，比如在生产、服务、售后等环节，也是一个完整的流程，但不是逐步递减的。比如生产任务，是肯定要完成的，但随着生产工序增加，每一步会增加新的原料、生产费用、人工成本，此时整个流程所消耗的成本、时间是逐级递增的。

2024-10-08 09:01:45

标签数据指标数据分析
货拉拉大数据元数据管理体系演进和实践
本文将分享货拉拉大数据元数据管理的演进与实践。本次分享的重点是元数据管理平台，该平台作为大数据体系的元数据中心，其核心职责涵盖了元数据管理、数据资产管理以及成本治理三大方面。

2024-10-08 08:27:22

大数据元数据管理成本治理
用户生命周期分析，这个坑90%的人踩过！
对线下实体店而言，用户到店即付费，先消费后体验服务。但在互联网产品里，付费与活跃脱节的现象很常见。或者有的产品干脆允许用户只活跃，不付费，通过额外的权益和道具收费。比如游戏、在线音乐、视频、社区等等皆是如此。

2024-10-08 08:14:08

用户生命周期分析服务
数据分析，如何实现降本增效？
比如很多公司做促销活动，总喜欢搞“全场大促”，心理感觉可以多覆盖用户，可实际上参与的都是同一批人。结果经常是有活动的产品销量大涨，没活动的一蹶不振，总业绩也不见涨。

2024-09-30 08:47:07

数据分析降本增效覆盖用户
因果推断的四个模型，的确管用！
既然复杂的方法不好用，有没有简单的办法？有！比如基于最朴素的感觉：既然A会引发B，那么A产生了B就该产生，A结束了，B会慢慢结束（或者B死掉）。人们就此总结出了因果推断四大原则。

2024-09-29 09:22:00

因果推断模型统计学
滴滴指标标准化实践
指标是对客观世界业务过程以及结果的度量，是企业数仓的核心产物，通常需要配合维度及聚合方式进行衡量。完善的指标体系不仅可以辅助业务进行精细化运营，而且可以指导战略层进行经营分析以及业务决策。

2024-09-29 08:54:36

数仓交付指标管理企业数仓
数据编织技术：数据虚拟化在数据治理实践中的应用
本文将深入探讨 Denodo 在数据治理和数据虚拟化方面的解决方案，阐释逻辑数据编织的理念、优势以及其在企业中的实际应用。

2024-09-29 08:40:34

数据治理数据虚拟化数据管理
数据分析工作，能做一辈子吗？
所谓的“AI/人工智能/智能BI/ChatGPT会取代数据分析师”，正是来自对数据分析工作的不了解。在不懂行的人眼里，数据分析师和算命大师没啥区别，不需要数据采集、不需要数据清洗、不需要数据治理、不需要分析建模、不需要积累经验、不需要你测试验证。

2024-09-29 00:00:05

AI人工智能ChatGPT
农业银行基于FS-LDM模型构建企业级数据模型
中国农业银行将数据建模方法与DataOps全生命周期的标准化流水线相结合， 从组织模式、管理制度、系统工具为数据模型结构提供全方位支撑。

2024-09-27 13:05:02

数据模型
数据分析落地全流程，你学会了吗？
面对细节数据缺失，可以用管理手段配合数据建设。比如要求客服在首次接单且售后无异常的情况下，接单30分钟内完成分配，有异常就人工反馈标注。

2024-09-27 10:27:50

数据分析模型管理
用户活跃、留存、流失，超全图解！
难做的根源，是：如果用户登陆的话，我们很清楚他登录以后干了什么，但是用户未登录的话，我们不清楚他为什么不登录。未登陆的理由，只能去猜。这就是这三大问题难缠的核心之处。如果领导问我们：“今天登录用户访问了哪些页面？”估计各个对答如流。

2024-09-26 12:28:49

用户活跃留存流失
​面试题：AI时代下怎么设计一个数据平台？
数据平台，最重要的是数据。AI时代下，视频，文本，音乐等一系列文件数据，都需要在一个统一的存储池上存储和处理，这个地方就是对象存储COS。

2024-09-26 08:03:25

数据平台AI数据湖
商业银行数据建模流程模式对比
商业银行数据模型是指使用结构化的语言将收集到的企业业务经营、管理和决策中使用的数据需求进行综合分析，按照模型设计规范将需求重新组织形成的结构化模型 。

2024-09-25 21:38:33

数据模型
细说企业数据分级：挑战、角色、步骤和实践 原创 精选
本文从数据分级的概念出发，依次介绍数据分级的挑战、必要性、好处、与数据生命周期的关系、以及实施数据分级的角色、步骤与实践。

2024-09-24 10:58:47

数据分级数字化安全
华为发布数据智能解决方案5.0，加速大模型从赋能到产能转型升级
华为全联接大会2024期间，华为第十二届全球智慧金融峰会2024（Huawei Intelligent Finance Summit 2024，以下简称“峰会”）同期举行。在以“韧行智远，共筑数智金融未来”为主题的峰会上，华为联合安硕、恩核、帆软、kyligence、瑞和数智、神州信息、同盾、兔展、先进数通、新希望金科、宇信、永洪、中电金信、中软国际等生态伙伴发布数据智能解决方案5.0，通过场景创

2024-09-23 08:36:45

华为全联接大会数据智能
联通数科基于一体化数据平台的元数据管理实践
本文将分享联通数科基于一体化数据平台的元数据管理实践。联通数科一体化数据资产管理平台获得了非常多的认可与荣誉，包括工信部、环保部、DAMA 等颁发的奖项。

2024-09-23 08:21:01

元数据管理数据治理数据虚拟化
字节跳动开源云原生数仓引擎 ByConity 技术详解与应用
本文介绍字节跳动开源的云原生数仓引擎，ByConity。ByConity 是基于 ClickHouse 产生。ClickHouse 社区已经发展了很多年。字节从 2017 年开始大规模使用 ClickHouse。在验证了多款产品之后，最终发现 ClickHouse 是唯一能够支撑字节当时的体量以及保证查询体验的产品。

2024-09-23 08:15:11

云原生ByConity数仓引擎
如何实现无头数据架构 译文 精选
无头数据架构可以在整个组织中解锁前所未有的数据访问，但它从左移开始。

2024-09-20 21:09:42

无头数据架构数据分析平台多跳架构
知乎大数据如何降本增效?
本篇文章介绍了知乎大数据在降本增效方面的实践。知乎内部 2022 年开始建设一套经济化计费体系——FinOps，以此系统为抓手推动公司内部降本实践。

2024-09-20 08:20:20

大数据FinOps成本模型
数据库顶会 VLDB 2024 论文解读：字节跳动如何对大规模 Spark 作业进行资源提效
近年来 Spark 已经成为离线大数据处理引擎的事实标准，广泛用于数据仓库、数据湖、机器学习等领域。在字节跳动内部每天运行百万级别的 Spark 离线作业，Shuffle 量高达 500PB，CPU 资源需求达到千万级别。

2024-09-19 19:08:46

Spark大数据
数据仓库平台Snowflake的全面管理指南 译文 精选
Snowflake的管理涉及到各种任务，从用户和角色管理到数据加载和安全性等方面。

2024-09-13 12:25:43

数据仓库Snowflake
这才是经营分析赋能，但90%的人都搞错了！
固定投入更像基础建设，很难直接衡量每一块投入提升多少订单。因此只能做分类管理，对每一类渠道的基建投入，控制总量。而可变投入是直接和订单相关的，因此必须具体考核收益。如果投下去资源没有见到额外增长，就得复盘投入价值。

2024-09-12 11:51:44

经营分析业绩增长数据量
腾讯大数据实时湖仓智能优化实践
本次分享题目为腾讯大数据实时湖仓智能优化实践。数据湖计算部分，Spark 作为 ETL Batch 任务的主要批处理引擎，Flink 作为准实时计算的流处理引擎，StarRocks 和 Presto 作为即席查询的 OLAP 引擎。

2024-09-11 14:47:00

大数据湖仓智能优化数据湖
缩小差距：解决数据驱动型组织中数据战略的九种反模式
在数据是关键资产的世界中，制定强大的数据战略对于任何旨在充分发挥数据潜力的企业来说都至关重要。然而，成功的数据战略之路充满了常见的陷阱——我称之为“反模式”。如果不加以识别和解决，这些失误甚至可能破坏最周密的计划。

2024-09-09 14:38:41

数据战略数据驱动
DataOps关键技术能力模型实践
DataOps作为一种新兴的数据处理与管理 方法，强调数据驱动自动化，既能为数据工作者提供敏捷的数据开发支持，同时也简化了数据交付的周期，提升数 据生产者与数据消费者的协同效率，成为企业数字化转型快速释放数据生产力的最佳方案。

2024-09-09 13:55:35

DataOps云计算大数据
数据湖与数据仓库的对比
与数据仓库不同，数据湖是一种存储大量原始数据的系统，这些数据可以是结构化的、半结构化的或非结构化的。

2024-09-05 16:08:52

数据仓库数据湖
上一页 1 23456 ··· 183
点赞

51CTO技术栈公众号

业务
速览
在线客服