51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9032内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9032 条
使用亮数据解决数据采集的困境
在大数据时代，数据被视为推动生产力增长的核心资源。然而，获取网络数据的过程远比人们想象的要复杂和具有挑战性。

2024-11-18 08:29:43

大数据网络数据数据采集
用通用语义层解决数据不一致问题 译文 精选
不同的BI、分析和数据科学工具导致用户组之间在数据解释、业务逻辑和定义方面存在差异，通用语义层可以解决这些差异。

2024-11-18 08:00:00

数据仓库通用语义层商业智能
分析指标波动，数据模型得这么建
数据分析需要跑数，但想解读跑出来的数，需要的是掌握丰富的事实情况，用数据量化评估其中可量化的部分，监控其中持续发展的部分，拆解其中模糊部分，从而越来越接近真相。

2024-11-15 11:43:21

指标波动数据模型
用 Python 进行大数据处理六个开源工具
本文介绍了六个常用的 Python 大数据处理工具，每个工具都有其独特的优势和适用场景。通过实际的代码示例，我们展示了如何使用这些工具处理大规模数据集。

2024-11-14 12:00:00

Python开源大数据
抖音集团数据血缘深度应用：架构、指标与优化实践
在抖音集团内，对于数据血缘建设的目标是：构建全覆盖、实时、准确的大数据血缘，基于血缘数据打造全场景血缘应用赋能提效。这里我们的认知是：数据血缘是元数据的核心基础能力，如果想致力于打造更高效的数据平台，可提高对于数据血缘的建设重视程度。

2024-11-13 08:47:24

数据血缘元数据数据平台
数据湖系列 | 数据湖存储加速方案的发展和对比分析
类似客户 H 遇到的这些问题的例子还有不少。他们中大多都经历了从自建 IT 基础设施到开源大数据生态的时期，并尝试将以前的经验复制到 AI 场景。

2024-11-13 08:43:47

数据湖存储IT
什么是顶级的数据分析方法？
数据分析的方法是非常多的。但为什么很多同学感觉自己没用上方法呢？因为每种方法是和业务场景、领导风格、数据质量、息息相关的。

2024-11-08 12:36:35

数据分析业务场景时间序列法
Python 统计分析常用的 30 个经典脚本
本文介绍了使用 Python 对数据进行统计分析的 30 个经典操作，涵盖了从基本的描述性统计到更高级的统计度量。每个操作都附有代码实现和输出结果，以便读者方便地在实际应用中使用这些方法。

2024-11-07 11:10:34

Python脚本统计分析
数据管理的四大支柱：揭秘数据中台、数据仓库、数据治理和主数据
数据中台作为数据的“中央厨房”，负责数据的整合和加工；数据仓库作为数据的“图书馆”，负责数据的存储和查询分析；数据治理作为数据的“交警”，确保数据的规范和安全；而主数据作为数据的“身份证”，确保数据的权威性和一致性。这些概念在企业中相互协作，共同构成完整的数据管理体系。

2024-11-07 09:56:47

数据管理数据中台数据仓库
用户分析，找到一份完整的攻略
在数据上，观察培养与筛选的区别，主要看用户的需求是否会随着与我司关系深入而增加，以及能否被我司营销行为影响。如果经过长期相处与反复投放，都很难提升用户表现，则说明至少在当下我司力所能及的范围内，用户是无法被培养的。如果有某些措施能明显提升用户表现，则说明这个手段是好的培养手段。

2024-11-07 08:50:56

用户分析分类维度标签
大数据技术之Flink：你俩不行，还是我“流”的好
随着移动互联网、物联网的兴起，每分每秒都在产生大量的数据，例如传感器产生的数据、订单交易数据、用户行为记录等。这些无时不刻都在产生的数据，我们称之为无界数据或流数据。通常被用于用户行为分析进行实时推荐、销售数据实时分析进行营销策略调整等场景。

2024-11-06 10:30:22

Flink互联网物联网
从数据中台到数据飞轮：解锁企业发展的新动力 原创
在当今的数据时代，企业越来越意识到数据对业务的重要性。然而，通过不断地试错企业认识到，仅仅构建数据中台并不能带来业务增长。需要在数据中台的基础上，利用数据驱动为上层业务，让数据与业务协同工作形成商业闭环，才能促使业务的飞速增长。这就需要引入“数据飞轮”的概念，它帮助企业有效利用数据资产，驱动持续改进并保持竞争优势。通过理解和应用数据飞轮的能力，能为业务发展提供新方向和新思路。

2024-11-06 10:00:00

数据飞轮数据中台
六款超好用的数据可视化工具，你知道几个？
Flourish是一款功能强大的在线数据可视化工具，只要输入数据，它就可以帮你生成各种静态图表和动态图表，输入数据的格式包括excel、json、csv或者自建。

2024-11-04 08:49:11

数据可视化工具
高性能PHP框架Webman服务端实现流式输出有哪些解决方案？
Stream流式输出是一种数据处理方式，它将数据以流的形式进行传输和处理。在这种处理方式中，数据不再是集中存储在某个地方，而是以分散的方式存储在各个节点上，并不断流动。数据流的处理是在流动的过程中完成的，因此能够实时地处理数据，提高了数据处理效率。

2024-11-01 11:46:59

webman服务端流式
腾讯基于 LLM 的智能数据分析平台 OlaChat 的落地实践
随着大语言模型（Large Language Models, LLMs）的快速发展，智能分析在商业智能（Business Intelligence, BI）领域的影响日益显著。本节将探讨从传统 BI 到智能 BI 的过渡过程，分析这一转型所带来的新机遇与挑战。

2024-11-01 08:16:54

大语言模型LLM数据分析
这才是大厂的经营分析报告，而不是“念PPT会”
Rustls是可用于生产的TLS在Rust中的实现，比它的C对应物更快更安全。它的强大之处在于它不局限于Rust，它也可以在任何带有rustls-ffi的语言中使用，所以可以期待其他语言(如C、C++、Python和Ruby)的项目都能采用它。

2024-10-31 11:28:59

Rust项目语言
让数据的飞轮再转一会 原创
每个时代都期盼一个英雄来拯救，就如同IT界每个时期需要一个新理念来承载所有人的梦想一样，哪怕有些梦想注定难以变成现实，也能让梦想得以延续。

2024-10-31 10:00:00

数据飞轮数据中台
抖音集团指标管理与消费体系建设实践
本文将介绍抖音集团管理数据、应对数据质量与效率挑战的策略，重点聚焦于如何通过指标服务提升数据产品的稳定性和可复用性。

2024-10-31 08:22:56

数据管理指标管理消费体系建设
数据分析十大模型：决策模型
注意！即使没有模型，手工也能做处理。一般做投放的同学，会用每个渠道投放费用/获客数量，计算每单位获客成本（CAC），然后看哪个渠道的获客成本低，就先把这个渠道全部投满，然后看看手头还剩多少钱，继续投成本第二低的。

2024-10-30 12:21:18

数据分析决策模型驱动
做数据十年，第一次见这么棒的数据分析方法
想真正理解&掌握数据分析方法，当然不能这样“拿着锤子找钉”。工作中的数据分析，要紧密结合业务，服务业务需求。因此理解业务需求，围绕问题找答案，才能理解各种数据分析方法有什么用，该怎么用。

2024-10-30 12:17:51

数据分析方法全流程
夜莺Nightingale：打造高可用监控平台
在本文中，我们详细介绍了如何部署和配置夜莺Nightingale监控平台，以实现高可用性监控架构。通过精心设计的Redis集群、MySQL主从复制、Prometheus数据源集成，以及Keepalived的高可用配置。

2024-10-30 08:04:20

监控平台夜莺Redis集群
快手电商数据指标体系建设与实践
本文将分享快手电商在数据指标体系建设方面的探索与实践。快手电商的经营场景主要涉及电商的"人货场"概念，具体为内容场和货架场，通过这些场域与用户建立连接，提供价值。

2024-10-29 08:09:18

数据生产数据查询数据使用
麦肯锡都在用的MVP分析法，到底是什么？
MVP（Minimum Viable Product）原本是应用于产品设计的方法。指在正式推出产品前，先推出一个版包含核心功能的简单版本，测试用户需求与反馈，从而快速判断产品是否符合市场需求，做出调整。

2024-10-28 13:07:35

MVP分析法产品
如何使用 Pandas 进行数据清洗？如何保证数据清洗的效果？
考虑使用自动化工具和框架来简化数据清洗过程。例如，使用 Apache Airflow 或 Prefect 来自动化数据管道，确保数据清洗步骤的一致性和可重复性。

2024-10-28 12:57:36

Pandas数据清洗
结合 NumPy 和 Matplotlib 进行数据可视化的十种创意
本文我们可以看到 NumPy 和 Matplotlib 在数据可视化中的强大能力，无论是简单的正弦波形还是复杂的等高线图，都能轻松实现。

2024-10-24 16:43:15

NumPyMatplotlib数据可视化
提升效率的十种 Pandas 数据操作方法
无论是数据清洗还是探索性数据分析，Pandas都能帮你轻松搞定。接下来，我会分享十个技巧，让你在处理数据时更加高效。

2024-10-23 09:00:00

数据分析Pandas
云上大数据架构是什么？
数据摄取是指从各种来源（结构化和非结构化数据）将数据导入系统的过程。数据可以来自数据库、日志文件、传感器数据、社交媒体等。

2024-10-23 08:46:16

云上大数据架构
为什么你做数据分析没思路？
数学、统计学、运筹学是有很多方法的，而看书本身能让人感到充实。于是，就有一些看书入迷的同学，开始拿着锤子找钉。比如今天看到统计学正态分布，好爽，于是看谁都像个正态。明天看到回归分析一章，看谁都想回归一下……

2024-10-22 11:34:34

数据分析统计学
大模型与大数据双向赋能，“WeData+AI”智能化升级
本文将分享 WeData 大数据开发与治理平台如何与 AI 技术相结合，实现智能化升级。

2024-10-22 08:55:40

大数据开发WeData大模型
Doris企业级实战，构建TikTok实时数据仓库
在迁移到Apache Doris前，TikTok通过Flink传输实时数据，并使用Kafka在不同数据层间实现数据流动。由于Kafka本身没有逻辑表，因此在其上开发不如在Hive上那么容易。

2024-10-18 08:17:09

Doris数据仓库
数据驱动营销五步法：提升营销效果的关键指南
数据驱动营销已成为企业提升营销效果的核心手段。本文提出了五个关键步骤：聚焦重要指标、确保数据质量、优化客户细分、整合跨渠道数据以及持续监控和调整策略，这些步骤帮助企业在激烈竞争中通过精准的数据分析，提升营销效率，推动业务增长。

2024-10-17 11:16:37

数据驱动数据分析
CIO仍然比以往任何时候都更接近他们梦想的数据湖仓
Databricks收购Tabular未能阻止Apache Iceberg的崛起，Iceberg现已成为数据湖领域的赢家，然而，这次收购令CIO们困惑，Databricks作为 Delta Lake的缔造者为何会收购Iceberg的创始团队。

2024-10-16 14:23:54

CIO数据湖
互联网海量数据如何存储Kafka
Kafka的数据是如何存储、分片、复制的？它是如何保证高可用，如何保证数据一致性的？那你会发现它和分布式存储系统，并没有什么太大的区别。唯一的区别就是，它的查询语言（生产和消费消息）和存储引擎的数据结构（Commit Log）比一般的存储系统要简单很多。

2024-10-16 10:35:52

存储大数据互联网
别再罗列指标了，有用的经营分析这么做
很多公司经营分析是财务部门做的，结果财务部门真的就只盯着自己的三张表，每天算利润、算现金。你问他：“销售部门在干啥？”“营销有啥动作？”“市场环境有啥变化？”一问三不知。只知道结果，不知道过程，这是“要搞高”问题根源。

2024-10-15 11:54:38

经营分析指标策略
京东大数据治理探索与实践
本文将分享京东在大数据治理上的探索和实践经验。作为国内领先的电商平台，京东在数据基础设施上的投入极为巨大，涵盖数万台服务器、数 EB 级存储、数百万个数据模型及数以百万计的任务执行

2024-10-15 08:14:51

大数据治理数据驱动数据模型
数据准备指南：十种基础特征工程方法的实战教程
在数据分析和机器学习领域，从原始数据中提取有价值的信息是一个关键步骤。这个过程不仅有助于辅助决策，还能预测未来趋势。为了实现这一目标，特征工程技术显得尤为重要。

2024-10-14 15:00:59

机器学习数据分析
“人货场”模型怎么用？为什么互联网行业也在讨论它？
由于既不确定顾客购买意向，又不确定需求，因此这个阶段的匹配成功率必然是大大降低的。并且夹杂的影响因素太多，根本无法分析清楚：到底是哪个环节出的问题导致不成交。

2024-10-14 12:51:02

人货场模型互联网
业务型 VS 技术型数据分析师，哪个更有前途？
对于在校生而言，强烈建议不要考虑啥业务型分析，就认认真真找一个写SQL的岗位实习仨月。也不用管它啥公司，只要能写SQL就行。

2024-10-12 14:39:54

业务型技术型数据分析师
大数据分析能让大学体育招募重回正轨吗？
如今美国大学体育招募就像狂野的西部，数百万业余运动员与2800个大学体育项目相匹配的过程已经变成了一场混战。但对于德克萨斯州奥斯汀市的一位科技企业家来说，这种混乱预示着一个机会，他渴望利用大数据技术为大学招募人员创造公平的竞争环境。

2024-10-12 14:12:50

数据分析体育招募人工智能
喜马拉雅基于大模型 ChatBl 实践探索
本文将分享喜马拉雅基于大模型 ChatBI 的实践探索，文中将重点介绍关于准确性和大模型幻觉等问题的解决方案。

2024-10-12 08:11:05

大模型ChatBI数据分析
盘点2024年生成式AI带来的五大新型安全威胁
随着OpenAI ChatGPT等工具的出现以及对攻击者用户的突显，“你可以假设复杂性和准确性都有所提高，以及网络钓鱼和社会工程中语言学发生的变化，”托管检测和响应提供商Blackpoint Cyber安全副总裁MacKenzie Brown这样表示。

2024-10-10 13:20:35

网络安全大数据AI
数据分析十大模型：CVP模型
为了保证APP正常运行，需要最起码的运维投入是多少？这个保底水平，也得通过数据量化，否则只看眼前运行没有问题，就随便裁员，导致APP出了大BUG，从“降本增效”变成“降本增笑，都是预料之中的。

2024-10-10 11:59:11

CVP模型数据
运营数据分析体系，最全搭建攻略来了！
运营工作形式灵活，因此经常需要根据实际工作流程，来设定数据指标。一来方便监控执行进度，二来在复盘的时候，好观察哪个环节出了问题，便于追查原因，寻找机会。

2024-10-09 11:57:34

运营数据分析体系
肯睿Cloudera发布AI推理服务，携手NVIDIA加速企业生成式AI开发与部署
肯睿Cloudera今天发布了由NVIDIA NIM微服务驱动的肯睿Cloudera AI推理服务，该服务同时成为NVIDIA AI Enterprise平台的一部分。

2024-10-09 11:00:29

ClouderaNVIDIA生成式AI
文心大模型赋能商业智能助手的探索与实践
本文将分享文心大模型在构建商业智能助手中的探索与实践，重点讲述其在爱企查中提升商业收益和用户体验的应用。文中将介绍利用大模型代码生成能力，和知识图谱，优化数据库查询效率，并通过加入表结构和样例数据提升代码生成准确率，还将介绍如何利用图形可视化进一步提升数据分析效率。

2024-10-09 08:36:52

文心大模型数据分析数据库查询
现代数据架构的探索与实践：知语数据编织系统
数据编织是分布式数据逻辑集成的关键，本次分享将对这种新型数据管理架构展开探讨，包括为什么我们需要数据编织，以及知语数据编织产品的相关研究和实践。

2024-10-09 08:33:41

数据编织数据管理架构数据孤岛
存算分离是数据架构必然趋势？
存算分离架构是一种新的数据架构的设计范式，自上而下分为数据分析层、计算层和存储层，其中计算层和存储层解耦合，都是独立的分布式服务。

2024-10-08 14:52:37

数据架构数据分析数字化转型
标签 VS 数据指标体系，这篇讲得太清楚了！
当然，流程式也不止漏斗这一种，比如在生产、服务、售后等环节，也是一个完整的流程，但不是逐步递减的。比如生产任务，是肯定要完成的，但随着生产工序增加，每一步会增加新的原料、生产费用、人工成本，此时整个流程所消耗的成本、时间是逐级递增的。

2024-10-08 09:01:45

标签数据指标数据分析
货拉拉大数据元数据管理体系演进和实践
本文将分享货拉拉大数据元数据管理的演进与实践。本次分享的重点是元数据管理平台，该平台作为大数据体系的元数据中心，其核心职责涵盖了元数据管理、数据资产管理以及成本治理三大方面。

2024-10-08 08:27:22

大数据元数据管理成本治理
用户生命周期分析，这个坑90%的人踩过！
对线下实体店而言，用户到店即付费，先消费后体验服务。但在互联网产品里，付费与活跃脱节的现象很常见。或者有的产品干脆允许用户只活跃，不付费，通过额外的权益和道具收费。比如游戏、在线音乐、视频、社区等等皆是如此。

2024-10-08 08:14:08

用户生命周期分析服务
1 23456 ··· 181
点赞

51CTO技术栈公众号

业务
速览
在线客服