51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9062内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9062 条
Hudi 在 vivo 湖仓一体的落地实践
在增效降本的大背景下，vivo大数据基础团队引入Hudi组件为公司业务部门湖仓加速的场景进行赋能。主要应用在流批同源、实时链路优化及宽表拼接等业务场景。

2023-12-14 13:01:00

Hudivivo
欧盟《数据法案》正式通过，将对行业有何影响？
该法律预计将于 2025 年 7 月底生效。对于制造、供应和处理智能设备相关数据的公司的全面影响仍不清楚。在该法律生效之前的过渡期间，企业收集和存储互联产品数据的方式将需要进行特殊改变。

2023-12-14 10:27:04

数据法案GDPR条例大数据
基于Python实现大规模光栅人口数据可视化 译文 精选
本文旨在探讨如何使用Python语言实现包括全球、国家和城市级别的跨多个尺度的地理空间人口数据的可视化。

2023-12-14 09:00:00

数据可视化Python数据集
大数据有哪些发展趋势以及在不同行业的应用
特别是随着云计算、边缘计算、物联网和流媒体等创新技术的出现，对于那些希望更好地了解客户和运营潜力的企业来说，大数据已经变得越来越普遍。

2023-12-13 15:17:54

大数据大数据分析人工智能
数据驱动业务方法
数据驱动业务可以帮助企业提高决策效率和准确性、优化业务流程和降低成本、提升用户体验和增加用户忠诚度、发现新的商业机会和拓展市场，以及提高企业竞争力和市场地位。

2023-12-13 13:35:50

数据驱动数字化转型数据分析
又一数据处理神器，通过GPU加速Pandas性能！
本文以 Python 3.10 和 Nvidia T4 GPU 运行整个代码为例说明 cuDF 的使用。

2023-12-13 13:23:21

GPUPandas
数据分析防掉坑指南
只要你听到的不是一个具体指标，都得打起十二分精神。因为没有经过专业训练的人，根本分不清楚自己想问的是啥。一句“分析分析”就完事了。分析问题混乱是常事。

2023-12-13 12:46:49

数据分析指标算法
如何让数据湖仓达到数据仓库的性能
数据湖仓库的演变重塑了数据分析，结合了数据湖和数据仓库的优势。尽管它具有变革性的潜力，但诸如高效查询性能等挑战仍然存在。创新解决方案如MPP查询执行、缓存框架和系统级优化可能弥合这些差距，并使企业能够享受湖仓库的所有好处，而无需承受任何缺点。

2023-12-13 07:26:24

数据湖仓数据仓库性能
关于大数据服务应该了解的一切
大数据是一个在商业和技术领域广泛使用的术语。简而言之，这是从各种来源获取极大量复杂数据，并对其进行分析以发现模式、趋势、问题并提供获得有用见解的机会的过程。

2023-12-11 16:36:09

大数据BDaaS大数据即服务
太精彩了，原来RFM模型还可以这样用
任何模型都有其产生的历史背景、数据基础、使用范围，也不是所有模型的目的都是精准。简单、好用、省事，是更多时候的考虑。​

2023-12-11 13:57:00

RFM模型激励机制
​Alluxio SDK 在 Presto/Trino 中的应用
本文将分享 Alluxio Edge 在 Trino/ PrestoDB 中的应用。Alluxio System 作为分布式的数据编排系统，具有缓存功能，能够解决上面的痛点。同时，我们在思考，如何把缓存这个最基本、最常用的功能做得更极致化。计算机领域有句著名的话，“在计算机科学中只有两件难事：缓存失效和命名”。于是，就诞生了 Alluxio Edge。

2023-12-11 07:27:11

数据编排系统Alluxio数据平台
数据科学家95%的时间都在使用的11个基本分布
今天将为大家带来数据科学家95%的时间都在使用的11个基本分布。掌握这些分布，有助于我们更深入地理解数据的本质，并在数据分析和决策过程中做出更准确的推断和预测。

2023-12-08 13:53:47

基本分布数据科学数据分析
确定数据分布正态性的11种基本方法
本文将介绍测试数据正态性的11种基本方法，帮助读者更好地理解数据分布的特征和如何应用合适的方法进行分析。

2023-12-07 19:00:25

数据科学机器学习数据可视化
2023年五个自动化EDA库推荐
EDA或探索性数据分析是一项耗时的工作，但是由于EDA是不可避免的，所以Python出现了很多自动化库来减少执行分析所需的时间。EDA的主要目标不是制作花哨的图形或创建彩色的图形，而是获得对数据集的理解，并获得对变量之间的分布和相关性的初步见解。

2023-12-07 14:34:00

EDA数据集数据分析
经营分析，如何诊断业务问题
所谓“屋漏偏逢连夜雨”，就是这个局面。此时，想要用数据描述问题，容易，树个标杆就能看出差距。想用数据诊断问题，就得突破上边层层险阻，争取业务的支持和老板的理解，才能见效。这是从数据到落地的必经之路。

2023-12-07 12:38:07

经营分析诊断业务数据
2024年企业在数据安全战略方面有哪些变化
根据IBM的数据，2023年数据泄露的平均成本达到了创纪录的445万美元，比2020年上涨了15%，仅是财务影响就足以终结一家企业，但数据泄露也可能对品牌声誉和客户对企业的看法产生毁灭性影响。

2023-12-06 16:40:36

大数据数据安全
数据科学家95%的时间都在使用的11个基本图表
了解数据科学中最重要和最有用的图表非常重要，本文将带来数据科学家95%的时间都在使用的11个基本图表。

2023-12-06 13:42:00

图表可视化
用第三方拖拽库快速撸一个可视化搭建平台
全选和组合实现的思路其实本质上是对数组的操作. 全选的过程中, 我们需要先捕获全选的区域坐标, 然后过滤出这个区域内的组件, 然后批量更新数组中每个选中元素的选中状态。

2023-12-06 08:07:13

拖拽库可视化
小米数据生产平台的产品设计方法与实践
本文将分享小米数据生产平台的设计与实践。数据从生产到应用全流程大致可以分为 5 个步骤，首先是数据的产生，接下来对产生的数据进行收集，再找个容器存储起来，存储后进行处理加工，最后把数据投入应用。大部分数据产品都对应这五个环节。

2023-12-06 07:16:17

数据生产平台数据存储
网易数帆指标中台构建核心技术解析
本文将分享网易数帆在指标中台构建方面的实践。网易数帆指标中台（EasyMetrics）介于数据中台和下游的数据应用（主要是 BI）之间，提供了指标的标准化能力。通过“一次定义，多次复用”（Build once , use many），为业务决策和管理提供单一、可信的数据来源，解决长期以来指标口径不一致的问题。

2023-12-05 07:26:29

指标中台大数据
大数据：成功企业背后的燃料
行业专家指出，信息分析一直在发展，这主要受益于机器学习、人工智能的出现，以及企业越来越重视高级数据分析。

2023-12-04 14:02:43

大数据信息分析
Apache Celeborn 社区的今天和明天
本文将介绍 Apache Celeborn 的用途、核心设计及其社区现状与发展规划。数据的转换指的是数据发生变化、产生新的数据或者被过滤掉等。具体的实现方式包括算子和 UDF，如常见的 Filter、Project、Aggregation、Join，内置 function，自定义 UDF 等。

2023-12-04 07:42:13

大数据数据的转换
技术 or 业务？数据分析发展路径大盘点
本身，数据分析能力是个底层能力，各种岗位，各类公司都有需求。特别是最近各行各业的数字化转型大潮，使得做数据的同学在业务上，技术上都多了很多公司和行业可以选择。

2023-12-03 09:10:00

技术业务数据分析
大数据时代的数据集蒸馏，大型数据集上的首次成功
11 月 30 日，全球第一所人工智能大学——穆罕默德·本·扎耶德人工智能大学（MBZUAI），在 arXiv 预印平台发布了题为《大数据时代的数据集蒸馏》（Dataset Distillation in Large Data Era）的文章。

2023-12-01 16:23:52

大数据人工智能
数据湖和中央数据仓库的设计
数据网格（Data Mesh）具有相同的功能集，以满足领域驱动的分散化的目的。为了设计数据网格，强调遵循4个原则，并针对组织中不同团队提供了不同的责任。

2023-12-01 14:55:32

数据网格数据湖
如何看待大数据云原生发展之路--观 2023 云栖大会有感
作为一个大数据从业者，在公有云和容器化发展的大趋势下，我们关注的重点已经不仅仅是大模型，大数据在未来几年发展的重点方向是什么，大数据的技术演进路线会如何。

2023-12-01 08:36:01

大数据公有云容器
一起学 Elasticsearch 系列-聚合查询
聚合查询是 Elasticsearch 中一种强大的数据分析工具，用于从索引中提取和计算有关数据的统计信息。

2023-11-30 15:23:07

聚合查询数据分析
探索性数据分析（EDA）之数据可视化案例：附数据集和源码
在这篇文章中，我们使用数据可视化在数据集上做了一系列的实验和测试，基于各个变量对数据集做了一些分析，比如单变量分析和可视化（条形图、饼图、折线图、直方图）；热力图可看作是双变量分析，因为它呈现了两两变量之间的相关性。

2023-11-30 07:23:53

数据分析EDA
六种替代方案告别传统可视化图表，数据科学家必备！
数据可视化是数据科学中至关重要的一环，散点图、条形图、线图、箱线图和热图等常见图表广泛应用于数据分析和呈现。本文中，笔者为大家总结了这些热门图表的几种替代方案。

2023-11-29 20:24:45

数据可视化图表
释放非结构化数据力量的八个技巧
非结构化数据资源对于获得业务洞察和解决问题非常有价值，关键是弄清楚如何创造这种价值。熟练利用这些海量信息资源的企业可以在向关键业务流程提供可操作的洞察方面获得显著优势。

2023-11-29 17:08:29

非结构化数据数据分析
不了解数据管理可能会阻碍业务的发展
数据在过去十年里风靡一时，被宣布为数字经济的“新石油”，是的，数据具有为你的企业创造价值的巨大潜力，这使得其收益和对其的分析(即数据科学)非常令人兴奋。

2023-11-29 17:07:18

数据管理数据科学
加薪之路：高级数据分析师必备的八大能力
设计标签能力和梳理指标一样重要，但是经常被人忽视。高级的数据分析师可不是只会把维度表里的城市、性别、年龄拖出来用，而是能很敏锐地从业务口中捕捉到“高级用户”“长线运营”“防御性产品”这种词语，然后试着用数据量化。

2023-11-29 13:50:00

数据分析师
推荐多任务 2023 最新进展：用户生命周期视角下的多任务推荐模型 STAN
自从 MMoE 和 PLE 大杀四方，获得 RecSys Best Paper，多任务 CTR/CVR/StayTime 还有什么做法？本文介绍了 Shopee 提出的在用户分群基础上进一步细化多任务效果的优化方法--用户生命周期视角下的多任务推荐模型。

2023-11-29 07:25:58

生命周期数据分析
严把数据质量关，用Pandas轻松进行七项基本数据检查
当在处理较小的数据分析项目时，使用Pandas进行这些数据质量检查是一个很好的起点。根据问题和数据集的不同，还可以加入其他检查。

2023-11-28 18:15:42

Pandas数据检查
我们一起捋捋数据分析落地全流程
面对细节数据缺失，可以用管理手段配合数据建设。比如要求客服在首次接单且售后无异常的情况下，接单30分钟内完成分配，有异常就人工反馈标注。

2023-11-28 12:42:56

数据分析管理
混合存储架构中的数据编排
Alluxio 不仅适用于传统 Hadoop 环境，还可与现代大数据生态系统、云原生应用程序的存储和计算资源无缝集成。在混合云、混合存储架构中，Alluxio 作为数据联邦桥梁，为自治数据系统之间提供数据共享的解决方案。

2023-11-28 07:29:17

Alluxio数据编排系统
七个有创意的数据结构与算法可视化网站，推荐给老师、学生和开发人员
今天特别推荐一些有创意的数据结构与算法交互式可视化平台。特别适合学生、教师以及算法开发工程师。

2023-11-27 16:41:25

数据结构可视化
数据湖与数据仓库之间的五大差异
根据Google的说法，对“大数据”的兴趣已经持续了好几年，而且在过去几年里真正的兴起。这篇文章的目的是为了帮助突出数据湖泊和数据仓库之间的差异，帮助您就如何管理数据做出明智的决定。

2023-11-27 16:35:28

数据湖数据仓库
区块链是否会颠覆电商行业的大数据？
区块链的独特功能，包括其公共分类账、去中心化性质以及合并区块链ID，呈现了电子商务环境中数据管理方式的范式转变，这项技术能够增强安全性，提供透明的数据交易，并使用户能够控制自己的信息，这表明它对大数据实践产生了颠覆性的影响。

2023-11-27 15:38:05

区块链大数据
Python Pandas数据预处理：你知道数据标准化吗？
z 映射的值是用当前特征值与比较数组的平均值之差，除以比较数组的标准差计算得来的。例如，我们可以计算列 deceduti 的 z-map，使用列 terapia_intenva 作为比较数组。我们可以使用 scipy.stats​ 库的 zmap() 函数实现。

2023-11-27 13:58:00

数据预处理数据标准化
业务模型 VS 算法模型，到底该怎么用？
典型的业务模型RFM，做用户分层时，如果每个指标分3类，那么就有3*3*3=27类，在业务上已经复杂到很难匹配对应策略了。但是如果用协同过滤算法，完全可以做到千人千面，这也是算法模型的巨大优势。

2023-11-27 12:24:23

算法模型业务模型
浅谈工作中常用的数据分析方法
本文将从业务指标建立、业务指标体系搭建到常用的数据分析方法进行介绍。

2023-11-26 17:47:00

数据分析
数据分析经典方法之：周期性分析法
周期分析法，还是更深入分析的基础。比如做预测，如果能拆分出整体数据中周期规律，预测就非常简单！比如做指标异动分析，如果已知有几个因素在影响，每个因素自身周期规律，那么追溯真实原因也很容易。很多同学做得不深入的原因，就是对基础规律了解不够。​

2023-11-26 08:20:35

数据分析周期性
Python：打造可视化数据分析应用的实战指南！
本文介绍了如何使用Python打造可视化数据分析应用，以及NumPy、Pandas和Matplotlib这些常用模块的使用方法和代码案例。

2023-11-24 14:02:00

Python数据分析
腾讯 PCG 数据治理体系
本次分享题目为腾讯 PCG 数据治理体系。腾讯 PCG 内容与平台事业群，包括大家所熟知的 QQ、腾讯视频、腾讯新闻、阅文集团，以及腾讯音乐等业务。

2023-11-24 07:10:44

数据治理PCG
大话数仓，数据仓库，维度建模方法（二）
前文已经简单介绍了什么是数据仓库，数据仓库事实表、维表等相关概念。在了解这些概念之后，我们要建设符合企业要求，能支持业务使用、运营分析的数据仓库。

2023-11-23 16:59:37

数据仓库建模
大话数仓，数据仓库（一）
数据仓库，是越来越流行的数据解决方案。传统烟囱式的数据开发模式，显然不能满足日益增长的数据需求，而作为大数据量化方案、解决大数据问题、发掘数据价值的大数据仓库被很多公司采纳使用。

2023-11-23 16:53:56

数据仓库大数据
大数据在推动心理健康研究中的作用
大数据在心理健康研究中的作用是变革性的。它使研究人员能够利用统计方法，考虑到遗传和环境因素，并解决建立因果关系的挑战，来解决心理健康的复杂性。

2023-11-23 10:08:06

大数据心理健康
如何通过提高数据质量来做出可靠有效的决策
当企业的数据出错时，没有简单的方法来指导企业。随着数据规模的显著增长，人们可能会觉得真正的数据质量几乎不可能实现，然而，通过意识到劣质数据的症状，企业可以迅速采取行动并解决更深层次的问题，使它们重新走上高质量数据的道路，并增强决策信心。

2023-11-22 16:08:29

大数据提高数据质量
AI如何扩展数据分析并使其更高效
通过自动化各种分析任务和简化分析生命周期，AI将错误降至最低，释放人力资源用于战略工作，并削减运营成本。在AI和数据之间的这种共生关系中，企业为扩展分析和推动数据驱动的决策找到了一个强大的支持力量。

2023-11-21 16:02:56

数据分析人工智能
上一页 1 ··· 89101112 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服