51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程软考华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9113内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9113 条
大数据时代必备技能——分库分表的原理与应用
分库分表是一种常见的数据库扩展方案，可以通过将数据分散到多个物理数据库中，并按照一定的规则划分数据，来提高系统的性能和并发能力。下面，我将详细介绍分库分表适用场景、好处和坏处，以及业内常用的解决方案和执行流程。

2023-07-10 09:42:45

分库分表大数据
Hadoop on K8s 编排部署进阶篇
Kubernetes（通常简称为K8s）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它提供了一种强大的方式来管理容器化应用程序的资源和生命周期。

2023-07-10 07:22:16

Hadoop开源平台
野生数据分析师脱困指南
从本质上看，数据分析是个技术工种，不像运营/产品，非常依赖成功案例。作为数据分析师，有能力提取/加工数据，了解常见的业务场景，能梳理清晰需求，能搭建看板/模型，能做好测试，就足够我们安身立命了。

2023-07-08 23:05:01

数据分析运营
智慧医疗：大数据分析对医疗保健的影响
大数据分析在医疗保健领域最重要的影响之一，是其改善患者护理的潜力。通过分析患者的病史、基因数据、生活方式选择和其他相关信息，医疗保健提供者可以预测潜在的健康风险并开出个性化的治疗方案。这种方法被称为精准医学，旨在根据患者的独特特征制定治疗方案，提高护理效果并减少不必要的手术和药物。

2023-07-07 14:15:28

智慧医疗大数据
数据分析师，如何给自己找活干
数据分析想给自己找活干，要多了解公司数据现状，找到业务部门需要的数据，从报表开始逐步完善数据体系，并且要列清楚进度，一步步实现，让大家看到自己的努力，这样才是破局之路。​

2023-07-06 14:52:36

数据分析师SQL
大数据面临的六个挑战
本文阐释了大数据面临的6个挑战，还深刻探讨了云计算基础设施应该如何克服这些挑战。

2023-07-06 14:29:11

大数据
下一个数据战略的六个战略要点
根据麻省理工学院技术评论的调查，企业的数据战略支持重要的业务目标，包括促进销售、提高运营效率以及缩短上市时间，它还可以帮助企业开发新产品或进入服务市场，以及改进创新、维护实物资产和ESG。

2023-07-05 10:30:03

数据战略大数据
加速AI推理，探索英特尔® 至强® 可扩展处理器在OCR应用落地方面的实践 原创
用友算法工程专家宋祺、亚信科技产品运营专家吕莹、东软集团医疗保障事业部产品发展部部长黄小卫、英特尔人工智能软件架构师桂晟、虎博科技创始人&CEO陈烨，围绕《从OCR起步推进企业AI应用落地》这一主题进行了精彩的分享。

2023-07-04 11:09:41

人工智能英特尔
哔哩哔哩数据服务中台建设实践
本文将分享哔哩哔哩数据服务中台的建设实践。

2023-07-04 07:11:30

数据分析中台
探索数据结构的作用
数据结构是一种全面的数据管理方法，其简化了实时访问、集成和分析来自不同来源的数据的过程。其还有助于组织做出更明智的决策，推动创新，并提高整体运营效率。

2023-07-03 17:24:33

数据结构
预测分析初学者指南
长期以来，预测分析仍然是一个高度复杂的领域，只有数据科学家和数据分析师才能从事和利用；然而，得益于机器学习等人工智能技术，现在即使是接受过最少培训的企业用户，也可以利用预测分析来分析历史和当前数据，以获得洞察，从而简化运营、降低风险并发现机会。

2023-07-03 15:05:07

预测分析大数据
在能源管理中实施预测分析有哪些好处
预测分析是指使用数据、统计算法和机器学习技术，根据历史数据确定未来结果的可能性。在能源管理的背景下，预测分析可用于预测能源消耗，在潜在问题发生之前识别潜在问题，并优化能源使用。

2023-07-03 14:11:06

预测分析
天穹SuperSQL如何应对数据湖场景中的复杂多维分析
本文将介绍腾讯自研的大数据计算平台——天穹SuperSQL，以及在应对数据湖场景中的复杂多维分析方面的实践。

2023-07-03 07:46:50

大数据计算平台SuperSQL
聊聊数据仓库建设步骤
在本文中，我们将通过概述数据仓库设计和数据仓库开发步骤的两种基本方法来深入探讨数据仓库实现的细节。

2023-07-02 14:11:28

数据仓库大数据
Delta Lake在BI+AI产品中的实践
本文根据观远数据研发主管李迪砺讲座整理，分享主题为《Delta Lake 在 BI+AI 产品中的实践》。

2023-06-30 07:40:31

数据分析Delta lake
100000行级别数据的 Excel 导入优化之路
由实施 / 用户 将别的系统的数据填入我们系统中的 Excel 模板，应用将文件内容读取、校对、转换之后产生欠费数据、票据、票据详情并存储到数据库中。

2023-06-29 08:22:43

数据Excel模板
自动数据采集的好处 译文
在这个数字化的时代，企业每天都会收发许多文件。但从各种文件中提取非结构化数据对于企业来说依然是一件难事，如发票和采购单。如今，超过80%的数据是非结构化的，而且在2023年以后非结构化数据预计会增长继续增长。 然而，随着自动数据采集技术的出现，这一过程已被彻底改变。技术为企业带来了很多便利。

2023-06-28 16:43:31

OCR数据管理
我们一起聊聊Hdfs的透明加密记录
• HDFS透明加密（Transparent Encryption）支持端对端的透明加密，启用以后，对于一些需要加密的HDFS目录里的文件可以实现透明的加密和解密，而不需要修改用户的业务代码。端对端是指加密和解密只能通过客户端来操作。

2023-06-28 07:56:46

透明加密记录
面向行为分析的数据治理和应用
本文将分享奇富科技-数据生态团队如何对面向行为分析的数据进行治理和应用。

2023-06-28 07:54:44

数据治理数据分析
数据湖 Iceberg 在小米的应用
本次分享内容是数据湖 Iceberg 在小米的应用场景。Iceberg 是具有 SQL 行为的表的开放式标准，此定义由 Ryan Blue 提出。

2023-06-28 07:47:34

Iceberg数据湖
用户分析，这么做才能有深度
做数据的同学，往往做ABtest的很多，但做得很被动。往往是业务拿着方案，数据只是机械操作。自己提假设，自己进行验证的能力差。

2023-06-27 11:57:24

用户分析挖掘法ABtest
汽车之家敏感数据治理实践
"中间件-AutoProxy"实现了面向应用的透明数据脱敏，减轻了数据脱敏工作量。数据脱敏不再需要研发人员去修改业务代码，取而代之的仅需修改DB地址为脱敏中间件地址，并提相应的脱敏自动化工单。

2023-06-27 07:26:36

汽车之家敏感数据治理
阿里近实时增量处理技术架构解析
本文将介绍阿里云自研产品MaxCompute湖仓一体近实时增量处理技术架构的核心设计和应用场景。

2023-06-27 07:11:37

湖仓一体MaxCompute
大数据分析和数据仓库的组合以及应对网络安全问题
大数据和数据仓库对于功能优化、有前景的增长和创新为企业存储提高了效率，企业还需提供安全的工作环境以应对可能的网络威胁。

2023-06-26 23:42:47

数据仓库网络安全大数据
GraphQL全解析，你学会了吗？
本文介绍GraphQL的概念、工作原理和应用场景，并详细阐述如何使用Spring实现GraphQL。

2023-06-26 13:08:52

GraphQL服务数据
数据指标 VS 标签体系，到底有啥区别？终于搞清楚了
标签的使用过程，与数据指标有很大区别。数据指标一旦梳理完成，除非流程更改，否则不会怎么变动。而标签在建设过程中，需要围绕同一个目标，不断地做优化，有一个明显的“提纯”的动作。

2023-06-26 11:59:52

标签质量梳理
这是我见过最【高级】的数据分析
作为从业者，我们还是希望业内浮躁盲目的气氛少一点，大家多认真干活，这也是陈老师努力科普的原因。并且这里有些工作，比如预测业绩，比如预测响应率，还是需要用到一定算法，比直接跑报表有技术含量。​

2023-06-26 00:19:13

数据分析截图
Python潮流周刊：Python 3.13 计划将解释器提速 50%！
Numpy 是作科学计算和数据分析的最重要的库之一，并行性是提升其性能的重要手段。文章介绍了 5 种可以实现 Numpy 并行性的场景和方法：加载/保存 Nu

2023-06-25 11:36:00

Numpy数据分析场景
“事后达尔文”—— 游戏业务效果评估方法实践
本文介绍了互联网业务数据效果评估的几种常见问题及方法，并基于分层抽样的逻辑优化出一套可应用于解决用户不均匀的“事后达尔文"分析法，可适用于无法AB测试或人群不均匀的AB测试等场景下的效果评估中，本文会基于实际应用案例，来给大家仔细阐述相关方法模型的思考过程，实现原理，应用结果，希望能够帮助大家，如果能对大家在各自领域中的业务效果评估有所助益的话，那就更棒了！

2023-06-23 15:17:32

数据分析
信息生命周期管理五大关键影响
以下是对解决收集、使用、存储和安全处置问题的企业信息生命周期管理框架的五个关键影响。

2023-06-21 15:34:37

信息生命周期管理大数据
数据管理的基本准则 译文
你是否曾经在车库里翻箱倒柜地寻找某个工具，几个月后才在厨房的抽屉里奇怪地发现它？数据就像那个工具——如果你在最需要它的时候找不到它，就完全没有结果。想要解决这个问题就需要我们的超级明星——数据管理。所以，请系好你的安全带，让我们来了解一下数据管理的基本准则。

2023-06-20 09:50:05

大数据数据管理
从阿里巴巴数据治理到瓴羊Dataphin
本次内容将以阿里巴巴数据治理的实践和统一数据治理方法论工具化沉淀的Dataphin为核心内容为大家详细介绍。

2023-06-20 07:46:27

数据治理大数据建设
Apache DolphinScheduler（海豚调度系统）介绍与环境部署
Apache DolphinScheduler 和 Azkaban 都是开源的大数据工作流调度系统，用于管理和调度大数据处理任务。它们具有一些相似的特点，但也有一些区别。

2023-06-20 07:32:04

海豚调度系统
网易严选全链路数据治理的实践与总结
我们的大数据基础组建主要包括HDFS存储系统、Kafka/Pulsar等消息中间件，还有用于实时计算的Flink、批处理的Hive、Spark计算引擎、AI训练的temsoflow，在这些基础设施之上我们也开发了很多数据产品，如数据集成工具datahub，任务开发平台等。

2023-06-19 07:27:50

网易严选全链路
高性能、云原生湖仓一体存储架构探秘
本文将带领读者探秘高性能、云原生湖仓一体存储架构。

2023-06-19 07:13:51

云原生湖仓一体
数字化时代，如何提高数据洞察力？
换个行业，换个公司，换个产品，换个发展阶段，具体场景都会变化。所以企图追求“万古不变的数据分析真理”，只会让自己在玄学道路上越走越远。想提升洞察力，就多多积累具体场景碎片，提升具体分析能力。具体问题，具体分析，这句话永远不过时。​

2023-06-18 22:37:12

数字化数据洞察力
这才是真正的数据分析项目，而不是爬表
计划类工作在跳槽的时候也很好用。因为制定计划涉及整个公司经营分析指标体系，经营方向确认，通过计划类项目，能很好地建立全局认知，在面试官面前显得很有水平。​

2023-06-16 11:54:59

数据分析项目
Capital One银行是如何进行大规模数据治理的
数据治理不再被视为一种合规性的工具，而是确保最终用户能够在需要的时间和方式访问正确、高质量的数据的驱动力，这是企业成为数据驱动型组织的关键因素。

2023-06-16 11:22:42

数据治理大数据
数据工程对盈利性app开发的重要性 译文
在这篇文章中，我们将探讨数据工程在应用开发中的重要性，并提供一些可操作的提示，以确保企业下一个项目的成功。

2023-06-15 14:53:59

大数据
在制造业中发展预测分析的四个技巧
供应成本的波动、消费者行为的不断变化以及激烈的竞争使得制造业比以往任何时候都更具挑战性。幸运的是，制造业中预测分析的出现可以帮助企业做出数据驱动的决策，并通过更精确的预测保持竞争优势。

2023-06-15 09:55:49

大数据
EB级数仓都在用的算子级血缘如何实现主动数据治理
本文将介绍大应科技在算子级血缘方面进行主动数据治理的实践。分享分为三大部分，第一部分通过传统血缘治理在当今技术和业务发展的不足之处，引出主动数据治理概念；第二部分介绍基于算子级血缘的指标链路盘点的治理实践；第三部分介绍基于算子级血缘的基于主动模型的探索实践。

2023-06-15 07:24:11

数据治理EB级数仓
实时流分析对智慧城市发展有何意义？
随着城市的不断发展和演变，对解决交通拥堵、污染、公共安全挑战的创新解决方案的需求变得越来越明显。实时流分析就是这样一种解决方案，它有可能彻底改变智慧城市和交通系统。

2023-06-14 15:19:08

实时流分析数据分析智慧城市
网易基于Apache Ranger 的数据安全中心实践
本次分享主题为网易基于Apache Ranger构建大数据安全中心的实践。

2023-06-14 08:25:18

大数据安全Ranger
腾讯欧拉如何打造数据自治系统
腾讯欧拉数据资产套件，提供全链路的数据生产即治理解决方案，包含埋点、数据集成、数仓建模、指标建模、数据服务、治理引擎等关键能力，聚焦可信数据资产沉淀和交付。

2023-06-14 07:51:27

数据自治系统数仓建模
数据可观察性 VS 数据质量 译文
数据可观察性和数据质量依赖企业的良好运作。尽管有区别，但两者在各种方面都有重叠，有助于提高数据质量，更好的交付产品。

2023-06-12 16:45:20

数据管理
用户流失分析，这是我见过最好的模板
在数据上“9”以前，用户可能已经跑掉了，早前几个月就没活跃了。所以，流失率要和活跃率结合起来看。对于影响用户活跃的事件要尽早关注，对于核心用户活跃率要紧密跟踪，避免事后做无用功。

2023-06-12 11:53:08

数据活跃率流失率
网易云音乐数据治理实践
从技术视角来看，在大数据体制下，数据内容的分布情况如上图所示。文件都是存储在 Hadoop 集群的 HDFS 文件系统中；在 HDFS 文件系统之上，我们会建立一系列 Hive 库和表来管理数据；数据开发会在上面进行模型设计和数据分层设计；再往上则是数据处理方面的内容，包括任务调度、执行引擎等。

2023-06-12 07:44:21

大数据数据治理
如何使用数据驱动策略来增加制造业的销售额
通过数据帮助销售代表变得更有效率，可以帮助制造商更好地实现盈利增长。了解使用什么数据和衡量什么是改善结果的第一步。

2023-06-12 07:05:58

销售数据驱动效率
迭代vs向量化，如何提升Pandas性能？
使用NumPy的向量化可以极大地提高代码性能，特别是在处理大型数据集时。在处理数值运算时，可以考虑向量化你的代码，从而获得更好的性能。

2023-06-12 00:36:28

迭代向量化Pandas
怎样快速选择正确的可视化图表？
数据可视化的图表类型十分丰富，好的图表可以有效、清晰地呈现数据的信息。对于用户而言，选择正确的图表是十分关键的，不仅可以达到“一图胜千言”的效果，而且会直接影响分析的结果。

2023-06-11 16:12:14

数据可视化图表类型
上一页 1 ··· 1516171819 ··· 183
点赞

51CTO技术栈公众号

业务
速览
在线客服