51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9034内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9034 条
“事后达尔文”—— 游戏业务效果评估方法实践
本文介绍了互联网业务数据效果评估的几种常见问题及方法，并基于分层抽样的逻辑优化出一套可应用于解决用户不均匀的“事后达尔文"分析法，可适用于无法AB测试或人群不均匀的AB测试等场景下的效果评估中，本文会基于实际应用案例，来给大家仔细阐述相关方法模型的思考过程，实现原理，应用结果，希望能够帮助大家，如果能对大家在各自领域中的业务效果评估有所助益的话，那就更棒了！

2023-06-23 15:17:32

数据分析
信息生命周期管理五大关键影响
以下是对解决收集、使用、存储和安全处置问题的企业信息生命周期管理框架的五个关键影响。

2023-06-21 15:34:37

信息生命周期管理大数据
数据管理的基本准则 译文
你是否曾经在车库里翻箱倒柜地寻找某个工具，几个月后才在厨房的抽屉里奇怪地发现它？数据就像那个工具——如果你在最需要它的时候找不到它，就完全没有结果。想要解决这个问题就需要我们的超级明星——数据管理。所以，请系好你的安全带，让我们来了解一下数据管理的基本准则。

2023-06-20 09:50:05

大数据数据管理
从阿里巴巴数据治理到瓴羊Dataphin
本次内容将以阿里巴巴数据治理的实践和统一数据治理方法论工具化沉淀的Dataphin为核心内容为大家详细介绍。

2023-06-20 07:46:27

数据治理大数据建设
Apache DolphinScheduler（海豚调度系统）介绍与环境部署
Apache DolphinScheduler 和 Azkaban 都是开源的大数据工作流调度系统，用于管理和调度大数据处理任务。它们具有一些相似的特点，但也有一些区别。

2023-06-20 07:32:04

海豚调度系统
网易严选全链路数据治理的实践与总结
我们的大数据基础组建主要包括HDFS存储系统、Kafka/Pulsar等消息中间件，还有用于实时计算的Flink、批处理的Hive、Spark计算引擎、AI训练的temsoflow，在这些基础设施之上我们也开发了很多数据产品，如数据集成工具datahub，任务开发平台等。

2023-06-19 07:27:50

网易严选全链路
高性能、云原生湖仓一体存储架构探秘
本文将带领读者探秘高性能、云原生湖仓一体存储架构。

2023-06-19 07:13:51

云原生湖仓一体
数字化时代，如何提高数据洞察力？
换个行业，换个公司，换个产品，换个发展阶段，具体场景都会变化。所以企图追求“万古不变的数据分析真理”，只会让自己在玄学道路上越走越远。想提升洞察力，就多多积累具体场景碎片，提升具体分析能力。具体问题，具体分析，这句话永远不过时。​

2023-06-18 22:37:12

数字化数据洞察力
这才是真正的数据分析项目，而不是爬表
计划类工作在跳槽的时候也很好用。因为制定计划涉及整个公司经营分析指标体系，经营方向确认，通过计划类项目，能很好地建立全局认知，在面试官面前显得很有水平。​

2023-06-16 11:54:59

数据分析项目
Capital One银行是如何进行大规模数据治理的
数据治理不再被视为一种合规性的工具，而是确保最终用户能够在需要的时间和方式访问正确、高质量的数据的驱动力，这是企业成为数据驱动型组织的关键因素。

2023-06-16 11:22:42

数据治理大数据
数据工程对盈利性app开发的重要性 译文
在这篇文章中，我们将探讨数据工程在应用开发中的重要性，并提供一些可操作的提示，以确保企业下一个项目的成功。

2023-06-15 14:53:59

大数据
在制造业中发展预测分析的四个技巧
供应成本的波动、消费者行为的不断变化以及激烈的竞争使得制造业比以往任何时候都更具挑战性。幸运的是，制造业中预测分析的出现可以帮助企业做出数据驱动的决策，并通过更精确的预测保持竞争优势。

2023-06-15 09:55:49

大数据
EB级数仓都在用的算子级血缘如何实现主动数据治理
本文将介绍大应科技在算子级血缘方面进行主动数据治理的实践。分享分为三大部分，第一部分通过传统血缘治理在当今技术和业务发展的不足之处，引出主动数据治理概念；第二部分介绍基于算子级血缘的指标链路盘点的治理实践；第三部分介绍基于算子级血缘的基于主动模型的探索实践。

2023-06-15 07:24:11

数据治理EB级数仓
实时流分析对智慧城市发展有何意义？
随着城市的不断发展和演变，对解决交通拥堵、污染、公共安全挑战的创新解决方案的需求变得越来越明显。实时流分析就是这样一种解决方案，它有可能彻底改变智慧城市和交通系统。

2023-06-14 15:19:08

实时流分析数据分析智慧城市
网易基于Apache Ranger 的数据安全中心实践
本次分享主题为网易基于Apache Ranger构建大数据安全中心的实践。

2023-06-14 08:25:18

大数据安全Ranger
腾讯欧拉如何打造数据自治系统
腾讯欧拉数据资产套件，提供全链路的数据生产即治理解决方案，包含埋点、数据集成、数仓建模、指标建模、数据服务、治理引擎等关键能力，聚焦可信数据资产沉淀和交付。

2023-06-14 07:51:27

数据自治系统数仓建模
数据可观察性 VS 数据质量 译文
数据可观察性和数据质量依赖企业的良好运作。尽管有区别，但两者在各种方面都有重叠，有助于提高数据质量，更好的交付产品。

2023-06-12 16:45:20

数据管理
用户流失分析，这是我见过最好的模板
在数据上“9”以前，用户可能已经跑掉了，早前几个月就没活跃了。所以，流失率要和活跃率结合起来看。对于影响用户活跃的事件要尽早关注，对于核心用户活跃率要紧密跟踪，避免事后做无用功。

2023-06-12 11:53:08

数据活跃率流失率
网易云音乐数据治理实践
从技术视角来看，在大数据体制下，数据内容的分布情况如上图所示。文件都是存储在 Hadoop 集群的 HDFS 文件系统中；在 HDFS 文件系统之上，我们会建立一系列 Hive 库和表来管理数据；数据开发会在上面进行模型设计和数据分层设计；再往上则是数据处理方面的内容，包括任务调度、执行引擎等。

2023-06-12 07:44:21

大数据数据治理
如何使用数据驱动策略来增加制造业的销售额
通过数据帮助销售代表变得更有效率，可以帮助制造商更好地实现盈利增长。了解使用什么数据和衡量什么是改善结果的第一步。

2023-06-12 07:05:58

销售数据驱动效率
迭代vs向量化，如何提升Pandas性能？
使用NumPy的向量化可以极大地提高代码性能，特别是在处理大型数据集时。在处理数值运算时，可以考虑向量化你的代码，从而获得更好的性能。

2023-06-12 00:36:28

迭代向量化Pandas
怎样快速选择正确的可视化图表？
数据可视化的图表类型十分丰富，好的图表可以有效、清晰地呈现数据的信息。对于用户而言，选择正确的图表是十分关键的，不仅可以达到“一图胜千言”的效果，而且会直接影响分析的结果。

2023-06-11 16:12:14

数据可视化图表类型
字节跳动大数据容器化构建与落地实践
本文将详细介绍字节跳动大数据容器化的演进与实践。

2023-06-09 14:14:45

大数据容器化
我手把手修改了一篇数据分析报告
如果想进一步优化，可以不指望在一份报告搞掂所有问题。很有可能业务已经采取的措施非常有限。不更换素材，不调整站外投放方式，不调动站内流量，是没法观察到进一步效果的。

2023-06-09 11:33:42

数据分析报告
利用数据分析，企业追求更环保、更智能建筑
专注于智能建筑管理解决方案的Altair全资子公司Toggled发布的调查结果显示，尽管许多企业正在采用智能建筑技术来提高能源效率和降低成本，但由于无法掌握数据，它们未能实现目标。这项针对多个行业500多名设施决策者的独立调查衡量了智能建筑技术的采用、商业效益及其对可持续发展举措的影响。

2023-06-08 16:23:11

数据分析智能建筑
低代码指标平台，构建人人可用的敏捷指标工具
本文将从指标平台应用建设的角度，分享如何发挥低代码的作用，去构建人人可用的敏捷指标工具。

2023-06-08 14:46:39

低代码指标数据湖
HDFS小文件治理总结，你学会了吗？
对于大量的小文件，可以使用压缩工具将多个小文件压缩为一个压缩包，以减少存储空间。例如，使用gzip或bzip2压缩工具压缩文件，在HDFS上存储压缩文件，以减少存储空间和文件数量.

2023-06-08 07:34:19

HDFS小文件压缩包
如何通过低延迟分析提升大数据性能？
在传统的大数据处理方法中，数据是批量存储和处理的，这会花费大量时间。这种延迟可能会导致错失机会或获得不准确的见解，尤其是在金融、医疗保健和电信等实时数据处理至关重要的行业。

2023-06-07 17:21:43

大数据低延迟分析
Standalone是什么？Standalone集群的三类进程
Standalone模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。

2023-06-07 17:04:48

集群Standalone
终于，做出一个高质量的数据分析项目
预测型项目的关键在于：确认真实的预测需求，避免盲目赌命式的“我要100%精确”。不但做不到，而且没意义。

2023-06-07 12:30:28

数据分析项目
借助逻辑数据仓库应对供应链挑战
​数据虚拟化使现代数据管理成为可能，因其用于数据集成和管理的逻辑方法支持跨不同数据源提供实时视图，用户无需首先将数据以物理方式复制到整合存储库中。Denodo数据虚拟化可以在所有不同底层数据源之上建立抽象和语义层，这些底层数据源包括本地和云端数据源、结构化和非结构化数据源、静态和流式处理数据源，以及旧式和新式数据源，它们构成了逻辑数据仓库。

2023-06-06 12:53:45

Denodo数据仓库
人工智能和大数据分析对零售行业的影响 译文 精选
在这个发展迅速、竞争激烈的零售市场里，采用最新技术已经变得比之前任何时候都要关键。大数据分析和人工智能正站在技术发展的前沿，给零售商、代理机构提供了前所未有的机会。

2023-06-06 11:07:59

大数据人工智能零售
谈谈企业需要什么样的数据架构
在大数据和数据科学的新时代，企业拥有一个与业务流程保持一致的集中式数据架构至关重要，该架构可以随着业务增长而扩展，并随着技术进步而发展。

2023-06-05 16:45:52

数据架构大数据
大数据分析如何重塑智慧城市的未来
随着全球城市中心利用数据的力量来改善基础设施、公共服务和整体生活质量，大数据分析在可持续智慧城市的发展中发挥着至关重要的作用。

2023-06-05 11:35:17

大数据分析智慧城市
做有用的商品分析，别再罗列进销存
一提到商品搭配，很多人脑子里第一时间蹦出来：啤酒与尿布。实际上即使不用数据去算，商品之间固定搭配。就像比起啤酒配尿布，啤酒配鸡爪，啤酒配花生米，啤酒配小龙虾更常见一样。

2023-06-05 11:33:43

商品销存编码
爱奇艺数据湖平台建设实践
本文将介绍 Iceberg 在爱奇艺的落地与实践。为什么要有数据湖？数据湖其实就是为了加速数据流通。

2023-06-05 07:36:30

数据湖大数据架构
如何采用大数据掌握部门效率
在当今数据驱动的经济中，利用数据的力量对企业的发展至关重要。企业需要利用数据来提高部门效率，并做出更明智的决策。而企业发现可操作的见解和策略，以优化业务运营并在数字时代取得成功。

2023-06-05 05:39:35

大数据
Hyperion Essbase的技术功能 译文
在这篇文章中，我们将深入探讨Hyperion Essbase的技术功能，并探讨它如何使企业释放出有价值的观点。

2023-06-02 15:44:53

数据分析大数据
天天在写同环比，深入的数据分析到底怎么做？？
假设方向不止一个。比如我们给出“营销力度不足”的结论以后，大家会自然反问：难道只有营销的问题吗？难道分公司管理没有问题吗？难道产品没有问题吗？

2023-06-02 11:55:02

数据分析营销
经营分析，如何赋能业绩增长
某企业有100间门店，平均每间门店贡献120万年收入，全年1.2亿收入。现在想在下一年增加50%，达到1.8个亿，该怎么做？

2023-05-31 11:48:45

经营分析测算
网易有数 BI 图表查询性能优化实践
本文将介绍有数 BI 在图表查询性能方面的优化和实践，包括有数 BI 图表的数据查询原理，以及对图表查询过程进行的相关优化。

2023-05-31 06:49:54

图表查询数据查询
微软推出Fabric数据分析平台，帮企业在AI时代洞察数据
微软在本周三于西雅图举行的微软年度开发者大会Build 2023上宣布推出了该平台，它将数据工厂、Synapse和Power BI等平台集成到一个统一的软件即服务产品中。

2023-05-30 11:11:46

微软Fabric数据分析平台
企业如何使用规范性分析进行物流管理
规范性分析是一种数据分析，其使用数学模型、算法和其他技术来生成针对问题或决策情况的具体建议或解决方案。其用于确定实现预期结果的最佳行动方案，同时考虑到限制和不确定性。

2023-05-30 10:24:17

规范性分析数学模型
建立高性能风险数据集市的分步指南 译文
开发人员追求数据驱动的管理，他们的目标是在数据平台开发中满足四个需求：监控和警报、查询和分析、仪表板和数据建模。出于这些目的，他们基于Greenplum和CDH构建了数据处理架构。其中最重要的部分是风险数据集市。

2023-05-30 09:00:00

数据集市开发数据平台
数据偏度介绍和处理方法
偏度（skewness）是用来衡量概率分布或数据集中不对称程度的统计量。它描述了数据分布的尾部（tail）在平均值的哪一侧更重或更长。偏度可以帮助我们了解数据的偏斜性质，即数据相对于平均值的分布情况。

2023-05-29 16:11:37

数据偏度数据集中
使用数据治理框架的三个经验和教训
国际数据治理研究所发布的这个数据治理框架包含了他们认为应该包含在数据治理程序中的组件。在全球首个数据治理框架发布20年之后，一个新版本被发到网上。

2023-05-29 14:32:48

数据治理数据治理
2023年数据架构要关注的五个重要方面
2023 年已经过去五个月，我想谈谈 2023 年需要关注的一些数据架构趋势。

2023-05-28 23:29:20

数据架构湖仓架构数据仓库
聊聊得物数据研发优化策略
在数据研发领域，数据的技术手段无论多么丰富，平台发展何等完善，都不能说能解决业务的所有问题。一定是先有业务，才会有对应的问题。

2023-05-26 18:52:55

得物数据研发
数据分析师，怎么做可以让领导满意？
从本质上看，这是因为不管是汇报ppt也好，还是BI工具也好，都只是数据的展示形式。到底在什么业务场景会被用上，这才是关键。想提升满意度，一定要尽可能在固定的业务场景输出，混个脸熟，这样后边才有更多机会让大家满意。

2023-05-26 07:50:17

数据分析师BI工具
阿里云数据湖统一元数据与存储管理实践
随着数据湖的发展和日渐增长的需求，对数据湖进行统一元数据和存储管理也显得日趋重要。本文将分享阿里云在数据湖统一元数据与存储管理方面的实践。

2023-05-26 06:49:44

数据湖元数据和存储管理
上一页 1 ··· 1415161718 ··· 181
点赞

51CTO技术栈公众号

业务
速览
在线客服