51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9034内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9034 条
谈谈利用主数据改进数据分析的重要性
在接触数据科学时，许多人专注于数据分析、数据可视化和数据收集，而忘记了整个数据科学的一个基本组成部分：主数据。

2024-06-24 21:18:48

数据分析
Kafka 中的大消息处理策略与 C# 实现
本文将深入探讨大消息对Kafka的影响，提出一些解决策略，并通过C#示例代码展示如何在实际应用中处理大消息。

2024-06-24 12:47:54

KafkaC#大消息处理
AI如何影响数据治理
收集、清洗、企业和保护这些数据以供AI和机器学习使用已成为一项独立的项目——在这个治理工作中，AI工具本身也扮演着重要角色。结果是，数据治理得到极大改善，惠及整个企业。

2024-06-21 11:11:22

AI大数据
揭秘打车软件，如何找到方圆 1km 以内的乘客
用geohash那结果显然是AB更近，但是实际上A与B的距离比AE、AC、AD都远。这其实是一个边缘性的问题........后续我会更新如何去避免这种问题的出现。

2024-06-21 08:44:37

打车软件边缘性
2031年大数据分析市场将达到近8460亿美元
SkyQuest预计，到2031年大数据分析市场的价值将达到8459.7亿美元，预测期内(2024-2031年)的复合年增长率为13.40%。

2024-06-18 10:48:58

大数据大数据分析
用DataOps释放数据项目的潜力 译文
各行各业的公司越来越关注收集数据，并寻找创新的方法以获得宝贵的见解。企业组织愿意投入大量的时间和资金来实现这一目标。

2024-06-18 08:00:00

DataOps数据项目
别当布谷鸟！这些方法能拯救你枯燥的数据日报
为什么每日指标会波动，这个很纠结的问题，提前准备了答案。通过打标签、梳理事件、定KPI，充分暴露波动背后的问题，引发深入思考。

2024-06-17 11:29:49

信息KPI标签
数据分析思路，总结了四个好用的模板
如果整体进度没很大问题，各子部门进展顺利，那么大家不会发表太多意见，看完后会说“很好，继续监控”。如果整体进度有问题，那么大家的思路会被引导到：“为什么A部门执行好，B部门不行？”上边去，这样就能做进一步的分析。

2024-06-13 11:54:03

数据分析模板进度
数据湖核心能力解析
本文将分享数据湖的发展近况。数据湖已成为企业数据平台架构的重要组成部分，传统的数据平台架构一般由数据湖、流式计算和 OLAP 引擎查询三个部分组成。这三个平台在以往通常是独立建设的，集群也是独立部署。

2024-06-13 08:10:18

数据湖流式计算OLAP 引擎查询
数据仓库中的七种建模方法及示例
试象一下，你是一家繁忙餐厅的分析工程师。每天，顾客都会预订、下订单并完成付款。所有这些数据都会流入餐厅的交易数据库，记录每次互动的详细信息。

2024-06-12 13:46:41

数据仓库大数据
WeOLAP：微信 OLAP 湖仓新场景优化实践
ClickHouse 在微信团队有着广泛应用，如实时报表、AB 实验和实时计算等，通过将 Hadoop 相关生态集成到 ClickHouse 中，性能得到了十倍到百倍的提升，能够做到万亿级数仓、亚秒级响应和稳定高可用。

2024-06-12 07:30:08

ClickHouseOLAP数据孤岛
太卷了吧，这份销售分析报告真是到位
如果发现问题，最好直接告诉一线：你这么做有用！还是上边的例子，如果真发现这个问题，可以先看签约率高的人做了什么。如果我们发现展示同行客户案例有效（提升5%左右），那直接把行业案例库作为功能做到产品里去。告诉他们：聊天的时候，点这个按钮，管用！

2024-06-11 13:57:41

销售分析数据互联网
大数据分析与GenAI：能源分配领域的变革力量
大数据分析与GenAI的结合无疑是一个游戏规则的改变者，提供了驱动运营效率、减少环境影响并实现数据驱动决策的变革性解决方案。

2024-06-11 08:03:11

大数据
从SQL Boy到管理者：数据分析师成长的五个阶段
经历了前四个阶段，实际上已经能在公司里混到数据部门领导了，只不过不同公司数据团队规模有差异，因此管辖权限会有区别。作为部门管理者，除了专业能力外，常规的管理方法也要有一定掌握。这个话题展开就大了，这里先不多说。

2024-06-11 00:11:00

SQL数据分析师数据
经营分析的三个等级，最厉害的长啥样？
经营活动太多，导致的交叉重叠问题。在中级分析部分，我们已经知道：活动之间可能有重叠，新旧产品可能有替代，新老渠道可能有冲突，研发升级不见得有效果……总之，每件事都会产生成本，但不是每件事都能挣钱。

2024-06-07 15:15:56

经营分析决策
关于 Python 数据分析的 15 个 NumPy 应用
本文专为那些希望深入了解并掌握NumPy核心功能的数据分析新手设计。我们将通过10个实用的应用示例，带你从基础操作到一些高级技巧，让你的数据分析之旅更加顺畅。

2024-06-06 09:08:14

NumPyPython数据分析
大数据实时分析：Flink中的Table API
虽然大多数基于 Flink SQL 的在线编辑和任务执行引擎都是通过 Table API 实现的，但还有其他方法可以实现类似的功能，包括直接使用 SQL API、Flink SQL CLI、REST API、Flink Dashboard 和 Flink SQL Gateway 等。

2024-06-06 08:58:08

大数据SQLAPI
大数据实时分析：Flink Dashboard 任务运维和监控
Flink Dashboard 可以与多种开源工具集成，如 Apache Zeppelin、Apache Superset、Airflow、Grafana 和 Prometheus 等。

2024-06-05 09:16:54

开源工具Airflow
大数据实时分析：FlinkSQL中的窗口选取
会话窗口是一种基于活动间隔的窗口。它们没有固定的大小或滑动间隔，而是根据一段不活动的时间（间隔）来划分窗口。当超过指定的不活动时间间隔时，窗口会结束并开始一个新的窗口。

2024-06-04 14:10:00

FlinkSQL窗口大数据
第三届粤港澳大湾区（广东）算力产业大会暨第二届中国算力网大会在韶关举行
今日，由广东省政务服务和数据管理局、韶关市人民政府、鹏城实验室联合主办的第三届粤港澳大湾区（广东）算力产业大会暨第二届中国算力网大会在市区举行。

2024-06-04 10:24:32

数据
借助Geemap分析空间地理数据 译文
这个Python库用于使用Google Earth Engine（谷歌地球引擎）和ipyleaflet创建交互式地图。

2024-06-04 08:00:00

GeemapPython
数据湖在快手的应用实践
本文将分享数据湖在快手的应用实践。文章从业务使用方的视角，全面回顾了数据湖(Hudi)在快手内部的应用推广历程，给业务开发带来的效率提升和成本优化，以及在实际应用中如何与技术团队紧密配合将 Hudi 打造为覆盖全公司、赋能多场景的核心基础设施。

2024-06-04 07:29:13

数据湖Hudi大数据
这才是真正的数据分析项目，而不是取数发通报
计划类工作在跳槽的时候也很好用。因为制定计划涉及整个公司经营分析指标体系，经营方向确认，通过计划类项目，能很好地建立全局认知，在面试官面前显得很有水平。

2024-06-03 14:23:00

数据分析项目计划类
大数据分析是什么、它是如何工作的
大数据分析描述了在大量原始数据中发现趋势、模式和相关性的过程，以帮助做出基于数据的决策。这些过程使用熟悉的统计分析技术，并在更新的工具的帮助下将它们应用于更广泛的数据集。

2024-06-03 14:03:35

大数据分析大数据
总做描述性统计，深入的数据分析到底怎么做？
很多同学做不深入，是因为从2级深度开始，就不能只指望几个指标/维度交叉一下，直接拉出结论来，就得结合业务场景，转化业务假设，然后搜集证据。这要求掌握业务场景、指标、逻辑能力。这些能力需要积累和锻炼才能提升。

2024-05-31 11:37:20

数据分析验证维度交叉
零售行业商品竞争力提升的数据探索
本文将分享零售行业商品开发的基本流程，以及盒马为提升商品竞争力在数据建设方面所做的探索与实践。

2024-05-31 09:00:07

数据建设数据管理数据智能化
第三届粤港澳大湾区（广东）算力产业大会5月30日开幕
5月28日，韶关市举行第三届粤港澳大湾区（广东）算力产业大会暨第二届中国算力网大会新闻发布会，介绍大会筹备情况和亮点环节。

2024-05-30 16:21:07

产业
Gartner发布2024年数据与分析重要趋势
在近日的Gartner数据与分析峰会上，Gartner分析师介绍了IT领导者必须把握并纳入其D&A战略的重要数据与分析趋势。

2024-05-29 13:29:37

数据 分析Gartner
数据分析基础 | Python数据交叉表，你学会了吗？
数据交叉表是数据分析中非常重要的工具，掌握它可以让你更加高效地进行数据处理和可视化呈现。

2024-05-29 12:47:00

Python数据数据分析
搭建数据指标体系，我总结了标准化全流程
业务流程是主要数据来源，指标体系首要任务是反馈业务流程情况。有了主指标以后，要结合业务流程，梳理出过程指标。有了过程指标，才能解释主指标为什么低，为什么高。

2024-05-29 12:41:33

数据指标流程
京东统一存储实践
随着大数据时代的到来，海量数据的存储与处理成为了众多企业面临的重要挑战。HDFS 作为一个高可靠性、高扩展性的分布式文件系统，在京东零售的数据管理中扮演着重要角色。本文将分享京东在 HDFS 统一存储方面的实践经验，并对相关的技术细节进行总结。

2024-05-29 07:56:41

大数据海量数据HDFS
七个领先数据仓库和数据库的深入比较
在当今的数字时代，数据仓库和数据湖已成为存储和分析大量数据的核心，为各种数据管理挑战提供可扩展的解决方案。探索数据仓库和数据库的多样化世界，比较AmazonRedshift和MySQL等主要参与者，以确定最适合您的数据管理需求的解决方案。

2024-05-29 07:10:00

数据仓库数据湖
火花思维：从 0 到 1 构建一站式数据开发治理平台
火花思维作为在线教育领域的佼佼者，深知数据对于决策和运营的重要性。为进一步释放数据资源的价值，公司从 0 到 1 构建了一站式数据开发治理平台，实现了数据集成、数据开发、数据分析、数据服务等全流程整合，为公司的长远发展奠定了坚实的数据基础。

2024-05-28 07:58:08

数据分析数据开发火花思维
肯睿Cloudera：数据如何改变生活
一旦企业能够充分利用其创建和采集的海量数据，便开启了无限的可能性。

2024-05-27 10:30:20

数据Cloudera
NoETL，开启自动化数据管理新时代
在这个主题中，有两个大家很熟悉的词：ETL 和数据管理。但同时，也有两个不太熟悉的词：NoETL 和自动化数据管理。我们是否在创造一种新的概念？今天我将回答这个问题，并通过回答这个问题来解释我们为什么要创立 Aloudata 这家公司，以及我们的定位是什么。

2024-05-27 07:42:42

ETL数据管理NoETL
敏捷的数据工程实践
本文介绍了什么是敏捷数据工程， 并分析了几个有效的实践。如果能灵活的在数据项目中应用，将有效提升我们的数据产品交付质量。

2024-05-24 10:23:25

敏捷数据工程数据开发
腾讯大数据多引擎统一元数据和权限管理的探索
本文介绍了腾讯大数据多引擎统一元数据和权限管理的探索。TBDS的全称是腾讯大数据处理套件，它是一个基于 Hadoop 生态以及 MPP 生态的大数据平台。

2024-05-23 07:39:00

大数据TBDS数据湖
有效的数据治理如何推动业务增长
数据治理显得尤为重要，它确保了企业内数据的有效和高效管理。数据治理的核心目标是确保数据在其生命周期内，从获取到使用，都以支持企业业务目标的方式进行管理。

2024-05-22 15:31:56

数据治理大数据
第三代指标平台如何摆脱 ETL 宽表开发 做“轻”数仓
第三代指标平台给我们 IT 部门带来的体验改变，表现在大幅减少指标重复开发的工作量和运维变更的工作量。对业务部门来说，它提供了真正处理“最后一公里”自主分析问题的体验，让业务人员能够自助完成分析工作，而不需要为增加字段或维度而频繁联系 IT 部门。

2024-05-22 09:48:04

自动化指标平台数仓
携手亚马逊云科技，北京灵奥科技助力企业无缝结合大模型与数据​ 原创
近日，亚马逊云科技以“无数据不模型——生成式AI时代的数据基座”为主题召开了媒体沟通会。会上，北京灵奥科技CEO厉启鹏介绍了Vanus如何帮助企业解决数据问题，从而与大模型无缝结合。​

2024-05-21 09:36:38

亚马逊云科技数据基座Vanus
做数据分析十年，第一次见到靠谱的归因模型
从经验上来看：投诉类来电，在业务上性质特殊，属于高风险行为。别的来电都能用小程序替代，唯独怒气冲冲的客户，必须用人工来服务，至少让人家消消气。

2024-05-20 13:20:35

数据分析业务程序
大宗产业风控领域的数据探索与实践
蚂蚁作为互联网企业，数据建设通常是面向互联网场景围绕个人开展，传统业务上的数据应用构建与互联网存在着比较大的差异。蚂蚁尝试从大宗领域切入，探索能否基于已有能力去服务传统产业，帮助其实现产业数字化升级，并落地相关的风控场景应用。

2024-05-17 08:16:08

数据建设风控领域数据分析
数据处理不再难！用JSONCrack轻松打造炫目可视化效果！
对于许多人来说，处理数据依然是一个令人望而生畏的任务。幸运的是，有一种名为JSONCrack的工具可以帮助您轻松应对数据处理挑战，并将数据转化为令人惊叹的可视化效果！

2024-05-16 13:03:54

JSONCrack处理数据可视化
做经营分析，只会同比环比，怎么办！
所谓策略，就是业务开展的前后顺序，轻重缓急。比如上文提到的“A产品销售差3%”达标。如果站在产品策略的角度，就不是这么头疼医头，脚疼医脚地把每一个产品的涨跌列出来。

2024-05-15 11:51:40

经营分析业务产品
OPPO 下一代大数据 AI 一体架构实践
云厂商用存储吸引用户，进而提供上层 SaaS 服务。云原生弹性计算架构可提高调度效率，实现资源的自动弹性伸缩，优化资源利用。本文将展示OPPO 下一代大数据 AI 一体架构在功能云上的实践，希望为大家带来启发。

2024-05-14 08:03:31

SaaS 服务云原生AI 一体架构
Pandas 处理 CSV 数据的十个步骤
今天，我们将一起踏上Python数据分析之旅，以处理CSV文件为例，通过十个简单易懂的步骤，带你领略Pandas的强大之处。

2024-05-13 11:43:39

Python数据分析CSV
十分钟了解Flink SQL使用
本文将介绍Flink SQL的基本原理、使用方法、流批统一，并通过几个例子进行实践。

2024-05-13 09:28:43

Flink SQL大数据
一文快速解锁：价格分析模型
价格的敏感性，是可以事先测试的。在事先可以以优惠券为杠杆，以抽奖的形式测试用户的购买率，从而一定程度上推断涨价/降价多少合适。但是这种方式更适合测降价，涨价的话，用户本能的反感会比较强烈，所以不太适用。

2024-05-11 08:18:49

解锁价格模型
大数据管理的应用与实践
大数据管理是指企业在其整个生命周期中处理的大量数据的治理、管理和组织，包括数据的摄取、处理、存储和分析，以推动决策并保持运营顺利运行。

2024-05-10 13:01:49

大数据大数据管理
这才是真正的商品分析，而不是罗列进销存
一提到商品搭配，很多人脑子里第一时间蹦出来：啤酒与尿布。实际上即使不用数据去算，商品之间固定搭配。就像比起啤酒配尿布，啤酒配鸡爪，啤酒配花生米，啤酒配小龙虾更常见一样。

2024-05-10 12:01:00

商品分析数据分析断货
上一页 1 23456 ··· 181
点赞

51CTO技术栈公众号

业务
速览
在线客服