51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9034内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9034 条
如何在数据分析中拥抱人工智能
人工智能等技术是革命性的，特别是对于数据分析等行业而言。生成式人工智能需要数据才能发挥作用;它训练系统学习数据中的模式、关系和结构。这最终将作为模型生成新的、有意义的结论的基础。因此，生成式人工智能需要数据才能发挥作用。

2023-07-26 15:52:05

数据分析人工智能
数据分析这么干，运营吵架少一半
今天我们就先看其中最大的一个问题。运营的工种有很多（如下图），其中活动运营是策略性最强，和数据分析关系最紧密，也是怼的最多的岗位，今天就用它举例子。

2023-07-26 12:58:32

数据分析运营策略
建设银行隐私计算实践
本文将分享建设银行在隐私计算领域的一些应用实践。建行上海大数据智慧中心是2015年成立的一支专门服务于建行内部的数据分析和数据挖掘团队，职责是为全行的各业务条线、各个分行、各个子公司专门来提供数据咨询服务、大数据平台技术和数据算法的支持。

2023-07-26 07:21:27

隐私计算数据分析
Kyligence：以 AI 变革组织运营与管理，开启“人人用数”时代 原创
秉持“改变人类使用数据的习惯”理念的 Kyligence，也在不断进化，以“变革组织运营与管理”为目标，基于不同人群的用数需求研发智能数据产品，力求降低数据的使用门槛，帮助企业客观地分析数据，助力企业的业务决策和经营管理。

2023-07-20 17:15:42

KyligenceAI数据分析
Cloudera大中华区技术总监刘隶放：更准确的AI需要更准确的数据 原创
企业需要在合适的情境中基于自身专有数据构建交互体验，并且不与外部服务共享他们的数据

2023-07-20 10:38:35

可观测性人工智能
淘宝直播APP用户增长实践
本文将分享淘宝直播APP（点淘）的用户增长实践。近两年来，阿里在内容方向投入了大量精力，而点淘则是内容方向的一个重要组成部分。点淘依托直播和短视频生态，通过短直联动的方式来打造短视频种草和直播拔草的一个商业形态。

2023-07-20 08:39:09

DPA+RTA数据体系
实时物化视图：加速大规模时间序列数据查询的利器
本文将分享如何在产品中实现实时物化视图，重点聚焦于加速大规模时间序列数据查询。实时物化视图就是一种适用于时间序列数据的预计算加速过程，其核心思想是将历史物化数据与计算结果保留下来，并在新数据到来时进行增量更新。在高效地管理和维护物化操作的同时，减少计算的开销。

2023-07-20 08:28:01

实时物化视图时间序列
如何使用Python、Dash和RisingWave可视化实时数据 译文
本文对如何使用Python、Dash开源库和RisingWave对实时数据实现可视化进行了介绍。

2023-07-20 08:00:00

可视化数据Python
时间序列的季节性：3种模式及8种建模方法
分析和处理季节性是时间序列分析中的一个关键工作，在本文中我们将描述三种类型的季节性以及常见的8种建模方法。

2023-07-19 15:28:10

时间序列分析季节性
B站埋点数据标准化实践
用户行为数据管理和对应的行为数据分析的关系十分紧密，如何在产品层面上应用好，前置条件是埋点数据需要做到标准化管理、标准化应用，这是很多行业内公司及团队都会碰到的课题。本文将和大家一起分享B站在埋点标准化方面的实践经验。

2023-07-19 08:58:00

数据管理数据分析
做有价值的经营分析，而不是记流水账
报表复杂和报表能讲出问题是两码事。看回上边的例子，如果解析销售情况，光看收入结果，肯定无法了解问题是怎么来的，得深入到过程才行。并且，新客户/老客户，大客户/中小散客，可能有不同的销售方式，要看的数据也不同。

2023-07-17 11:32:46

经营分析数据销售
关于数据湖的五大误解及规避方法 译文
在大数据领域，目前主流存储、处理和分析大量结构化和非结构化数据的解决方案是采用数据湖。然而，对数据湖的误解和质疑可能会阻碍企业利用数据湖处理数据。本文旨在消除大众对数据湖的一些误解，提供见解和最佳实践，帮助大众应对数据湖的复杂性，释放数据湖真正的价值。

2023-07-14 14:58:20

数据湖
我搭建了一个好用的数据运营体系
为什么会这样？因为从本质上看，运营是个辅助性工作。理论上，如果产品力足够强大，商品天下无敌，那根本没运营啥事。——用户自己就抢着买到断货，玩得乐不思蜀了，运营啥运营。

2023-07-14 12:02:29

数据运营体系
一个案例，看懂数据分析全流程
怎么确认卖手抓饼和上班哪个挣得多呢？你可能直观地想到：打工一个月多少钱是清楚的，卖手抓饼一个月赚多少钱不清楚。于是，你写下了如下图对比表，然后开始收集数据。这个动作，用专业话说叫：确定分析目标。

2023-07-13 12:21:18

数据分析统计
数据湖在快手的生产实践 原创 精选
今天的分享分为四个部分：首先介绍传统离线链路，它存在哪些痛点；第二部分引入数据湖的特性；第三部分是通过快手数据湖几个典型的业务场景来说明如何基于数据湖技术重塑离线链路的生产；最后一部分介绍近期工作和长远规划。希望通过本次分享能够让大家了解数据湖技术在重塑离线生产方式中的关键作用。

2023-07-12 16:07:50

链路数据湖技术
别再喊“要提升”，这才是有用的销售分析报告
某互联网交易平台，通过线下销售团队招揽企业入住。目前销售部领导找到数据分析师，希望能做一些精准分析，为一线销售赋能，提升销售生产力。问：这个数据分析项目该怎么做？

2023-07-12 13:06:44

销售分析报告
基于 Apache Paimon 流式数据湖提升数据处理的时效性 原创
在近日举办的WOT全球技术创新大会2023·北京站的《大数据技术创新》专场中，来自阿里云的高级技术专家李劲松带来了主题为《Apache Paimon 流式数据湖 V0.4与后续展望》的精彩分享，从理论、实践和未来发展方面详细介绍了Apache Paimon 流式数据湖。​

2023-07-12 12:02:06

WOT大数据流式数据湖
湖仓存储系统设计剖析和性能优化
本文将从元数据、Merge-On-Read等核心设计方面来剖析湖仓存储系统，对比当前流行的三种格式Delta Lake、Hudi、Iceberg的设计差异和优缺点，并分享我们在读写性能优化方面所做的思考和实际优化案例。

2023-07-12 08:44:46

湖仓存储系统数据湖
数据应该是云计算世界中的重要角色 译文
如果没有恰当的数据治理、互操作性和访问控制措施，企业将数据商业价值最大化的可能性就会微乎其微。

2023-07-11 16:36:28

数据管理
基于Lakehouse架构实现湖内建仓实践经验
现在很多企业都对数据湖存在一些误区，从上图左侧对数据湖的不同定义（红色字体标识）可以看出，数据湖并不像大家想象的那样。误区主要分为以下三种：第一种认为数据湖仅用来进行海量的存储；第二种认为数据湖是用来处理非结构数据的，不处理结构化数据；第三种认为数据湖仅可以用来做贴源层，不能建数仓。

2023-07-11 10:23:00

Lakehouse数据湖
黑匣子九问，带你揭秘黑匣子
作为飞机数据客观、真实、全面的记录者，黑匣子是飞机失事后查明事故原因的最可靠、最科学、最有效的手段。伴随着航空事业的发展，黑匣子在飞机日常安全维护、飞行状态监测、消除事故隐患以及故障定位方面也发挥着越来越重要的作用，甚至可以说充当着飞行过程中不可或缺的角色。

2023-07-11 07:59:18

黑匣子科学飞机失事
PySpark 数据类型定义 StructType & StructField
在本文中，云朵君和大家一起学习了 SQL StructType、StructField 的用法，以及如何在运行时更改 Pyspark DataFrame 的结构，将案例类转换为模式以及使用 ArrayType、MapType。

2023-07-10 18:48:29

PySpark数据结构
大数据时代必备技能——分库分表的原理与应用
分库分表是一种常见的数据库扩展方案，可以通过将数据分散到多个物理数据库中，并按照一定的规则划分数据，来提高系统的性能和并发能力。下面，我将详细介绍分库分表适用场景、好处和坏处，以及业内常用的解决方案和执行流程。

2023-07-10 09:42:45

分库分表大数据
Hadoop on K8s 编排部署进阶篇
Kubernetes（通常简称为K8s）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。它提供了一种强大的方式来管理容器化应用程序的资源和生命周期。

2023-07-10 07:22:16

Hadoop开源平台
野生数据分析师脱困指南
从本质上看，数据分析是个技术工种，不像运营/产品，非常依赖成功案例。作为数据分析师，有能力提取/加工数据，了解常见的业务场景，能梳理清晰需求，能搭建看板/模型，能做好测试，就足够我们安身立命了。

2023-07-08 23:05:01

数据分析运营
智慧医疗：大数据分析对医疗保健的影响
大数据分析在医疗保健领域最重要的影响之一，是其改善患者护理的潜力。通过分析患者的病史、基因数据、生活方式选择和其他相关信息，医疗保健提供者可以预测潜在的健康风险并开出个性化的治疗方案。这种方法被称为精准医学，旨在根据患者的独特特征制定治疗方案，提高护理效果并减少不必要的手术和药物。

2023-07-07 14:15:28

智慧医疗大数据
数据分析师，如何给自己找活干
数据分析想给自己找活干，要多了解公司数据现状，找到业务部门需要的数据，从报表开始逐步完善数据体系，并且要列清楚进度，一步步实现，让大家看到自己的努力，这样才是破局之路。​

2023-07-06 14:52:36

数据分析师SQL
大数据面临的六个挑战
本文阐释了大数据面临的6个挑战，还深刻探讨了云计算基础设施应该如何克服这些挑战。

2023-07-06 14:29:11

大数据
下一个数据战略的六个战略要点
根据麻省理工学院技术评论的调查，企业的数据战略支持重要的业务目标，包括促进销售、提高运营效率以及缩短上市时间，它还可以帮助企业开发新产品或进入服务市场，以及改进创新、维护实物资产和ESG。

2023-07-05 10:30:03

数据战略大数据
加速AI推理，探索英特尔® 至强® 可扩展处理器在OCR应用落地方面的实践 原创
用友算法工程专家宋祺、亚信科技产品运营专家吕莹、东软集团医疗保障事业部产品发展部部长黄小卫、英特尔人工智能软件架构师桂晟、虎博科技创始人&CEO陈烨，围绕《从OCR起步推进企业AI应用落地》这一主题进行了精彩的分享。

2023-07-04 11:09:41

人工智能英特尔
哔哩哔哩数据服务中台建设实践
本文将分享哔哩哔哩数据服务中台的建设实践。

2023-07-04 07:11:30

数据分析中台
探索数据结构的作用
数据结构是一种全面的数据管理方法，其简化了实时访问、集成和分析来自不同来源的数据的过程。其还有助于组织做出更明智的决策，推动创新，并提高整体运营效率。

2023-07-03 17:24:33

数据结构
预测分析初学者指南
长期以来，预测分析仍然是一个高度复杂的领域，只有数据科学家和数据分析师才能从事和利用；然而，得益于机器学习等人工智能技术，现在即使是接受过最少培训的企业用户，也可以利用预测分析来分析历史和当前数据，以获得洞察，从而简化运营、降低风险并发现机会。

2023-07-03 15:05:07

预测分析大数据
在能源管理中实施预测分析有哪些好处
预测分析是指使用数据、统计算法和机器学习技术，根据历史数据确定未来结果的可能性。在能源管理的背景下，预测分析可用于预测能源消耗，在潜在问题发生之前识别潜在问题，并优化能源使用。

2023-07-03 14:11:06

预测分析
天穹SuperSQL如何应对数据湖场景中的复杂多维分析
本文将介绍腾讯自研的大数据计算平台——天穹SuperSQL，以及在应对数据湖场景中的复杂多维分析方面的实践。

2023-07-03 07:46:50

大数据计算平台SuperSQL
聊聊数据仓库建设步骤
在本文中，我们将通过概述数据仓库设计和数据仓库开发步骤的两种基本方法来深入探讨数据仓库实现的细节。

2023-07-02 14:11:28

数据仓库大数据
Delta Lake在BI+AI产品中的实践
本文根据观远数据研发主管李迪砺讲座整理，分享主题为《Delta Lake 在 BI+AI 产品中的实践》。

2023-06-30 07:40:31

数据分析Delta lake
100000行级别数据的 Excel 导入优化之路
由实施 / 用户 将别的系统的数据填入我们系统中的 Excel 模板，应用将文件内容读取、校对、转换之后产生欠费数据、票据、票据详情并存储到数据库中。

2023-06-29 08:22:43

数据Excel模板
自动数据采集的好处 译文
在这个数字化的时代，企业每天都会收发许多文件。但从各种文件中提取非结构化数据对于企业来说依然是一件难事，如发票和采购单。如今，超过80%的数据是非结构化的，而且在2023年以后非结构化数据预计会增长继续增长。 然而，随着自动数据采集技术的出现，这一过程已被彻底改变。技术为企业带来了很多便利。

2023-06-28 16:43:31

OCR数据管理
我们一起聊聊Hdfs的透明加密记录
• HDFS透明加密（Transparent Encryption）支持端对端的透明加密，启用以后，对于一些需要加密的HDFS目录里的文件可以实现透明的加密和解密，而不需要修改用户的业务代码。端对端是指加密和解密只能通过客户端来操作。

2023-06-28 07:56:46

透明加密记录
面向行为分析的数据治理和应用
本文将分享奇富科技-数据生态团队如何对面向行为分析的数据进行治理和应用。

2023-06-28 07:54:44

数据治理数据分析
数据湖 Iceberg 在小米的应用
本次分享内容是数据湖 Iceberg 在小米的应用场景。Iceberg 是具有 SQL 行为的表的开放式标准，此定义由 Ryan Blue 提出。

2023-06-28 07:47:34

Iceberg数据湖
用户分析，这么做才能有深度
做数据的同学，往往做ABtest的很多，但做得很被动。往往是业务拿着方案，数据只是机械操作。自己提假设，自己进行验证的能力差。

2023-06-27 11:57:24

用户分析挖掘法ABtest
汽车之家敏感数据治理实践
"中间件-AutoProxy"实现了面向应用的透明数据脱敏，减轻了数据脱敏工作量。数据脱敏不再需要研发人员去修改业务代码，取而代之的仅需修改DB地址为脱敏中间件地址，并提相应的脱敏自动化工单。

2023-06-27 07:26:36

汽车之家敏感数据治理
阿里近实时增量处理技术架构解析
本文将介绍阿里云自研产品MaxCompute湖仓一体近实时增量处理技术架构的核心设计和应用场景。

2023-06-27 07:11:37

湖仓一体MaxCompute
大数据分析和数据仓库的组合以及应对网络安全问题
大数据和数据仓库对于功能优化、有前景的增长和创新为企业存储提高了效率，企业还需提供安全的工作环境以应对可能的网络威胁。

2023-06-26 23:42:47

数据仓库网络安全大数据
GraphQL全解析，你学会了吗？
本文介绍GraphQL的概念、工作原理和应用场景，并详细阐述如何使用Spring实现GraphQL。

2023-06-26 13:08:52

GraphQL服务数据
数据指标 VS 标签体系，到底有啥区别？终于搞清楚了
标签的使用过程，与数据指标有很大区别。数据指标一旦梳理完成，除非流程更改，否则不会怎么变动。而标签在建设过程中，需要围绕同一个目标，不断地做优化，有一个明显的“提纯”的动作。

2023-06-26 11:59:52

标签质量梳理
这是我见过最【高级】的数据分析
作为从业者，我们还是希望业内浮躁盲目的气氛少一点，大家多认真干活，这也是陈老师努力科普的原因。并且这里有些工作，比如预测业绩，比如预测响应率，还是需要用到一定算法，比直接跑报表有技术含量。​

2023-06-26 00:19:13

数据分析截图
Python潮流周刊：Python 3.13 计划将解释器提速 50%！
Numpy 是作科学计算和数据分析的最重要的库之一，并行性是提升其性能的重要手段。文章介绍了 5 种可以实现 Numpy 并行性的场景和方法：加载/保存 Nu

2023-06-25 11:36:00

Numpy数据分析场景
上一页 1 ··· 1314151617 ··· 181
点赞

51CTO技术栈公众号

业务
速览
在线客服