51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
数据让我们的建筑越来越智能
推动这种增长的关键因素是什么？在很大程度上，这是对降低运营成本、提高生产力、提高能源效率和提高安全性的需求。此外，5G 技术的出现和智慧城市项目的兴起有望在未来几年为智能建筑行业创造有利可图的机会。

2022-12-13 11:13:34

数据传感器
大数据十问：落地、效率与开发，如何齐头并进？
近日，英特尔大数据技术全球 CTO 戴金权老师围绕「大数据」的十个问题给出了自己的观点。

2022-12-12 15:36:48

大数据
分布式计算MapReduce究竟是怎么一回事？
MapReduce是Hadoop提供的一个分布式计算框架，对于大数据开发人员来说，只要关注于自己的业务，实现他们提供的Map和Reduce接口，接下来底层都交给Hadoop来处理。

2022-12-11 09:27:01

MapReduceHadoop框架
淘系数据模型治理优秀实践
本次分享题目为淘系数据模型治理，主要介绍过去一年淘系数据治理工作的一些总结。

2022-12-09 09:39:01

数据治理
谈谈如何构建优化的流数据架构
流处理最初是一种“特定群体”技术。但随着 SaaS、物联网和机器学习的快速发展，各行各业的组织现在都在试行或全面实施流分析。很难找到一家没有应用程序、在线广告、电子商务网站或物联网产品的现代公司。这些数字资产中的每一个都会创建实时事件数据流。人们越来越渴望整合流式数据基础架构，从而使复杂、强大和实时的分析成为可能。

2022-12-08 16:02:39

数据架构工具
大数据分析对医疗保健的影响
随着人口的增长，普通人的寿命也在增加。这凸显了医疗保健专业人员需要快速应对影响患者健康的挑战。医疗保健分析能够最大限度地降低治疗和可预防疾病的成本，并提高整体生活质量。通过使用大数据，医疗从业人员能够收集大量数据，并从得出的见解中得出最佳策略。

2022-12-08 10:15:38

大数据医疗保健
当我们说大数据Hadoop，究竟在说什么？
本文讲解了大数据开发中最流行的软件Hadoop, 它主要分为3部分，管理文件存储的hdfs, 统一管理资源和任务的调度平台Yarn，以及提供了一种计算引擎MapReduce, 基于这三个"磐石"，可以构建出整个大数据生态。

2022-12-08 08:40:25

大数据Hadoop存储
Cloudera：巧用数字化转型工具，助力企业降本增效
Cloudera提供了各种帮助企业加速数据和AI计划的工具。其中就包括通用数据分配（UDD）和应用机器学习原型（AMP）这两个特定领域。

2022-12-07 13:58:56

Cloudera
2022年及以后大数据的五个发展趋势
随着技术的发展，收集的数据量呈指数级增长，而且在短时间内没有放缓的迹象。企业正在致力于利用大数据分析来保持竞争力。以下概述了2022年及以后大数据的5个发展趋势。

2022-12-07 13:37:34

大数据数据分析
ClickHouse在自助行为分析场景的实践应用
在巨大的数据量面前，想追求极致的性能及全部场景适应性，必须在某些技术方案上进行取舍。ClickHouse从底层列式存储到上层向量化并行计算，都没有考虑存算分离、弹性扩展的技术方案，甚至于横向扩容数据需要手动re-balance。因此，如果要实现云上的可动态伸缩、存算分离，ClickHouse需要重构底层代码。

2022-12-07 08:31:45

ClickHouse并行计算数据
网易严选离线数仓治理实践
前面关于各个治理项目都有提到需要推送待办任务给数据开发处理，所以我们需要一个通用的消息通知机制。再结合到我们大多数巡检场景都可以基于元数据+SQL的形式识别，于是我们采用UDF的方法，对接消息中心的接口，实现了消息通知的SQL化。

2022-12-06 17:52:57

离线数仓治理
2023 年数据治理趋势
尽管整个组织的数字孪生还没有普及到整个数据领域，但是数据治理的许多基本方面——当通过实时访问控制和情景适应性的镜头应用时——可以模拟它们详细描述当前发生的事情的能力。

2022-12-06 10:04:33

数据治理趋势
一份“靠谱”的年度经营计划，你学会了吗？
做经营分析的同学们则被夹在中间，一边被要求“科学合理地进行测算”，另一边又得对领导们拍脑袋/扯皮出的结论“给予合理解释，科学地分配到每个月”，那是要多郁闷，有多郁闷。到底合理的年度经营计划该咋定，经营分析又该怎么发挥作用？今天给大家捋一捋。

2022-12-05 11:38:11

分析师数据作用
漫谈对大数据的思考
“大数据”已跃升为我们行业中最受炒作的术语之一，但炒作不应使人们忽视这样一个事实，即这是数据在世界上的作用真正重要的转变。

2022-12-05 11:29:14

大数据数据管理
测试一下，读懂数据的能力，你有吗？
因为这就是孤零零一个数字，啥含义都没有。想读懂数据，至少它得是一个明确的数据指标。包含了指标名称，使用场景，计算口径。同样是180，我们换成：成年女性，身高180cm。是不是一下清晰很多了。

2022-12-03 18:24:13

数据能力场景
用艺术的眼光探索数据之美
在深入分析的情况下，我们应该用数据图形表示技术的思想。我们经常使用bar charts, histograms, pie charts, boxplots, heatmaps, scatter plots, line plots等等这些典型的图，这些图对于数据可视化是必不可少的。

2022-12-02 15:11:52

数据分析数据可视化
聊聊数据分析成果如何落地
数据分析成果落地难，本质上是难在“做项目”上。因为数据分析涉及数学、统计学、计算科学等等理论，很多同学会本能地倾向于“做学问”，忘了我们是在企业，企业是为了赚钱而努力。

2022-12-02 11:40:00

数据分析成果
数据分析项目的五个坑点，千万不要对号入座！
所谓：猛将必发于卒伍，宰相必起于州郡。好的数据分析师，不是一上来就搬弄模型，而是能从数据细节里，读出企业的问题；能基于哪怕最简单的数据基础，设计出可行方法帮助业务从低端向高端升级。这才是好的数据分析师真正起到的作用。

2022-12-01 11:44:32

数据分析项目B2B
浅谈数据血缘的实现原理
市面上其实针对数据血缘的产品有很多，像阿里DataWorks的数据地图、字节的DataLeap以及非常火的开源产品Apache Atlas都是非常好用工具产品。但是本质上是想通过这篇文章，让小伙伴们在使用这些产品的时候多去思考这些产品背后的实现原理。

2022-11-30 18:38:50

数据血缘DataLeap
年终盘点：2022年炙手可热的十家大数据初创公司
下面就来看看这10家在2022年引起我们关注的具有突破性技术的大数据技术初创公司，其中包括了很多在数据库管理、数据转换、数据质量、数据集成和数据分析领域提供领先软件和服务的公司。

2022-11-30 11:06:56

大数据技术初创公司大数据
谈谈数据湖和数据仓库
数据湖是近十年来出现的一个术语，用于描述大数据世界中数据分析管道的重要组成部分 。

2022-11-29 17:16:57

数据湖数据仓库大数据
大数据的发展已经走到尽头了吗?
数据网格可以通过在更广泛的利益相关方之间驱动更高级别的自治和数据工程联盟，克服大数据中固有的许多挑战。然而，大数据并不是一种灵丹妙药，它为企业带来了一系列需要管理的风险。

2022-11-29 15:05:16

大数据数据网格
这才是真正的商品分析，而不是罗列进销存
很多商品报表只有库存和销售额两个指标，这是因为商品主管对采购周期、保质期自己心里有数，并且这俩数据一般也不在交易表里，导致数据分析师取数的时候没有包含这俩数据。

2022-11-29 11:31:19

商品分析商品销售库存
十个实用的数据可视化的图表总结
可视化是一种方便的观察数据的方式，可以一目了然地了解数据块。我们经常使用柱状图、直方图、饼图、箱图、热图、散点图、线状图等。这些

2022-11-28 15:04:42

数据可视化工具
只需五步，实现数据分析闭环
如果每次数据分析做出的预判都很准的话，就是所谓：知其所以胜，知其所以败，这就是数据分析的最高境界了。说明分析师本人已经抓住了一个业务的核心规律。

2022-11-28 11:43:24

数据分析不及格数据验证
用这个算法能让大数据集群性能提升100倍
我们完全可以就从TreeSet中获取续约时间最老的那个契约，假如说连最近一次续约时间最老的那个契约都还没过期，那么就不用继续检查了啊！这说明续约时间更近的那些契约绝对不会过期！

2022-11-27 17:39:06

大数据集群性能
从SQL Boy到管理者：数据分析师成长的五个阶段
SQL Boy是数据分析师们必经阶段，所谓“猛将发于行伍，宰相起于州县”，正是此理。因为真正工作中取数，并不是对着一个清洗好的大宽表写sql那么简单。

2022-11-26 00:00:05

SQL数据分析师业务
科技与世界杯：大数据如何改变足球赛
在此次卡塔尔世界杯足球赛期间，球员们将有一种更科学的方式来争取上场时间。在终场哨响后的几分钟内，赛事组织者将向每位球员发送一份详细的表现明细。例如，中锋的传球、带球和射门表现;以及当对方控球时，防守队员对对方的抢断频率和程度数据等。

2022-11-25 10:24:47

大数据科技与世界杯
生产环境的数据表变更很麻烦？那这个功能你应该用的上
在数据开发中，我们经常会碰到要对一些生产环境的表进行一些变更，包括增加字段等操作，但是生产环境的表又不能随意变更，因为往往这些表格存在复杂的上下游关系，所以一般都会需要经过测试，通过测试验证的代码才能提交到线上。

2022-11-24 18:38:29

数据开发数据存储
企业数据战略的七个发展趋势
以下是七个数据战略主要趋势的简要概述，这些趋势可能会在未来几个月重塑企业的数据战略。

2022-11-24 14:03:10

数据战略大数据
火山引擎工具技术分享：用 AI 完成数据挖掘，零门槛完成 SQL 撰写
专业算法团队在做数据挖掘时，数据分析及可视化也会呈现相对割裂的现象。流程化完成算法建模和数据分析工作，也是一个提效的好办法。

2022-11-24 09:19:53

AI数据挖掘
vivo大数据日志采集Agent设计实践
本文通过在vivo的日志采集服务的设计实践经验，为大家提供日志采集Agent在设计开发过程中的关键设计思路。

2022-11-23 21:51:42

大数据
谈谈阻碍数据建模的五大借口
随着大数据和数据湖的发展，数据建模似乎濒临灭亡。数据湖的开发者留下了大量数据沼泽，所以建模活动还是必须的。

2022-11-23 16:36:34

数据建模大数据数据湖
大数据世界中的新技术
大数据世界正在以前所未有的方式发生着变化，特别是企业将数据整合到一起并将其应用到业务的情况下。

2022-11-21 14:33:53

大数据数据存储机器学习
数据流量和处理对环境有巨大影响
Ericsson移动报告的最新更新表明，蜂窝网络每月传输和接收的数据已经超过100艾字节。这意味着今年移动网络传输的数据将超过1 ZB。

2022-11-21 11:20:24

数据流量蜂窝网络
图数据技术护航网络安全
网络数字化及人工智能为许多行业来革命性的进步，但与此同时，网络安全领域产生的问题也日益严峻。人工智能进攻性风险和网络威胁领域的发展正在重新定义企业安全，从而给企业带来了更高的挑战。如何守护网络安全，成为企业深化数字化转型进程中的重要一环。

2022-11-18 17:55:04

Neo4j
Neo4j宣布下一代图数据平台Neo4j 5上线
Neo4j联合创始人兼首席执行官Emil Eifrem表示：“随着企业开始寻求更好的方法利用数据连接来大规模地解决复杂问题，图技术的应用正在加速。Neo4j 5提供更高可扩展性、敏捷性和性能的新平台，帮助企业进一步突破局限，挖掘其数据和业务的潜能。”

2022-11-18 17:53:03

Neo4j
观远数据荣膺Gartner2022中国分析平台Cool Vendor
近日，全球权威的技术研究与咨询公司Gartner正式发布了《2022 中国分析平台最酷厂商》(Cool Vendors for Analytics Platforms in China )。观远数据也是唯一入选该报告的国内BI厂商。

2022-11-17 19:14:35

观远数据数据分析
对比Pandas，学习PySpark大数据处理
在这篇文章中，我们将对比用于基本数据操作任务的 pandas 代码片段和它们在 PySpark 中的对应功能的代码片段。利用 pandas 数据操作技能来学习 PySpark 。

2022-11-17 11:52:35

pandasPySpark大数据
如何从边缘分析中推动业务价值
随着数据以指数级增长，超出集中存储和管理的能力，以下是边缘分析如何帮助组织克服这一挑战。

2022-11-17 11:30:34

边缘分析物联网
数据中心芯片市场风起云涌
数据中心正在加速朝着绿色低碳方向转型升级。

2022-11-17 10:01:31

数据中心低碳
互联网都在说降本增效，小红书技术团队是怎么做的？
目前，这一平台已覆盖小红书搜索、推荐、广告的 S0 服务，运行两个多月以来，辅助业务团队存量优化超1万 CPU 核；发现性能退化超1万 CPU 核并跟进优化。

2022-11-16 22:30:06

大数据
谈谈如何跨越数据架构的漩涡
创建数据湖和数据集市是为了满足当时数据工程领域的实际需求。即使在今天，数据仓库仍然无法支持企业的所有不同应用。即使对于较新的云数据仓库也是如此。

2022-11-16 14:18:03

数据湖数据仓库数据架构
数据分析能力分级模型，你在哪一级？
很多做数据的新人都有这个困惑，今天陈老师给大家解这个局。这里问题的核心在于：如果不能按自己的建议做项目，是不是就不能提升数据分析能力了？回答当然是：否！数据分析的能力晋级分为四个层级，所谓“按我的意见做”根本就不在这个晋级体系里。

2022-11-15 11:46:17

数据分析能力分级模型
这才是真正的数据分析项目，而不是爬表
作为数据部门的领导，可能最想承接的就是计划类工作，虽然技术含量低，但这是一个直接服务大老板的机会。能多在大老板面前露脸，本身就是一个绝好的立功机会。

2022-11-14 11:55:39

数据分析项目
数据科学与数据分析
数据科学是一个令人兴奋的领域，因为它的本质是收集、存储和处理大量信息，可以产生在任何其他学科都不可能达到的知识水平。

2022-11-14 10:36:55

数据科学数据分析
供应链技术如何解决供应链中断和员工倦怠问题
美国劳动力的持续短缺正在影响各行业组织，供应链是受冲击最严重的行业之一。不断变化的消费者行为使得新职位的空缺激增，以满足企业需求。然而，尽管从港口、仓库到船运公司和物流部门，供应链的各个层面都做出了最大努力，但短缺问题依然存在。在此期间，技术如何帮助企业适应这些挑战，提高效率，并且少花钱多办事。

2022-11-14 10:32:56

供应链技术
Pandas 探索性数据分析综合实战
本文的内容是关于对数据集进行特别分析，并试图找到关于数据的洞察力。我们做了处理缺失值、异常值的工作，并将单变量、双变量和多变量的分析可视化。

2022-11-11 11:35:14

Pandas数据分析
大数据与物联网如何帮助企业
大数据包含大量的信息。这些数据随后被社交媒体网络等组织和其他企业收集，并用于各种项目，如预测分析和机器学习项目。它使用支持大数据分析的工具进行处理。

2022-11-11 10:12:38

大数据物联网
数据治理体系演进简介
随着网易数帆商业化的发展，遇到很多金融及大型国企客户，我们发现互联网的这套数据治理的打法并不能全部适应传统行业客户的场景。我们开始向客户和竞争对手学习，为此打磨出元数据管理，数据标准，数据资产目录等子产品，沉淀出一套数据治理的产品体系。

2022-11-10 20:43:57

数据治理数据湖
上一页 1 ··· 2122232425 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服