51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9065内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9065 条
对于非结构化数据，EDA探索性数据分析该怎么做？
本文的讨论到此结束。当然，在EDA中还有很多技术比本文在这里介绍的要多得多，这取决于用户在问题陈述中要使用的数据集。

2023-05-11 13:39:39

EDA数据分析
【大数据】Hive 小文件治理和 HDFS 数据平衡讲解
如果数据分布不均匀，会导致一些Reduce任务处理了完全不同的分区，这会使某些Reduce任务的运行速度与其他Reduce任务相比非常慢。

2023-05-11 00:17:44

分区HiveReduce
集成大数据的三个数据管理技巧
分析数据管理外包趋势有助于企业及其员工做出更好的决策，保护企业利益相关者并提高公司的盈利能力。当管理来自各种来源的大量结构化和非结构化数据并将其用于业务利益时，它会派上用场。

2023-05-10 16:42:35

大数据非结构化数据
为什么85%的大数据项目总是失败？
企业在推行大数据项目时往往把项目规模和范围做得很大，但是事实却是，很多大数据项目通常都会失败。2016年，Gartner估算约60%的大数据项目都会失败。一年后，Gartner分析师Nick Heudecker表示，这个数据“过于保守”，大数据项目失败率应接近85%。直至现在他也是这样认为的。

2023-05-10 16:04:38

大数据架构
企业集成楼宇管理系统(BMS)的好处
建立一个BMS系统，从一个位置到另一个位置精确地传输数据可以提供宝贵的分析、报告、图表和实时数据。

2023-05-10 15:08:36

BMS系统物联网大数据
政务数据要素构建思路及案例分享
本期邀请到中移系统集成有限公司李仪平，分析近年国家对数据资源体系建设的要求，并结合中国移动能力布局及集成公司项目经验，简要分享政务大数据体系建设的思路。

2023-05-10 10:46:38

政务大数据
详解基于凸集投影方法的聚类算法 译文 精选
聚类分析（或聚类）是一种数据分析技术，它能够探索和分组一组向量（或数据点），使同一聚类中的向量彼此之间比其他聚类中的向量更相似。聚类算法被广泛应用于例如数据分析、模式识别和图像处理等许多应用场景中。

2023-05-10 08:00:00

聚类分析数据分析聚类算法
数据分析在设施管理和维护运营中的作用
数据分析是一门分析和处理原始数据以获得有意义且可操作的见解的科学，这些见解可用于为业务决策提供信息。

2023-05-09 16:42:50

数据分析
数据分析在设施管理和维护操作中的作用
数据分析在设施管理软件中发挥着至关重要的作用，其提供了有价值的见解，并使企业能够优化设施性能、提高运营卓越性、加强资产管理和降低成本。

2023-05-09 16:11:05

数据分析设施管理软件
大数据时代的人工智能和神经网络
随着组织和行业努力利用信息的力量来改进决策、优化运营和增强客户体验，人工智能(AI)和神经网络在大数据时代变得越来越重要。

2023-05-09 14:24:32

大数据人工智能
数据分析实战，用Pandas分析二手车市场行情
本文将展示如何从汽车销售商网站Cars24上抓取所有的搜索结果，并建立一个包含所有找到的列表的数据库。

2023-05-09 12:40:40

数据分析Cars24Pandas
【大数据】Yarn Proxyserver 和 Historyserver 讲解
start-history-server.sh 脚本默认情况下启动Spark History Server只是将文件存储在/tmp/spark-events目录下，这是本地文件系统路径。如果您没有在配置文件中指定spark.history.fs.logDirectory属性，则Spark History Server将在该目录下保存事件日志和历史记录。

2023-05-09 07:46:32

大数据脚本系统
【大数据】yarn 任务中的几种状态变化详细过程
YARN Proxy可以让您通过Web界面对集群进行监视和管理，而不必直接连接到每个节点。YARN Proxy服务是一个Web代理服务器，运行在YARN集群之外，并提供对集群资源管理器和节点管理器的访问。

2023-05-08 23:20:49

WebYARN管理
数据可视化有哪些方式？
我们通常所说的数据可视化是指狭义的数据可视化，即将数据以图表的方式进行呈现，常见于PPT、报表、新闻等场景。图表是数据可视化最基础的应用，它代表图形化的数据，通常以所用的图形符号命名，例如使用圆形符号的饼图、使用线条符号的折线图等。下面介绍一些常见的图表，并结合一些应用场景给出图表示例。

2023-05-08 16:29:34

数据可视化图表
数据处理单元：什么是DPU，为什么需要它们？
在本文中，我们将基本了解什么是DPU、DPU的工作原理、DPU的优势、如何选择合适的DPU供应商以及常见问题解答。

2023-05-08 14:49:54

数据处理DPU
大数据正在改变教育
大数据为教育工作者提供了前所未有的机会，以新的方式接触和指导学生。其还可以更深入地了解学生的教育经历，减少辍学率，并帮助学校调整资金和招生策略。本文总结了大数据影响任何国家教育系统的一些关键方式。

2023-05-08 09:47:46

大数据教育系统
数据标准和数据质量：技术解析与典型案例
数据质量的考量维度有很多分法，最重要的一个就是数据的真实性，它必须真实地去表达客观实体或者真实的业务。其次还有准确性或者叫可靠性，它适用于分析和识别那些不准确无效数据的一些方法。

2023-05-08 07:25:47

数据质量数据标准
Apache Doris 极速数据湖分析技术细节公开！
本文将介绍 Apache Doris 的前世今生，数据湖分析的技术细节以及后期的规划。

2023-05-08 07:20:22

Doris分析型数据库
【大数据】Hive Join 的原理与机制
Map Join 通常用于一个很小的表和一个大表进行 join 的场景，具体小表有多小，由参数hive.mapjoin.smalltable.filesize​ 来决定，默认值为 25M。满足条件的话 Hive 在执行时候会自动转化为 MapJoin，或使用 hint 提示 /*+ mapjoin(table) */ 执行 MapJoin。

2023-05-08 00:08:51

Hive机制场景
你和数据分析高手之间，真的只差这一点
在开发的时候，先做能用基础标签+现有数据指标，直接计算出来的标签。这种标签也被称作：规则标签。即业务给到计算规则后，可以基于基础标签+现有指标直接计算。这种标签获得速度快，也容易验证。

2023-05-08 00:01:29

数据分析指标标签
数据监控在商业建筑中的重要作用
数据监控有助于更好地了解能源消耗模式并确定需要改进的领域，从而提高效率、节约成本并减少对环境的影响。在本篇文章中，我们将讨论数据监控在商业建筑中的重要性，以及它如何为可持续发展做出贡献。

2023-05-06 14:34:23

数据监控商业建筑
解读数据的七步标准，讲得太明白了
数据分析师想要加强数据洞察能力，就得多积累分析经验，针对具体业务问题，收集业务动作，多复盘，这样才能认识得越来越深入。每次具体问题来了，才有丰富的弹药库可用。​

2023-05-06 11:54:16

数据经验业务
【大数据】Hive DDL 操作与视图讲解
Hive中的DDL操作和视图操作可以帮助用户定义和管理表、视图等数据结构，从而更加灵活和高效地管理和查询数据。用户可以根据实际需求选择使用哪种操作方式，以达到更好的数据管理和操作效果。​

2023-05-06 07:20:27

HiveDDL管理表
网易云音乐实时数仓架构与低代码实践
本文将介绍网易云音乐的实时数仓架构和低代码平台的实践。分享包括四部分，第一部分总体介绍网易云音乐的实时数仓架构和技术架构。第二部分介绍流批模型的一致性实现思路。第三部分介绍网易云音乐在低代码实践中的成果。第四部分介绍网易云音乐实时数仓未来的规划。

2023-05-06 07:19:48

数仓架构技术架构
【大数据】Hive 内置函数和 UDF 讲解
Hive是基于Hadoop的一个数据仓库工具，可以将结构化数据文件映射为一张数据库表，并提供类SQL语句操作。Hive内置了很多函数，可以满足基本的查询需求，同时还支持自定义函数(UDF)来实现更加灵活的操作。

2023-05-06 07:15:59

Hive内置函数工具
在数据治理方面，我们仍处于狂野的“西部世界”
GDPR和CCPA等数据隐私法本应遏制大数据繁荣时期的过度行为，并引导我们进入数据文明的新时代。然而数据集成提供商StreamSets表示，情况并非如此，该公司表示，在数据治理方面，我们仍然生活在“狂野的西部”。

2023-05-05 18:57:31

治理大数据
有了数据湖，数据仓库究竟能不能被取代？他们又有什么样的区别呢？
数据湖是近两年中比较新的技术在大数据领域中，对于一个真正的数据湖应该是什么样子，现在对数据湖认知还是处在探索的阶段，像现在代表的开源产品有iceberg、hudi、Delta Lake。

2023-05-05 18:53:23

数据湖数据仓库
大数据安全有哪些挑战与解决方案？
确保大数据平台的安全需要传统的安全工具、新开发的工具集和智能流程的组合，以在大数据平台的整个生命周期内监控安全性。

2023-05-05 15:57:33

大数据大数据安全
五步走，做一个优秀的数据分析项目
大量的业务不是科学问题，而是实操问题。O2O平台如何管理商户，新媒体平台如何发展本地客户，直播电商怎么选款等等问题，都得把数据知识和实际业务结合，才能输出结论。

2023-05-05 11:42:21

数据分析项目
腾讯内容生态实时信号系统实践
在内容生态，会围绕海量数据产生大量实时信号场景，本文将介绍千亿级实时计算优化思路、统一的规则引擎触发系统、实时高可用保障手段，带读者深入浅出理解实时体系的建设。

2023-05-05 07:30:11

数据治理大数据
为什么说数据治理对每个业务主管都很重要
很多人厌恶“数据治理”这个词。正如一位高级管理人员所说，“这听起来像‘数据政府’，这可不好！”对于渴望创新和数据实验的分析师和数据科学家来说，治理可能意味着约束、限制和不必要的官僚主义。

2023-05-04 23:30:15

数据治理大数据
为什么改变人们对数据库技术的误解很重要？ 译文 精选
如果数据库的领导者误解了数据库的成本、迁移的复杂性、数据安全性和灵活性，他们就不愿意采用现代化的解决方案。因此，更好地了解这些误区，对于企业的成功至关重要。

2023-05-04 17:24:37

数据安全数据库
大数据：成功企业背后的燃料
大数据如今是一个重要的信息价值来源，可以用来帮助修定获得竞争优势和提高绩效。

2023-05-04 15:57:33

大数据供应链
经营分析是什么？为什么大厂这么重视它
经营分析是对企业经营状况进行整体的诊断分析。经营分析并不是什么新事物，在国企或大型传统企业，比如银行、运营商、地产公司非常流行，有着十几年经验积累。

2023-05-04 11:39:17

经营分析流量项目
做可视化大屏可能需要用到的几个开源项目-DataV/AntV/ECharts
现在做低代码大屏的产品也挺多的，处理好数据之后，通过拖拉拽就能很快捷的做出一个漂亮的大屏界面。

2023-05-03 09:04:57

可视化大屏开源
数据分析师，到底要懂多少业务？
不在理论层面浅尝辄止，也不沉迷于具体某一次成功经验，才能让自己理解能力越来越强，主动梳理能力越来越高。看到这，可能有同学会想看具体例子，有兴趣的话，欢迎加入我主理的知识星球，我们具体探讨哦！我还可以根据你的经验、能力和意向，帮你制定个性化的学习路线和职业规划。

2023-04-28 12:15:57

数据分析师业务
如何搭建好的数据指标体系？
什么是好的指标？好的指标能带来你所期望的变化，指引大家朝着正确的方向去迭代：每个部门都朝着一个共同的目标协作前进，经过不断迭代优化后，最终实现业务目标。

2023-04-28 07:34:39

数据指标数据治理
从数据管理到数据资产管理 原创
从信息时代到数字时代，数据由记录业务逐渐转变为智能决策，成为了组织持续发展的核心引擎。从数据采集到数据管理，再数据资产的形成，数据资产管理将朝着统一化、专业化、敏捷化的方向发展，提高数据资产管理效率，主动赋能业务，推动数据资产安全有序流通，持续运营数据资产，充分发挥数据资产的社会与经济价值。

2023-04-28 07:34:35

数据管理数据资产管理
大数据有哪些发展趋势以及在不同行业的应用
随着云计算、边缘计算、物联网和流媒体等创新技术的出现，对于那些希望更好地了解客户和运营潜力的企业来说，大数据已经变得越来越普遍。

2023-04-27 14:50:58

大数据发展趋势
一个完整的数据分析体系，该长啥样？
满足业务需求，是建设数据分析体系的出发点，也是最终目的和最高要求。要注意的是，“业务需求”并没有统一的标准。不同部门，不同身份的人，需求是不一样的。

2023-04-27 11:30:44

数据分析体系
Thoughtworks发布《数据工程白皮书》
近日，Thoughtworks发布《数据工程白皮书》，旨在讨论如何从工程化的角度加速数据到价值的转化过程、为企业带来更多的价值，帮助企业在数字化转型过程中应对来自业务、外部市场、内部数据能力提升等一系列问题。

2023-04-26 12:36:20

Thoughtwor数据工程
解密HDFS如何判断磁盘存储大小，存储动态负载均衡的？
DataNode在运行过程中，为了计算DN的capacity使用量，实现数据存储的动态均衡，DN会对已配置的数据存储路径（dfs.datanode.data.dir）进行du -sk操作，以此获得capacity使用量汇报给NN中，然后NN就知道哪些DN有空间能被写数据进去，哪些是空间不足的。

2023-04-26 11:16:44

HDFScapacityDN
洞见数字时代的创新原力，数云原力大会暨2023TECH第五届数字中国技术年会开幕​
随着数云原力大会暨2023TECH第五届数字中国技术年会的正式开幕，在接下来的一个多月中，一系列围绕技术与产业的特色主题论坛还将密集举办，广邀行业实践分享，洞见数字技术创新原力，聚焦数云融合与AIGC，众多业界大咖还将带来前瞻技术与实践分享，共谱数字中国技术新章。​

2023-04-26 10:06:16

数云原力大会
还在问有没有经营分析模板？先做到这几步
很多小厂子，待遇差，工资少，数据基建一塌糊涂，只有少得可怜的订单数据，领导还指望着分析出惊为天人的结论，这个难度就着实大了。这个时候，建议采用一些平价替代方案，训练一下自己打标签、建分析思路的能力，之后尽快跳槽到正规大厂比较好。​

2023-04-26 01:03:55

经营分析模板数据
拥抱大数据时代 浅析数据挖掘的价值
数据挖掘在大数据相关技术的支持下，随着数据存储、分布式数据计算、数据可视化等技术的发展，数据挖掘对事物的理解能力越来越强，所以数据挖掘一方面要尽可能获取更多、更有价值、更全面的数据，并从这些数据中提取价值。

2023-04-24 21:17:54

大数据数据挖掘
Cloudera 持续创新 助力企业以数据驱动未来 原创
如今，数据量越来越大，产生的速度也越来越快，企业希望可以实时进行数据分析，快速为业务做出辅助决策。为此，Cloudera 也从产品功能方面进行创新，帮助企业客户可以在多个公有云、私有云以及本地数据中心访问和分析数据，使企业能够做出由数据驱动的明智决策，帮助企业建立由数据驱动的未来。

2023-04-24 14:18:54

Cloudera动态数据大数据
数据治理与数据中台架构
随着工业 4.0 时代的到来，传统行业的数字化转型是大势所趋；将数据提高到数据要素层面，让传统的技术在新的场景下发挥出新的作用，是近期研究和探讨的焦点话题。数语科技支持和服务传统行业多年，聚焦于传统数据建模和数据架构设计。本文针对数据资产建模部分，介绍数语科技在数据治理和数据中台架构方面的相关技术，并分享相关的企业实践案例。

2023-04-21 13:15:01

工业 4.0数据架构
商业建筑的能源效率：智能 HVAC 的数据驱动解决方案
建筑行业关注的主要原因之一是能源消耗。 供暖、通风、空调和制冷系统（HVAC 或 HVACR）占商业建筑能耗的 60%。这不仅对资源造成压力，还会导致更高的能源成本和更大的碳足迹。

2023-04-20 12:10:25

智能建筑大数据
2023年高级数据科学家必须掌握的十个技能 译文
这篇文章将会带你一起探索高级数据科学家所需要的十项Top级技能。

2023-04-20 10:29:46

数据管理数据分析
数据可信度提高 Snowflake 数据质量 译文
那些将数据可信度放在最重要地位的企业，将体会到Snowflake是怎样通过完整的数据处理——从数据输入到数据利用——赋能组织架构，解锁可行的洞察能力的。

2023-04-20 09:54:36

数据管理大数据
上一页 1 ··· 1617181920 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服