51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
从Delta 2.0开始聊聊我们需要怎样的数据湖
盘点行业内近期发生的大事，Delta 2.0 的开源是最让人津津乐道的，尤其在 Databricks 官宣 delta2.0 时抛出了下面这张性能对比，颇有些引战的味道。

2022-11-10 20:29:21

数据湖
网易传媒基于 Arctic 的低成本准实时计算实践
基于对开源数据湖方案的调研，我们注意到了网易数帆开源的基于 Apache Iceberg 构建的 Arctic 数据湖解决方案。

2022-11-10 08:48:20

开源数据湖Arctic
为什么建设智慧城市需要实时数据处理？
数据以及快速、无缝地处理数据的能力，对于互联的智能网络至关重要。这些网络为当今的城市提供了命脉，也为连接一个国家城市的交通系统提供了联系。

2022-11-09 10:26:48

智慧城市物联网
人工智能和大数据是工业4.0背后的驱动力
大数据和人工智能是由一些技术进步推动的，这些技术进步定义了当前的数字环境和工业4.0。

2022-11-08 14:49:17

人工智能大数据
合成数据定义：重大的机会和陷阱详解 译文
尽管人类每天生成海量数据，但仍然缺乏可用的真实数据。当建模目标只有少量的真实数据或根本没有数据时，合成数据用作解决方案最好不过了。

2022-11-08 07:40:55

合成数据AI真实数据
ETL工具算法构建企业级数据仓库五步法
ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统到OLAP系统的过程。

2022-11-07 18:35:09

企业级数据仓库ETL工具
Arctic助力传媒实现低成本的大数据准实时计算
基于对开源数据湖方案的调研，我们注意到了网易数帆开源的基于 Apache Iceberg 构建的 Arctic 数据湖解决方案。

2022-11-07 18:19:14

Arctic大数据
处理数据？不要一概而论
如今，创建和使用这类数据集的企业数量有所增加。这类数据并不是大型社交媒体和网络企业的专利，而是在数千家企业中涌现出来。“大数据”这个称呼现在已经成为很多人的常态。这些数据集很大，更新速度很快，而且有序。这使得数据分析更容易，pb级的...

2022-11-07 12:54:22

大数据数据分析
企业如何从大数据中获得价值?
大数据是有价值的，但这需要正确的策略和执行力。简单地说，为了获得适度的投资回报，必须利用和优化传统和大数据技术的组合，以取代日益陈旧老化的基础设施。

2022-11-07 11:16:30

大数据数据仓库Hadoop
数据驱动增长，我立了个大功
需要数据分析的能力更高。但往好处看：这是数据分析师建功立业的最好机会！想想看，项目组一般都是按项目效益拿提成，凭什么数据分析师要背着锅领死工资呢。比起坐在后台等着别人来问：“你来个人工智能大数据精准预测一下”，能亲手做出好的结果，不是更有吸引力吗。​

2022-11-05 18:25:18

数据驱动数据分析项目
数仓如何建模？四种方法与实例都在这了
数据仓库，这个几乎是所有大数据开发面试必问的话题。比如数据仓库的分层架构？为什么需要数据仓库建模？数据仓库建模的原则是什么？结合业务举例说明数据仓库建模的步骤，以及注意事项？什么是缓慢变化维？维度该如何选择建设，原则是什么，主键如何设计等等？

2022-11-04 18:28:31

数仓建模大数据
中小企业能负担得起大数据解决方案的成本吗?
目前很多人仍然存在的一个最大的误区是，只有大企业才能负担得起大数据驱动的解决方案的成本，这是因为采集和分析大量数据成本很高。现在这种情况已经不存在了，几次革命已经改变了这种思维状态。

2022-11-04 12:30:15

大数据
互联网时代，游戏和数据中心协同发展
在未来，游戏行业将会更密切的融合与IDC行业，数据中心也将不断响应变革和创新，游戏为数据中心带来的效益也将形成产业链，互相协同发展。

2022-11-04 09:35:29

数据中心游戏
甲骨文发布 Oracle Alloy服务 译文
新的Oracle Alloy服务为国家和行业提供了一种使用Oracle云服务的方式，而不必放弃对运营决策的控制权。

2022-11-03 14:44:52

甲骨文数据中心
Cloudera扩大合作伙伴机会，加速产品上市
混合数据公司​​Cloudera​​于今日宣布推出Cloudera合作伙伴网络（Cloudera Partner Network），这是一项经过重新设计的会员计划，旨在表彰及奖励对Cloudera产品上市成功做出贡献的合作伙伴。

2022-11-03 13:58:06

​​Cloudera合作伙伴网络
从0到1，认识结构分析法
人们天生讨厌平均数，总觉得用平均数很扯淡，有种“我和姚明平均身高，有毛用”的感觉。但是反问：为啥平均数这么不好用，但是大家还喜欢用呢？

2022-11-03 11:31:43

结构分析法监测
Pandas实用技巧：SAC机制！
我们将数据进行group分组操作，切分成3种颜色，3种颜色代表3个不同的组别；对3个不同的组别使用函数foo()，函数可以内置或者自定义。

2022-11-03 10:28:59

PandasSAC机制
大数据驱动的创新对智慧城市发展至关重要
大数据是智慧城市创新的核心。而利用来自互联设备、公共机构、普通公民等方面的数据，智慧城市将能够优化它们的运营，并有效地管理变化。

2022-11-03 09:24:13

智慧城市大数据
Kaggle全球数据科学家薪酬大揭秘：俄罗斯竟力压美国成第一！
Kaggle的全球数据科学家的薪资可视化数据出炉！美国薪酬被俄罗斯赶超，排名前十竟然有这个国家？

2022-11-02 13:55:33

数据科学
数据飞轮：数据战略四步法
数据和分析正在显露出潜力，各种组织每天都利用数据和分析完成各种工作，许多公司都需要制定数据战略。

2022-11-02 13:16:58

数据分析
DataLeap 的 Catalog 系统近实时消息同步能力优化 精选
Apache Atlas 对于实时消息的消费处理不满足性能要求，内部使用 Flink 任务的处理方案在 ToB 场景中也存在诸多限制，所以团队自研了轻量级异步消息处理框架，很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景，并详细介绍框架的设计与实现。

2022-11-02 09:58:26

Flink数据中台DataLeap
终于有人将数据埋点讲明白了
数据埋点是指基于业务需求(如淘宝双 11 促销页面统计每个 banner 的点击 次数)、产品需求(如推荐系统统计推荐商品的曝光次数及点击人数)，对每一个用户行为事件对应的位置进行埋点，并通过 SDK 上报埋点的数据结果，将记录数据汇总后进行分析，以推动产品优化或指导运营。

2022-11-01 18:21:14

数据埋点SDK
数据分析，如何支持决策
很多同学一听到“决策”俩字就怂了。对“决策”的第一印象，就是各种听不懂的高大上词语，什么“把握机遇”“苦练内功”“真抓实干”……这些东西咋个和数据扯上关系？

2022-11-01 11:30:51

数据分析模型数据
版本更新 | 有数BI LTS8.0发布啦
有数BI的LTS8.0（Long Term Support即长期支持版本&私有化部署）版本更新啦！此次新版本在数据大屏、数据源、报告、数据门户、自助取数、数据填报等模块均有优化，快来看看吧！

2022-10-31 17:50:47

BI LTS8.0大数据
用户画像的五个底层问题
好的数据是好的运营产生的，不是从天上掉下来的，大家切记切记。不过有的同学会好奇：说用户不会好好填信息，这个好理解，问题是员工为啥也不好好填？

2022-10-31 11:35:48

用户画像底层模型
领导对数据的期望值太高了！该怎么破
生产数据是数据部门的事，但应用数据是每个部门的事，甚至很多资深的业务，要比每天跑数的表哥更懂数据的含义和用处。所以从一开始，就不能拿技术能力去要求业务部门，而是得看这些人懂不懂如何用数据。

2022-10-30 14:34:30

数据业务
创建有效大数据模型的六个技巧
大数据(现在占管理数据的很大一部分)不能在关系数据库上运行。它在NoSQL等非关系数据库上运行。这让人们相信不需要创建大数据模型。

2022-10-28 15:30:27

大数据大数据模型
大数据企业获得创新的见解
随着数据量的爆炸式增长，现在可以训练算法来提供更好的结果，帮助人们更有效地完成工作。

2022-10-28 15:22:06

大数据算法人工智能
现代化BI全面崛起，观远数据让业务快速、广泛、活跃用起来！
2022年，也是观远数据成立的第六年。基于“让业务用起来 让决策更智能”的使命，观远数据与各行业最领先的500+家客户，不断定义和发布现代化BI的先进实践。在刚刚结束的「让业务用起来·观远数据2022智能决策峰会暨产品发布会」云上直播中，观远数据创始人兼CEO苏春园、联合创始人兼CTO张进，分别分享了观远数据对“现代化BI"的深度思考、实现路径以及未来规划，正式对外发布了「观远数据一站式智能分析平

2022-10-28 11:36:28

观远数据BI
数字孪生与未来城市建设
数字孪生技术的引入是 21 世纪最具开创性的创新。如今，数字孪生技术已在各个经济领域得到直接应用，尤其是在制造、医疗保健等领域。

2022-10-28 11:28:42

数字孪生物联网人工智能
探究Presto SQL引擎(4)-统计计数
本篇文章介绍了统计计数的基本原理以及Presto的实现思路，精确统计和近似统计的细节及各种优缺点，并给出了统计计数在具体业务使用的建议。

2022-10-27 11:31:10

Presto SQL统计计数大数据
探究Presto SQL引擎(3)-代码生成
本文旨在探究 where 关键词的实现思路，探究where语句内部实现的基本思路以及性能优化的基本思想。

2022-10-27 11:07:40

Presto SQL代码生成大数据
探究Presto SQL引擎(2)-浅析Join
本文梳理了Join的原理，以及Join算法在Presto中的实现思路。通过理论和实践的结合，可以在理解原理的基础上，更加深入理解Join算法在OLAP场景下的工程落地技巧，比如火山模型，列式存储，批量处理等思想的应用。

2022-10-27 10:32:09

Presto SQLJoin大数据
关于智慧城市你需要了解那些事
把智慧城市想象成一个有机体。大数据、物联网设备和传感器以及物联网连接将成为神经系统，使其能够对环境变化做出反应和调整。这些组件加上5G网络，帮助城市规划者改善居民生活。

2022-10-27 10:29:15

智慧城市大数据物联网
探究Presto SQL引擎(1)-巧用Antlr
本文基于四则运算器和使用SQL查询csv数据两个案例阐述了ANTLR4在项目开发中的应用思路和过程，相关的代码可以在github上看到。

2022-10-27 10:06:16

Presto SQLAntlr大数据
一篇数据分析报告写作指南，你学会了吗？
其实做报告的过程，就是把陈老师大量的分析方法总结归纳的过程。没错！因为本身，报告是数据分析的最后一步。只有做好了各种具体的分析，才能写出优质的报告。因此，优质的报告绝不是按模板抄出来的。

2022-10-26 11:37:08

数据分析方法报告
聊聊大数据下的存算分离
回过头来看看开头的两个问题：集群经常出问题，需要做存算分离改造，其实还可以有较大的优化空间，比如：增加NameNode JVM的内存，或者合并小文件减少元数据信息等等，一般情况下，几十台的规模远不会达到HDFS性能瓶颈。

2022-10-25 18:02:31

大数据存算分离
一站式智能分析平台5.0全新能力发布！观远数据2022智能决策峰会云上直播Day1精彩分享回顾
10月25日，由一站式智能分析平台与服务提供商观远数据主办的「让业务用起来·观远数据2022智能决策峰会暨产品发布会」云上直播第一日议程圆满结束。峰会首日直播分为两大会场，在上午直播的“让业务用起来”主会场里，观远数据创始人兼CEO苏春园阐述了观远数据在产品创新方面对“让业务用起来”的诠释，并正式发布了秉持着“让业务用起来”的理念，观远数据升级的客户成功战略。

2022-10-25 17:07:24

观远数据数据分析
大数据，大业务：网络面临的巨大挑战
网络每时每刻都在处理数据，但如果把“大”这个词放在“数据”前面，网络管理员和首席信息官就必须面对很多全新的挑战。

2022-10-24 16:15:57

大数据数据流网络
共享数据库过时了，应用程序数据库才是王道！ 译文 精选
了解在架构中使用应用程序数据库和显式发布数据的原因，以及如何管理数据范围和大小的增长。

2022-10-24 14:21:09

数据库应用数据库数据管理
2023 年五大数据科学发展趋势
数据科学和机器学习在商业和营销中很重要，因为它们提高了区域的增长率。本文将帮助定位和深入了解将主导来年的前五名数据科学趋势。

2022-10-24 11:22:53

数据科学机器学习
大数据Hadoop之—Apache Hudi 数据湖实战操作
构建hudi后，可以通过cd hudi cli&&./hudi-cli.sh启动shell。一个hudi表驻留在DFS上的一个称为basePath的位置，我们需要这个位置才能连接到hudi表。Hudi库有效地在内部管理此表，使用.hoodie子文件夹跟踪所有元数据。

2022-10-24 00:26:51

大数据Hadoop存储层
什么是ETL？一文掌握ETL设计过程
ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。

2022-10-21 18:31:21

ETL
一文读懂选择数据湖还是数据仓库
随着数据量、速度和种类的增加，选择合适的数据平台来管理数据从未像现在这样重要。它应该是迄今为止满足我们需求的古老数据仓库，还是应该是承诺支持任何类型工作负载的任何类型数据的数据湖？

2022-10-21 16:38:57

数据湖数据仓库数据库
数据网格有望升级整个IT系统 译文
数据网格有望彻底改变我们处理和查看数据的方式。这将影响数据是关键要素的所有领域。

2022-10-21 15:12:04

数据网格DataMeshIT系统
用户生命周期分析全攻略
掌握用户生命周期，对体系化的运营非常有帮助。想要获得真正的用户生命周期情况，就得深入理解自己分析的业务特点，了解用户需求与购买习惯，做好用户分类。在此基础上才能得到符合业务的数据。

2022-10-21 11:30:42

用户生命周期分析
疫情背景下的中长期月度预测方案
本文将分享一个基于疫情情况下的中长期月度间夜数据预测方法。传统的时间序列模型通过学习历史数据中趋势性和季节性的特征，能对月度数据做出相对有效的预测。

2022-10-21 10:43:17

疫情数据预测时间序列模型
如何用物联网和大数据建设智慧城市？
城市流动性还得益于传统交通系统、现代信息技术平台和大量数据分析的结合。最值得注意的是，交通是使用具有移动连接的设备可以受益的一个方面，车内连接和实时信息的访问允许更有效地使用交通系统...

2022-10-20 13:06:06

物联网大数据智慧城市
手把手，我写了一份数据分析需求沟通模板
如果取数的指标/分类维度，在数据字典里没有标准定义，则还需要说清楚计算公式。比如市场部有三个活动同时在举行，想看看用户在多个活动间与情况。

2022-10-20 12:11:32

数据数据分析分类维度
如何实现一个SQL解析器
本篇文章主要介绍如何实现一个SQL解析器来应用的业务当中，同时结合具体的案例来介绍SQL解析器的实践过程。

2022-10-20 11:00:52

SQL解析器
上一页 1 ··· 2223242526 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服