51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9062内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9062 条
Ydata_profiling：自动生成数据探索报告的Python库
Ydata_profiling能够直接完成数据探索的工作，只需要几行代码，它会生成互动网页形式的报告，里面包含数据概览、字段分布、统计学特征、相关性、缺失值、样本信息等。

2024-03-20 08:37:34

数据处理Python数据分析
数据湖与数据仓库的区别
即使数据仓库和数据湖在大数据应用上有着许多共同的目标，但在处理方法、安全性、敏捷性、成本、架构、集成等方面存在一定的差异。

2024-03-19 13:45:27

数据仓库数据湖大数据
释放数据湖潜力：小红书如何实现数仓效率与成本的双重优化
为克服传统数据仓库在处理速度、灵活性和成本效率方面的局限，小红书数据仓库团队引入如 Apache Iceberg 等数据湖技术，将其与数仓架构相结合，以释放数据湖在查询性能、实时数据处理和成本效益方面的潜力。

2024-03-19 13:07:04

数据湖数据仓库
小红书离线数仓提效新思路，提升百倍回刷性能
现有以 Spark 为核心的数仓架构在处理大规模数据回刷方面已取得进展，但在资源和时间消耗上仍面临挑战。为了突破这些限制，小红书数据仓库团队将 StarRocks 融入到离线处理流程，替换掉部分 Spark 处理的任务，并优化较为耗时的 Cube 计算，大幅度提高了数据的执行效率。

2024-03-19 10:55:34

Spark
快手BI大数据分析场景性能优化实践
在信息化时代，大数据已经成为企业决策、市场分析、科研创新等众多领域的核心驱动力。随着数据规模的爆炸性增长，如何高效地处理和分析海量数据，实现性能的显著提升，成为各行各业迫切需要解决的关键问题。本文将为大家介绍快手大数据分析场景性能优化实践。

2024-03-19 09:24:00

大数据数据分析性能优化
大数据对银行战略的影响
在本文中，我们将深入研究大数据对银行战略的深刻影响，探索其含义、应用、挑战和未来前景。

2024-03-18 00:04:10

大数据银行
数据编排：性能是实现全球数据环境的关键
支持快速处理和来自不同存储孤岛的各种数据集的IT架构需要进行权衡。如今，非结构化数据编排汇集了来自多个供应商存储筒仓、地理位置的不同数据集和数据技术，而不会影响性能或安全的全球数据利用率。

2024-03-15 10:07:41

数据分析存储孤岛数据编排
流图计算在蚂蚁数仓加速场景的应用
数据仓库经过长时间的发展，技术体系已相对完善。传统数仓一般以表作为数据模型，来做数据建模以及数据的分析和处理。相比之下，图计算还是比较新的一门技术，主要是以图作为基本模型。本文将分享如何使用图计算以及图模型技术来解决传统数仓中的一些问题。

2024-03-15 07:21:33

数据仓库数据建模数据分析
数据分析师，定价模型怎么做？
现实的难点是：要怎么知道这个需求函数“Q=1000-4P”。本能的想法是：我先标个价格，比如100元，然后再降低到90、80、70、60……然后再提高到110、120、130、140，这样不就能测出来了？

2024-03-14 11:46:44

数据分析师定价模型
一个完整的数据分析体系，该长啥样？
在整个体系中，经营分析是直接服务于战略级决策的。在最高管理层做决策的时候，更聚焦于宏观的问题，比如整体目标达成，外部环境变化，内部举措效果。而不是陷在琐碎的业务细节里。

2024-03-13 13:46:44

数据分析体系
AI和大数据正在改变汽车行业的六种方式
从工厂车间到驾驶体验本身，人工智能和大数据正在推动更安全、更高效、更智能的汽车，以及更好的制造和维护流程。以下是人工智能和大数据重塑汽车版图的六种令人兴奋的方式。

2024-03-13 07:18:27

人工智能大数据汽车版图
超强，18 个必会的可视化技术
气泡图与散点图类似，但使用不同的气泡大小来表示附加维度。气泡图添加了一个视觉维度，可以根据销售量和比例来比较产品。

2024-03-13 00:00:01

可视化技术气泡图
腾讯欧拉平台数据血缘架构及应用
本文将介绍腾讯欧拉数据血缘的建设及应用。为什么要做数据血缘？主要有两个原因，一个是现状不能满足血缘数据需求，另一个是希望以血缘为基础做更多的事情。

2024-03-11 07:38:15

欧拉数据血缘数据应用数据治理
经营分析、数据分析、财务分析有什么关系？
从去年开始，经营分析迎来了一波文艺复兴，虽然并不是啥好事。企业经营压力加大，便开始加强对业务绩效的考核，加强对成本的控制。这个任务，有的公司交给数据分析师来办，有的交给财务，有的则由专门经营管理部承接。

2024-03-10 21:00:33

经营分析数据分析财务分析
到2028年，大数据市场预计将达到6380亿美元
大数据市场已成为数字化转型时代的关键，企业利用数据的力量来推动明智的决策。截至2022年，该市场估值达到令人印象深刻的2718.3亿美元，这反映了利用大量数据获得可行见解的重要性日益增强。

2024-03-08 13:07:45

大数据
数据科学家必备的六款数据可视化工具，颠覆传统图表！
在面对多元复杂的数据场景时，常见的图表类型可能并非最佳选择。本文中，笔者为大家总结了这些热门图表的几种替代方案。

2024-03-08 12:09:26

数据可视化图表
yyds！通向优秀数据分析师的六个阶梯
纵观整个成长阶梯，核心就是：数据分析师要能剥丝抽茧的解决复杂企业问题，这样培养能力，才是我们自己安身立命的法宝。

2024-03-07 12:54:06

数据分析师企业
解析大数据：从流数据摄取到交互式可视化的完整生态系统
“大数据”通常指的是传统数据库和处理工具无法处理的数据集，各种组件共同工作以处理、存储和分析这些大型数据集，这些组件共同形成一个大数据处理生态系统。

2024-03-07 12:53:00

大数据组件
商家可视化埋点探索和实践
埋点流程从明确需求到上线&验证共计上图 5 个步骤，手动代码埋点经历 v1.0 到 v2.0，减少了研发熟悉埋点流程、平台建节点、埋点 coding 成本，从前期产品随需求提出埋点诉求，到进入迭代进行需求开发，再到需求正式上线，并生效查看数据。

2024-03-06 19:57:56

探索商家可视化
长安汽车：基于云器 Lakehouse 的车联网大数据平台建设
近年来随着智能汽车行业的迅速发展，数据也在呈爆炸式增长。长安大数据平台承接了长安在生产上大部分流量应用及日常生产业务应用。本文将分享长安汽车在车联网场景下大数据平台建设面临的一些挑战和具体落地的实践。

2024-03-06 07:34:01

大数据车联网智能汽车
如何管理系统中的敏感数据？
当我们开发报告或数据源等数据产品时，需要设计一个流程来维护数据质量。在开发过程中，应授予数据开发人员必要的权限。数据上线后，应取消他们的数据访问权限。

2024-03-05 09:40:35

敏感数据流程
金融信创湖仓一体数据平台架构实践
本文将分享数新网络在金融信创领域湖仓一体数据平台架构方面的实践经验。湖仓一体架构则解决了这些问题，它整合了数据湖和数据仓库的优势，创建一体化和开放式的数据处理平台。

2024-03-05 08:21:23

湖仓一体数据湖数据仓库
大数据和物联网之间的关系以及如何互相帮助
大数据和物联网(IoT)有时被有些人混淆，特别是因为它们经常被放在一起讨论。但实际上，它们代表着两个截然不同的技术领域，而且经常重叠。

2024-03-04 11:12:20

大数据物联网
大数据分析的理解和探索
如今，云计算的热潮似乎还没散去，行业厂商就已经开始关注下一个热点：大数据。而与以往的炒作周期一样，现在的大数据对于用户来说其来源比较混乱，因为供应商提出了自己独特的，并且经常相互矛盾的定义和术语。

2024-03-04 11:10:01

大数据数据分析
这波操作看麻了！一亿行数据，从71s到1.7s的优化之路
当时看到这个成绩的瞬间，我人都是麻的，第一个疑问是：我靠，13G 的文件啊？1.5s 内完成了读取、解析、计算的过程？这不可能啊，光是读取 13G 大小的文件，也需要一点时间吧？

2024-03-04 08:29:33

数据定制化Java
新一代数据架构的性能与成本平衡之道
今天分享的主题是 Alluxio Local Cache 在 Presto 和 S3 上的实践，属于 Alluxio 的中间部分。NewsBreak 是美国的一家新闻资讯企业。文章将通过该公司案例，介绍Alluxio Local Cache for Presto 的应用。

2024-03-04 07:55:41

数据架构AlluxioNewsBreak
Data Fabric 在数据集成场景的实践
本文将介绍 Data Fabric 的基本概念及其在数据集成场景的实践案例。Data Fabric 到底是什么？Data Fabric 中文翻译成数据网格。而数据的虚拟化是实现数据网格化很关键的一项技术。

2024-03-04 07:34:32

数据网格数仓数据虚拟化
利用云计算和数据分析促进商业发展
在当今动态的商业环境中，组织不断寻求创新方法来提高效率、敏捷性和价值。在重塑业务运营的变革性技术中，云计算和数据分析作为强大的工具脱颖而出，如果有效利用，可以产生巨大的商业价值。

2024-02-29 14:58:03

云计算数据分析
如何从0-1使用 Apache Arrow 构建新数据系统
我们正处于一个数据系统的黄金时代。有许多新的数据库正在不断出现。根据 DBDB（Database of Databases）的统计，自 2020 年以来已经出现了 124 个新的数据库。这意味着几乎每周都会有一个新的数据系统问世。

2024-02-29 07:42:00

数据系统数据库数据处理
利用人工智能改变数据管理
将人工智能应用于数据管理的需求是明确且引人注目的。由于组织被来自无数来源的数据淹没，因此必须扩展策划、处理和提取有意义的见解的能力。企业产生的大量信息使人工智能成为帮助数据科学团队理解新信息的关键技术。

2024-02-28 14:45:39

人工智能数据管理AI
B 站标签系统落地实践
本次分享题目为标签系统在 B 站的落地实践。B 站标签系统建立于 2021 年初。当时立项的背景为，业务侧人均取数的需求越来越多，希望能够加速数据取用的效率，标签系统内部立项建设启动。

2024-02-28 07:50:36

大数据标签系统AB 实验
数据治理必须如何发展才能应对GenAI的挑战
数据治理涵盖了一系列学科，包括数据安全、管理、质量和编目，这种做法需要定义使用策略、创建主数据源、分析数据集、记录字典和监督数据生命周期。组织模型通常定义促进策略的首席数据官、制定数据集策略的数据所有者和负责改进数据质量的数据管理员的角色。

2024-02-27 16:14:07

数据治理GenAI数据安全
来了！用户画像的超详细真实案例
到底是不是HR没有招对人，就很聚焦了。销售队伍里，那些没有执行力，缺乏技巧的人，与有执行力，愿意做的人进行特征对比，就能找出：真正的销售特征是啥样的。进而反推：是不是HR招的人员质量不高。

2024-02-27 13:07:49

用户画像数据分析HR
OLAP的统一及技术趋势：StarRocks 架构和实践分享
本文将分享 StarRocks 产品架构、功能、客户案例以及对未来工作的展望。EMR Serverless StarRocks 产品目前主要以全托管和半托管两种形态存在。

2024-02-27 07:44:20

StarRocks产品架构大数据
大数据领域新星，带你了解DuckDB
与基于云的系统相比，DuckDB 更具吸引力，因为它对硬件的要求较低且成本效益较高。从开发人员的笔记本电脑到生产设置，DuckDB 在各种环境中都保持一致，这与基于云的解决方案形成了鲜明对比，后者往往会随着时间的推移、数据的陈旧或无效而发生漂移。

2024-02-26 18:04:37

DuckDB大数据笔记本
大数据对营销和销售的变革性影响
在一个数据正在重塑营销和销售基础的时代，掌握大数据不仅是一种优势，而且是必要的，这一点变得越来越明显。从纽约熙熙攘攘的街道到硅谷精通技术的走廊，行业领导者正在利用大数据对客户行为、运营效率和市场趋势进行前所未有的洞察。

2024-02-26 16:24:28

大数据营销运营
数据分析十大模型：决策模型
其实数据驱动决策，有一套模型可用，但是有很多前提条件限制。今天跟大家系统分享一下，看完以后大家就会发现：即使只掌握了梳理模型的过程，也是大有帮助的！

2024-02-26 12:34:52

模型数据决策模型
又一款超炫酷的Python动态数据可视化工具！
D3blocks作为一款动态交互式数据可视化工具，它不仅继承了现有库们强大的视觉表现力，更以实时更新和用户深度交互为核心特色，有效弥补了市场上的这一空缺。

2024-02-26 12:02:37

Python数据可视化D3blocks
京东物流一站式敏捷BI平台建设方法论
本次分享的是京东物流如何通过其一站式敏捷 BI 产品，实现数据的快速集成、即时分析及自服务报告，从而在激烈的市场竞争中赢得优势，进一步提升业务效率和决策质量。通过这些实践，我们将见证数据驱动的力量如何在京东物流的业务流程中展现，以及如何帮助企业在数字化的道路上更快前进。

2024-02-26 07:34:41

数据即时性BI平台BI 工具
业务分析模型，我整理了四个好用的模板
逻辑树模型有两个难点，第一个是：提出合理的假设。比如一提到收入下降，很多人会习惯性地扯“大环境不好”；提到成本升高，很多人习惯性扯“通货膨胀”。这些看似有理但过于宏大的假设，会误导分析方向，掩盖真实问题。

2024-02-22 17:09:53

业务分析模型
2024年的七项基本大数据优秀实践
数据环境总是在不断变化，为了帮助你跟上这些变化的步伐，以下是我们根据新兴趋势、技术和常见企业应用为2024年提供的大数据最佳实践建议。

2024-02-22 16:54:02

数据环境大数据网络威胁
快手数据成本白盒化治理实践
本文介绍我们最近一年在大数据成本方面的白盒化治理实践，通过深入到引擎、数仓和工具，打开架构，进行拆解和分析，实现有深度的成本治理，同时也拿到了不错结果。

2024-02-22 08:51:46

大数据白盒化治理数据治理
开源大数据 OLAP 的思考及优秀实践
本文将介绍开源 OLAP 及其在不同场景下的需求。文章将从 EMR 的角度，简要介绍 OLAP 的数据架构。并重点讲解 StarRocks 的核心功能和后续发展规划。

2024-02-22 08:35:49

开源 OLAP大数据StarRocks
到2028年，数据分析市场规模将达到1820亿美元
数据分析市场预测：数据已成为当今现代企业的命脉，推动各行业的决策、创新和竞争力。随着人们对数据变革潜力的认识不断增强，全球数据分析市场已做好在可预见的未来大幅扩张的准备。

2024-02-21 16:24:09

数据分析数据安全
破解非侵入式数据治理之谜
数据治理要求用户遵守策略，但同样重要的挑战是使数据治理对用户尽可能非侵入性。用户不想得到新的任务，这些任务似乎是他们的工作职责之外的。因此，通过用户每天都在做的事情来看待数据治理是有意义的。

2024-02-21 15:30:56

数据治理大数据数据泄露
数据分析工具在智慧城市中的作用
随着城市化、技术进步和人口不断增长，智慧城市已成为当今世界主要技术发展之一。 智慧城市设备依靠描述模型对城市环境产生的大量数据进行数据分析。

2024-02-20 14:31:52

数据分析智慧城市
数据分析必会的十个Python库
今天给大家分享除了基本的 NumPy、Pandas 和 Matplotlib 之外的 10个流行的数据分析 Python 库。

2024-02-20 14:25:39

Python数据分析
大数据技术是如何发展的?
事实表明，大数据的挑战仍然集中在在正确的时间将正确的信息提供给正确的人，即使信息来源和使用在增长。

2024-02-20 13:16:00

大数据数据仓库数据湖
为什么大数据推动智慧城市创新发展至关重要？
随着人工智能、物联网和数据分析等领域的加速创新，建设智能城市的热潮近年来发展势头强劲。根据联合国相关机构的估计，到2050年，全球68%的人口将生活在城市地区，推动全球城市变得更互联、更高效、对市民更友好的努力恰逢其时。

2024-02-20 10:35:40

大数据智慧城市
金融行业湖仓一体架构及数据平台的技术演进
本次分享的内容涵盖了数据平台架构发展趋势、湖仓一体的价值与挑战，以及Alluxio 编排与缓存在湖仓一体架构中的价值等内容，希望通过本次分享，为读者带来经验和灵感。

2024-02-20 07:55:48

数据平台架构湖仓一体Alluxio
上一页 1 ··· 56789 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服