51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程软考华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9114内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9114 条
只需五步，实现数据分析闭环
如果每次数据分析做出的预判都很准的话，就是所谓：知其所以胜，知其所以败，这就是数据分析的最高境界了。说明分析师本人已经抓住了一个业务的核心规律。

2022-11-28 11:43:24

数据分析不及格数据验证
用这个算法能让大数据集群性能提升100倍
我们完全可以就从TreeSet中获取续约时间最老的那个契约，假如说连最近一次续约时间最老的那个契约都还没过期，那么就不用继续检查了啊！这说明续约时间更近的那些契约绝对不会过期！

2022-11-27 17:39:06

大数据集群性能
从SQL Boy到管理者：数据分析师成长的五个阶段
SQL Boy是数据分析师们必经阶段，所谓“猛将发于行伍，宰相起于州县”，正是此理。因为真正工作中取数，并不是对着一个清洗好的大宽表写sql那么简单。

2022-11-26 00:00:05

SQL数据分析师业务
科技与世界杯：大数据如何改变足球赛
在此次卡塔尔世界杯足球赛期间，球员们将有一种更科学的方式来争取上场时间。在终场哨响后的几分钟内，赛事组织者将向每位球员发送一份详细的表现明细。例如，中锋的传球、带球和射门表现;以及当对方控球时，防守队员对对方的抢断频率和程度数据等。

2022-11-25 10:24:47

大数据科技与世界杯
生产环境的数据表变更很麻烦？那这个功能你应该用的上
在数据开发中，我们经常会碰到要对一些生产环境的表进行一些变更，包括增加字段等操作，但是生产环境的表又不能随意变更，因为往往这些表格存在复杂的上下游关系，所以一般都会需要经过测试，通过测试验证的代码才能提交到线上。

2022-11-24 18:38:29

数据开发数据存储
企业数据战略的七个发展趋势
以下是七个数据战略主要趋势的简要概述，这些趋势可能会在未来几个月重塑企业的数据战略。

2022-11-24 14:03:10

数据战略大数据
火山引擎工具技术分享：用 AI 完成数据挖掘，零门槛完成 SQL 撰写
专业算法团队在做数据挖掘时，数据分析及可视化也会呈现相对割裂的现象。流程化完成算法建模和数据分析工作，也是一个提效的好办法。

2022-11-24 09:19:53

AI数据挖掘
vivo大数据日志采集Agent设计实践
本文通过在vivo的日志采集服务的设计实践经验，为大家提供日志采集Agent在设计开发过程中的关键设计思路。

2022-11-23 21:51:42

大数据
谈谈阻碍数据建模的五大借口
随着大数据和数据湖的发展，数据建模似乎濒临灭亡。数据湖的开发者留下了大量数据沼泽，所以建模活动还是必须的。

2022-11-23 16:36:34

数据建模大数据数据湖
大数据世界中的新技术
大数据世界正在以前所未有的方式发生着变化，特别是企业将数据整合到一起并将其应用到业务的情况下。

2022-11-21 14:33:53

大数据数据存储机器学习
数据流量和处理对环境有巨大影响
Ericsson移动报告的最新更新表明，蜂窝网络每月传输和接收的数据已经超过100艾字节。这意味着今年移动网络传输的数据将超过1 ZB。

2022-11-21 11:20:24

数据流量蜂窝网络
图数据技术护航网络安全
网络数字化及人工智能为许多行业来革命性的进步，但与此同时，网络安全领域产生的问题也日益严峻。人工智能进攻性风险和网络威胁领域的发展正在重新定义企业安全，从而给企业带来了更高的挑战。如何守护网络安全，成为企业深化数字化转型进程中的重要一环。

2022-11-18 17:55:04

Neo4j
Neo4j宣布下一代图数据平台Neo4j 5上线
Neo4j联合创始人兼首席执行官Emil Eifrem表示：“随着企业开始寻求更好的方法利用数据连接来大规模地解决复杂问题，图技术的应用正在加速。Neo4j 5提供更高可扩展性、敏捷性和性能的新平台，帮助企业进一步突破局限，挖掘其数据和业务的潜能。”

2022-11-18 17:53:03

Neo4j
观远数据荣膺Gartner2022中国分析平台Cool Vendor
近日，全球权威的技术研究与咨询公司Gartner正式发布了《2022 中国分析平台最酷厂商》(Cool Vendors for Analytics Platforms in China )。观远数据也是唯一入选该报告的国内BI厂商。

2022-11-17 19:14:35

观远数据数据分析
对比Pandas，学习PySpark大数据处理
在这篇文章中，我们将对比用于基本数据操作任务的 pandas 代码片段和它们在 PySpark 中的对应功能的代码片段。利用 pandas 数据操作技能来学习 PySpark 。

2022-11-17 11:52:35

pandasPySpark大数据
如何从边缘分析中推动业务价值
随着数据以指数级增长，超出集中存储和管理的能力，以下是边缘分析如何帮助组织克服这一挑战。

2022-11-17 11:30:34

边缘分析物联网
数据中心芯片市场风起云涌
数据中心正在加速朝着绿色低碳方向转型升级。

2022-11-17 10:01:31

数据中心低碳
互联网都在说降本增效，小红书技术团队是怎么做的？
目前，这一平台已覆盖小红书搜索、推荐、广告的 S0 服务，运行两个多月以来，辅助业务团队存量优化超1万 CPU 核；发现性能退化超1万 CPU 核并跟进优化。

2022-11-16 22:30:06

大数据
谈谈如何跨越数据架构的漩涡
创建数据湖和数据集市是为了满足当时数据工程领域的实际需求。即使在今天，数据仓库仍然无法支持企业的所有不同应用。即使对于较新的云数据仓库也是如此。

2022-11-16 14:18:03

数据湖数据仓库数据架构
数据分析能力分级模型，你在哪一级？
很多做数据的新人都有这个困惑，今天陈老师给大家解这个局。这里问题的核心在于：如果不能按自己的建议做项目，是不是就不能提升数据分析能力了？回答当然是：否！数据分析的能力晋级分为四个层级，所谓“按我的意见做”根本就不在这个晋级体系里。

2022-11-15 11:46:17

数据分析能力分级模型
这才是真正的数据分析项目，而不是爬表
作为数据部门的领导，可能最想承接的就是计划类工作，虽然技术含量低，但这是一个直接服务大老板的机会。能多在大老板面前露脸，本身就是一个绝好的立功机会。

2022-11-14 11:55:39

数据分析项目
数据科学与数据分析
数据科学是一个令人兴奋的领域，因为它的本质是收集、存储和处理大量信息，可以产生在任何其他学科都不可能达到的知识水平。

2022-11-14 10:36:55

数据科学数据分析
供应链技术如何解决供应链中断和员工倦怠问题
美国劳动力的持续短缺正在影响各行业组织，供应链是受冲击最严重的行业之一。不断变化的消费者行为使得新职位的空缺激增，以满足企业需求。然而，尽管从港口、仓库到船运公司和物流部门，供应链的各个层面都做出了最大努力，但短缺问题依然存在。在此期间，技术如何帮助企业适应这些挑战，提高效率，并且少花钱多办事。

2022-11-14 10:32:56

供应链技术
Pandas 探索性数据分析综合实战
本文的内容是关于对数据集进行特别分析，并试图找到关于数据的洞察力。我们做了处理缺失值、异常值的工作，并将单变量、双变量和多变量的分析可视化。

2022-11-11 11:35:14

Pandas数据分析
大数据与物联网如何帮助企业
大数据包含大量的信息。这些数据随后被社交媒体网络等组织和其他企业收集，并用于各种项目，如预测分析和机器学习项目。它使用支持大数据分析的工具进行处理。

2022-11-11 10:12:38

大数据物联网
数据治理体系演进简介
随着网易数帆商业化的发展，遇到很多金融及大型国企客户，我们发现互联网的这套数据治理的打法并不能全部适应传统行业客户的场景。我们开始向客户和竞争对手学习，为此打磨出元数据管理，数据标准，数据资产目录等子产品，沉淀出一套数据治理的产品体系。

2022-11-10 20:43:57

数据治理数据湖
从Delta 2.0开始聊聊我们需要怎样的数据湖
盘点行业内近期发生的大事，Delta 2.0 的开源是最让人津津乐道的，尤其在 Databricks 官宣 delta2.0 时抛出了下面这张性能对比，颇有些引战的味道。

2022-11-10 20:29:21

数据湖
网易传媒基于 Arctic 的低成本准实时计算实践
基于对开源数据湖方案的调研，我们注意到了网易数帆开源的基于 Apache Iceberg 构建的 Arctic 数据湖解决方案。

2022-11-10 08:48:20

开源数据湖Arctic
为什么建设智慧城市需要实时数据处理？
数据以及快速、无缝地处理数据的能力，对于互联的智能网络至关重要。这些网络为当今的城市提供了命脉，也为连接一个国家城市的交通系统提供了联系。

2022-11-09 10:26:48

智慧城市物联网
人工智能和大数据是工业4.0背后的驱动力
大数据和人工智能是由一些技术进步推动的，这些技术进步定义了当前的数字环境和工业4.0。

2022-11-08 14:49:17

人工智能大数据
合成数据定义：重大的机会和陷阱详解 译文
尽管人类每天生成海量数据，但仍然缺乏可用的真实数据。当建模目标只有少量的真实数据或根本没有数据时，合成数据用作解决方案最好不过了。

2022-11-08 07:40:55

合成数据AI真实数据
ETL工具算法构建企业级数据仓库五步法
ETL是数据抽取（Extract）、转换（Transform）、加载（Load ）的简写，它是将OLTP系统中的数据经过抽取，并将不同数据源的数据进行转换、整合，得出一致性的数据，然后加载到数据仓库中。简而言之ETL是完成从 OLTP系统到OLAP系统的过程。

2022-11-07 18:35:09

企业级数据仓库ETL工具
Arctic助力传媒实现低成本的大数据准实时计算
基于对开源数据湖方案的调研，我们注意到了网易数帆开源的基于 Apache Iceberg 构建的 Arctic 数据湖解决方案。

2022-11-07 18:19:14

Arctic大数据
处理数据？不要一概而论
如今，创建和使用这类数据集的企业数量有所增加。这类数据并不是大型社交媒体和网络企业的专利，而是在数千家企业中涌现出来。“大数据”这个称呼现在已经成为很多人的常态。这些数据集很大，更新速度很快，而且有序。这使得数据分析更容易，pb级的...

2022-11-07 12:54:22

大数据数据分析
企业如何从大数据中获得价值?
大数据是有价值的，但这需要正确的策略和执行力。简单地说，为了获得适度的投资回报，必须利用和优化传统和大数据技术的组合，以取代日益陈旧老化的基础设施。

2022-11-07 11:16:30

大数据数据仓库Hadoop
数据驱动增长，我立了个大功
需要数据分析的能力更高。但往好处看：这是数据分析师建功立业的最好机会！想想看，项目组一般都是按项目效益拿提成，凭什么数据分析师要背着锅领死工资呢。比起坐在后台等着别人来问：“你来个人工智能大数据精准预测一下”，能亲手做出好的结果，不是更有吸引力吗。​

2022-11-05 18:25:18

数据驱动数据分析项目
数仓如何建模？四种方法与实例都在这了
数据仓库，这个几乎是所有大数据开发面试必问的话题。比如数据仓库的分层架构？为什么需要数据仓库建模？数据仓库建模的原则是什么？结合业务举例说明数据仓库建模的步骤，以及注意事项？什么是缓慢变化维？维度该如何选择建设，原则是什么，主键如何设计等等？

2022-11-04 18:28:31

数仓建模大数据
中小企业能负担得起大数据解决方案的成本吗?
目前很多人仍然存在的一个最大的误区是，只有大企业才能负担得起大数据驱动的解决方案的成本，这是因为采集和分析大量数据成本很高。现在这种情况已经不存在了，几次革命已经改变了这种思维状态。

2022-11-04 12:30:15

大数据
互联网时代，游戏和数据中心协同发展
在未来，游戏行业将会更密切的融合与IDC行业，数据中心也将不断响应变革和创新，游戏为数据中心带来的效益也将形成产业链，互相协同发展。

2022-11-04 09:35:29

数据中心游戏
甲骨文发布 Oracle Alloy服务 译文
新的Oracle Alloy服务为国家和行业提供了一种使用Oracle云服务的方式，而不必放弃对运营决策的控制权。

2022-11-03 14:44:52

甲骨文数据中心
Cloudera扩大合作伙伴机会，加速产品上市
混合数据公司​​Cloudera​​于今日宣布推出Cloudera合作伙伴网络（Cloudera Partner Network），这是一项经过重新设计的会员计划，旨在表彰及奖励对Cloudera产品上市成功做出贡献的合作伙伴。

2022-11-03 13:58:06

​​Cloudera合作伙伴网络
从0到1，认识结构分析法
人们天生讨厌平均数，总觉得用平均数很扯淡，有种“我和姚明平均身高，有毛用”的感觉。但是反问：为啥平均数这么不好用，但是大家还喜欢用呢？

2022-11-03 11:31:43

结构分析法监测
Pandas实用技巧：SAC机制！
我们将数据进行group分组操作，切分成3种颜色，3种颜色代表3个不同的组别；对3个不同的组别使用函数foo()，函数可以内置或者自定义。

2022-11-03 10:28:59

PandasSAC机制
大数据驱动的创新对智慧城市发展至关重要
大数据是智慧城市创新的核心。而利用来自互联设备、公共机构、普通公民等方面的数据，智慧城市将能够优化它们的运营，并有效地管理变化。

2022-11-03 09:24:13

智慧城市大数据
Kaggle全球数据科学家薪酬大揭秘：俄罗斯竟力压美国成第一！
Kaggle的全球数据科学家的薪资可视化数据出炉！美国薪酬被俄罗斯赶超，排名前十竟然有这个国家？

2022-11-02 13:55:33

数据科学
数据飞轮：数据战略四步法
数据和分析正在显露出潜力，各种组织每天都利用数据和分析完成各种工作，许多公司都需要制定数据战略。

2022-11-02 13:16:58

数据分析
DataLeap 的 Catalog 系统近实时消息同步能力优化 精选
Apache Atlas 对于实时消息的消费处理不满足性能要求，内部使用 Flink 任务的处理方案在 ToB 场景中也存在诸多限制，所以团队自研了轻量级异步消息处理框架，很好的支持了字节内部和火山引擎上同步元数据的诉求。本文定义了需求场景，并详细介绍框架的设计与实现。

2022-11-02 09:58:26

Flink数据中台DataLeap
终于有人将数据埋点讲明白了
数据埋点是指基于业务需求(如淘宝双 11 促销页面统计每个 banner 的点击 次数)、产品需求(如推荐系统统计推荐商品的曝光次数及点击人数)，对每一个用户行为事件对应的位置进行埋点，并通过 SDK 上报埋点的数据结果，将记录数据汇总后进行分析，以推动产品优化或指导运营。

2022-11-01 18:21:14

数据埋点SDK
数据分析，如何支持决策
很多同学一听到“决策”俩字就怂了。对“决策”的第一印象，就是各种听不懂的高大上词语，什么“把握机遇”“苦练内功”“真抓实干”……这些东西咋个和数据扯上关系？

2022-11-01 11:30:51

数据分析模型数据
版本更新 | 有数BI LTS8.0发布啦
有数BI的LTS8.0（Long Term Support即长期支持版本&私有化部署）版本更新啦！此次新版本在数据大屏、数据源、报告、数据门户、自助取数、数据填报等模块均有优化，快来看看吧！

2022-10-31 17:50:47

BI LTS8.0大数据
上一页 1 ··· 2223242526 ··· 183
点赞

51CTO技术栈公众号

业务
速览
在线客服