51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9063内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9063 条
数据分析必知必会的Excel函数
数据分析虽然是以业务为主，工具为辅，业务为目的，工具为手段，但巧妇难为无米之炊，只有掌握了基础的工具才能够进行数据分析。

2021-06-09 11:06:00

数据分析Excel
数据分析值不值得学？
今天从我的感触来聊一下数据分析，为啥你要信我聊的？

2021-06-09 07:14:32

数据分析互联网运营大数据
别再用OFFSET和LIMIT分页了！
本文主要去理解 offset 为什么会在大数据量下的查询带来性能问题?思考完后，可以在思考下，如果分库分表，你会这么去分页呢?

2021-06-09 06:41:11

OFFSETLIMIT分页
数据猿发布《2021中国数据智能产业发展报告》
依据IDC发布的《数据时代2025》报告，全球数据量呈现出快速增长的态势，到2020年，全球数据量达到了60ZB，2025年将达到175ZB，接近2020年数据量的3倍。

2021-06-08 14:13:47

数据智能
Pandas 中实现聚合统计，有几种方法？
pandas是当前Python数据分析中最为重要的工具，其提供了功能强大且灵活多样的API，可以满足使用者在数据分析和处理中的多种选择和实现方式。今天本文以Pandas中实现分组计数这个最基础的聚合统计功能为例，分享多种实现方案，最后一种应该算是一个骚操作了……

2021-06-08 11:42:12

Pandas数据分析Python
阿里大数据云原生化实践，EMR Spark on ACK 产品介绍

2021-06-08 09:45:46

大数据云原生EMR Spark o
SQL、Pandas和Spark：如何实现数据透视表？
今天本文就围绕数据透视表，介绍一下其在SQL、Pandas和Spark中的基本操作与使用，这也是沿承这一系列的文章之一。

2021-06-08 09:18:54

SQLPandas数据透视表
面试官：说说对 Node 中的 Stream 的理解？应用场景？
流(Stream)，是一种数据传输手段，是端到端信息交换的一种方式，是有顺序的，是逐块读取数据、处理内容，用于顺序读取输入或写入输出.

2021-06-08 08:33:23

NodeStream数据
大数据、物联网、机器人和现代技术如何彻底改变零售业
零售业稳定增长的因素之一是数字化和现代技术的兴起，并由此催生了零售 4.0 。引进先进技术后，零售工作流程中的采购、库存管理、客户服务、账户和供应链管理等多个流程变得自动化。

2021-06-07 15:03:57

人工智能物联网机器人
数据分析，到底要懂多少业务
同学们经常听到：数据分析要懂业务，到底懂多少才算懂业务?还有新手同学很困惑，说：“我就不懂，又能咋样!”今天系统讲解下。

2021-06-07 11:42:41

数据分析业务
数仓架构持续演进与发展：云原生、湖仓一体、离线实时一体、SaaS
数据仓库概念从1990年提出，经过了四个主要阶段。从最初的数据库演进到数据仓库，到MPP架构，到大数据时代的数据仓库，再到今天的云原生的数据仓库。在不断的演进过程中，数据仓库面临着不同的挑战。

2021-06-07 11:22:38

大数据数据仓库湖仓一体
如何基于MaxCompute快速打通数据仓库和数据湖的湖仓一体实践
纵观整个计算机科学技术领域，对于数据处理的技术主要分为四个阶段，数据库阶段、大数据技术探索阶段、大数据技术发展阶段、大数据普惠阶段。

2021-06-07 10:45:16

大数据数据仓库数据湖
通过扩展 Spark SQL ，打造自己的大数据分析引擎
Spark SQL 的 Catalyst ，这部分真的很有意思，值得去仔细研究一番，今天先来说说Spark的一些扩展机制吧，上一次写Spark，对其SQL的解析进行了一定的魔改，今天我们按套路来，使用砖厂为我们提供的机制，来扩展Spark...

2021-06-06 19:03:25

SQL大数据Spark
数据伦理化危机为转机
网络世界太方便，只要动动手指，似乎就可以满足各项需求；然而，这也表示我们可能会在网络上留下完整而清晰的足迹...

2021-06-06 11:00:39

大数据机器学习
为什么你做的数据分析，运营懒得看
可能做运营的同学，会深怀执念地说一句：运营是打杂的。然而吐槽归吐槽，运营是互联网公司的重要工种。和产品、开发并称铁三角。

2021-06-05 18:00:18

数据分析运营
找工作必看，数据分析岗位信息爬取并可视化分析
最近经常收到人事小姐姐和猎头小哥哥的面试邀请，想想最近也不是招聘旺季呀。但又想到许多小伙伴们有找工作这方面的需求，今天就来分享一篇简单的爬虫案例，旨在跟大家一起分析一下部分招聘市场。以"数据分析"为例。

2021-06-04 12:56:22

数据分析岗位
基于Flink CDC打通业务数据实时入湖
在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术，来解决业务数据实时入湖相关的问题。

2021-06-04 07:24:14

Flink CDC数据
云数据仓库的未来趋势：计算存储分离
随着云时代的到来，数据库也开始拥抱云数据库时代，各类数据库系统（OLTP、OLAP、NoSQL等）在各内外云平台（AWS、Azure、阿里云）百花齐放，有些数据库还处于Cloud Hosting阶段，仅仅是将原有架构迁移到云主机上，利用了云的资源。有些数据库则已经进入了Cloud Native阶段，基于云平台IAAS层的基础设施，构建弹性、serverless、数据共享等能力。

2021-06-03 14:34:15

云数据仓库计算存储分离
官方出手整治大数据“杀熟”：最高可罚5000万元
情节严重的，可处5000万元以下或者上一年度营业额5%以下罚款，并可以给予暂扣许可证件、降低资质等级、吊销许可证件，限制开展生产经营活动、责令关闭等处罚。

2021-06-03 12:43:12

大数据大数据“杀熟”APP
七大国产数据库对比，巨杉分布式数据库商用时间竟早于阿里华为！
在过去的30多年,国产数据库一直都是跟随在国外数据库之后,Oracle、MySQL、SQLServer、PostgreSQL及MongoDB等国外厂商一直都霸占着最受欢迎数据库的榜单,但经过10年打磨,国产数据库已经有了很大的进展,国外企业独大的态势得到扭转,国内已经出现了很多优秀的产品。

2021-06-03 12:11:11

数据库巨杉
SparkStreaming项目实战，实时计算Pv和Uv
日志数据从flume采集过来，落到hdfs供其它离线业务使用，也会sink到kafka，sparkStreaming从kafka拉数据过来，计算pv,uv，uv是用的redis的set集合去重，最后把结果写入mysql数据库，供前端展示使用。

2021-06-03 08:10:30

SparkStream项目Uv
学会这7个绘图工具包，Matplotlib可视化也没那么难
绘图是数据分析工作中的重要一环，是探索过程的一部分。Matplotlib是当前用于数据可视化的最流行的Python包之一，本文主要介绍数据可视化分析工具：Matplotlib。

2021-06-02 20:13:41

Matplotlib绘图工具
Cloudera将被私有化，Hadoop时代或将落幕
北京时间 6 月 1 日晚，据 TechCrunch 报道 [1]，KKR 和 CD&R 将以 53 亿美元收购 Cloudera，Cloudera 将被私有化。截止到本文发稿时(11 点 49 分)，Cloudera 股票报价 15.94 美元，涨幅 23.95%。

2021-06-02 00:22:04

ClouderaHadoop私有化
云原生数据湖的探索和实践：当汇量科技 EnginePlus 团队来到阿里云峰会
随着企业业务的快速扩展，衍生数据量面临爆发式增长，企业对数据处理分析的需求日趋迫切。在此背景下，创新技术与方案成为企业刚需，用以解决数据智能处理的挑战。

2021-06-01 16:52:27

AI
“懂行人”集结！华为展台亮相数博会，释放数字化转型新动能
5月26日至28日，2021中国国际大数据产业博览会(简称“数博会”)在贵阳举行。本届数博会以“数智变·物致新”为主题，秉承“全球视野、国家高度、产业视角、企业立场”的办会理念，积极探索数字经济时代国际合作新机制，为全球大数据发展提供中国方案，助推全球大数据技术应用和产业发展。

2021-06-01 15:12:59

华为懂行人数博会
四问数据治理之“内忧外患”
数据是企业的命门。尤其是在后疫情时代和数字化转型的加持下，企业除了防范勒索攻击，更得考虑如何整合云上和云下的数据，如何发掘并利用好有价值的数据，如何确保使用过程中满足公司合规基线，如何分析及预测数据的增长或减少趋势，做到降本增效等等。

2021-06-01 14:27:41

数据治理大数据
大数据如何影响旅游业的发展？ 译文
虽然旅游业在过去的一年里遭受了巨大的打击，但今年形势有望很快恢复正常。与此同时，我们将更好地体验大数据在这个领域的影响。

2021-06-01 09:00:00

大数据旅游IT
分布式系统协调内核——Zookeeper
本篇要介绍 Patrick Hunt 等人在 2010 年发表的、至今仍然广泛使用的、定位于分布式系统协调组件的论文 —— ZooKeeper: Wait-free coordination for Internet-scale systems。

2021-06-01 07:57:42

Zookeeper分布式系统
零基础科普：4种简单推荐算法背后的原理
大数据平台只是提供了数据获取、存储、计算、应用的技术方案，真正挖掘这些数据之间的关系让数据发挥价值的是各种机器学习算法。在这些算法中，最常见的当属智能推荐算法了。

2021-05-31 20:20:18

推荐算法短视频
我们一起解密数据分析
数据分析的定义，在百度百科上是这样介绍的：“用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。”这句话的理解比较费劲，那么简单一点讲，数据分析就是发现有用的信息，提供结论并支持决策。

2021-05-31 07:17:42

数据分析算法
市场环境多变与用户个性化需求叠加，“数据能力”成移动互联网下半场最大考验
《全球移动互联网市场洞察|2020年度》报告,称全球移动互联网渗透率为56.9%,人口红利与付费意愿并增,市场空间广阔;同时,市场环境多变与用户个性化需求叠加,对企业“数据能力”提出重要考验,而中国头部互联网企业加码进场则会进一步驱动全球市场变革走向深水区。

2021-05-29 11:42:16

移动互联网数据能力
阿里云宣布开源PolarDB数据库 与社区共建云原生数据库生态
5月29日，阿里云开发者大会上，阿里云宣布开源云原生数据库能力，对外开放关系型数据库PolarDB for PostgreSQL的源代码，将阿里内部沉淀多年的技术分享出来，服务百万开发者。

2021-05-29 11:32:21

阿里云数据库PolarDB
带你一文入门 Kafka
温故而知新，反复学习优秀的框架，定有所获。因为工作原因，需要用到 Kafka 的特殊场景，周末再次阅读了 kafka 的资料，收获不少。

2021-05-29 10:11:00

Kafa数据业务
数据分析如何在幕后改善客户旅程
很多企业在收集客户数据方面面临着很大的压力。收集数据可能面临有关的复杂社会和政治问题，客户关心的是他们隐私信息的安全。

2021-05-28 15:50:25

数据分析企业大数据
女朋友问小灰：什么是数据仓库？什么是数据湖？什么是智能湖仓？
作为程序员，我们写的大多数商业项目，往往都需要用到大量的数据。计算机的内存，可以实现数据的快速存储和访问。

2021-05-28 09:23:07

数据仓库数据湖
刘烈宏：“十四五”期间我国将从5方面发力大数据
刘烈宏表示，在党中央、国务院的坚强领导下，工信部扎实推进国家大数据战略，加快信息通信网络建设，加强技术和产业支撑，深入开展行业示范应用，打造产业集群，取得了积极进展。

2021-05-28 09:09:33

大数据互联网大数据应用
采用大数据技术的智能虚拟代理如何改变七个关键行业 译文
近年来，大数据技术得到了显著的进步和发展，并且广泛应用在许多行业和领域。大数据在组织的业务发展的演变中发挥了巨大作用。而虚拟代理则随着大数据技术的发展和人工智能的进步应运而生。

2021-05-28 09:00:00

大数据虚拟代理技术
聊聊Hive常见的分析函数
dense_rank函数的功能与rank函数类似，dense_rank函数在生成序号时是连续的，而rank函数生成的序号有可能不连续。当出现名次相同时，则排名序号也相同。而下一个排名的序号与上一个排名序号是连续的。

2021-05-28 08:52:45

Hive分析函数
论大数据平台对建设智慧城市的意义
日前，中国信息通信研究院正式发布《城市大数据平台白皮书》，阐述了城市大数据的概念和内涵，分析了建设城市大数据平台对于破解智慧城市建设难题的意义，并介绍了我国城市大数据平台的发展现状。

2021-05-27 19:10:36

大数据智慧城市运营
大数据与数字货币市场将如何发展
虽然有几个国家对加密货币的概念还不熟悉，但它正逐渐流行起来。然而，消费者必须确保骗子没有欺骗他们。要做到这一点，你需要在任何可疑行为发生之前使用大数据技术开始分析和检测。

2021-05-27 09:41:09

大数据数字货币数据分析
云数据仓库的未来趋势：计算存储分离
随着云时代的到来，数据库也开始拥抱云数据库时代，各类数据库系统（OLTP、OLAP、NoSQL等）在各内外云平台（AWS、Azure、阿里云）百花齐放

2021-05-27 09:22:41

云计算数据科技
面试官问：ZooKeeper 有几种节点类型？别回答 4 种啦
持久不用我多说，是用的最多的一种类型，也是默认的节点类型，临时节点相较于持久节点来说，就是它会随着客户端会话结束而被删除，通常可以用在一些特定的场景，例如分布式锁释放，健康检查等。

2021-05-27 07:14:52

ZooKeeper节点类型
这可能是今年最值得推荐的数据分析工具
有些人可能会对商业软件带有一种排斥观念，个人觉得完全没要。商业软件固然需要花钱，但劣质的开源软件更可能浪费大家的宝贵时间。

2021-05-27 05:30:23

数据分析工具数据可视化
用户超过10人就玩完：Gartner称，数据湖搞不定SQL并发机制！
据Gartner声称，数据湖在试图执行SQL查询时，很难支持10个以上的用户，而SQL查询曾经被视为完全适合数据仓库技术。

2021-05-26 09:46:10

数据库工具技术
下一代商业智能的趋势与机遇
在当今不断变化的经济形势下，商业智能成为了企业成功扩展业务的不可或缺的一部分。当企业管理者做出重要决策时，必须获得实时数据的支持，以减少决策失误，增加未来成功的机会。

2021-05-25 14:02:40

人工智能商业智能软件
大数据导致网站管理和发展的巨大变化
大数据在网站开发中的作用比以往任何时候都变得越来越重要。这一点不足为奇，因为在互联网上每天生成大量的新数据。全球四个规模最大的网站拥有超过1200 PB的数据。尽管这些网站规模庞大，但它们仍然只占互联网产生的数据的一小部分。

2021-05-24 14:22:29

大数据互联网大数据应用
物联网和大数据应用案例
物联网和大数据是近年来最受媒体和企业关注的两大宏观技术趋势。可以理解，这样做——可以开启真正的业务转型。

2021-05-21 17:51:10

物联网大数据应用IOT
详解数据挖掘的技术、工具与用例 译文
本文将和您讨论数据挖掘的基本概念、基本步骤、主要技术、优势、工具、以及典型用例。

2021-05-21 09:00:00

数据挖掘数据分析工具
如何构建智能大数据分析基础设施
企业必须为其大数据分析基础设施选择正确的软件、硬件和安全解决方案。

2021-05-20 14:18:22

大数据数据分析工具
9块9就能找个女朋友，你还在等什么？
备受关注的第七次人口普查数据近日公布。数据显示，我国男性比女性人口多出3000余万，从性别构成年龄段来看，从20岁到40岁这一主要婚育年龄段来看，男性比女性多出1700多万人。

2021-05-20 10:27:26

数据爬取页面
上一页 1 ··· 4243444546 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服