51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
JetBrains 推出全新数据科学 IDE —— DataSpell
知名软件 IntelliJ Idea IDE 和 Kotlin 编程语言的开发商 JetBrains 近日推出了一个专门针对数据科学的 IDE —— DataSpell。

2021-09-09 09:03:30

JetBrainsDataSpell数据科学
Excel函数公式：禁止在Excel单元格中输入空格，你真的会吗？
今天给大家分享的内容是：禁止在Excel单元格中输入空格的技巧……看到这个标题，相信大家都有所感触，都被“空格”坑过，那在数据处理和分析的过程中，如何避免“空格”了?其实，最根本的方法还是【数据验证】，但是，需要借助两个函数来实现。

2021-09-09 08:58:32

Excel数据处理函数
源码开放：基于Pyecharts可视化分析苏州旅游攻略
全国旅游城市终于又更新啦！以前写过厦门、长沙、成都、西安、大连。今天带来的是：上有天堂，下有苏杭：苏州来了。终于挤出时间把苏州的旅游景点和美食的攻略写完了。

2021-09-09 06:40:28

Pyecharts可视化源码
大数据在智慧城市中的五大应用
借助大数据，可以从总体角度研究现有的碎片化和孤立的数据集，为影响当今快速发展的城市的常见问题提供有效的解决方案。

2021-09-08 17:17:43

大数据智慧城市大数据应用
Flink执行流程与源码分析
整体的流程与架构可能三两张图或者三言两语就可以勾勒出画面，但是背后源码的实现是艰辛的。源码的复杂度和当初设计框架的抓狂感，我们只有想象。现在我们只是站在巨人的肩膀上去学习。

2021-09-08 10:47:33

Flink执行流程
中国以大数据服务支持联合国可持续发展目标
9月6日，可持续发展大数据国际研究中心正式成立，全球首个以大数据服务联合国2030年可持续发展议程的国际科研机构正式落户中国，为全球科学家参与和推动实现可持续发展目标提供平台。

2021-09-08 09:31:55

大数据联合国大数据服务
治理“大数据杀熟”法律技术行业自律第三方监管都不能少
随着中国《网络安全法》《数据安全法》《个人信息保护法》等信息安全法律法规的颁布实施，企业需关注监管要求的最新动态，应对数字化时代数据安全及隐私合规所面临的挑战。

2021-09-08 09:27:41

大数据大数据“杀熟”数据监管
Java面试“整活”自己会一点大数据被疯狂diss
ArrayList 底层实际上是大小可变数组的实现，并允许包括 null 在内的所有元素，还提供一些方法来操作内部用来存储列表的数组的大小。

2021-09-08 06:51:53

大数据Java面试
大数据能给企业带来什么？这些你得知道！
现在很多企业都开始使用大数据，数据在企业中是个很重要的东西，支撑着企业的正常运转，能让企业通过数据，及时的转换策略。今天，我们就来看看大数据能给企业带来什么？一起来看看吧！

2021-09-07 19:18:20

大数据大数据应用
九大数据分析方法之：周期性分析法
数据分析常用的方法有九种，今天先介绍第一种，操作上最简单的：周期性分析法。它是新人们避免犯小白错误的最好方法。

2021-09-07 11:14:36

数据分析互联网
新一代云原生数据仓库 AnalyticDB「SQL 智能诊断」功能详解
AnalyticDB For MySQL（新一代云原生实时数据仓库，语法兼容MySQL，以下简称ADB）为用户提供了高效、实时、功能丰富并且智能化的「SQL智能诊断」和「SQL智能调优」功能，提供用户SQL性能调优的思路、方向和具体的方法，降低用户使用成本，提高用户使用ADB的效率。

2021-09-07 11:07:35

AnalyticDBSQL 云原生
面试 | 十分钟聊透Spark
Spark是一个快速的大数据处理引擎，在实际的生产环境中，应用十分广泛。目前，Spark仍然是大数据开发非常重要的一个工具，所以在面试的过程中，Spark也会是被重点考察的对象。

2021-09-07 09:40:20

Spark大数据引擎
一篇学会Hadoop3数据容错技术
随着大数据技术的发展，HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了数据的可靠性，HDFS通过多副本机制来保证。在HDFS中的每一份数据都有两个副本，1TB的原始数据需要占用3TB的磁盘空间，存储利用率只有1/3。而且系统中大部分是使用频率非常低的冷数据，却和热数据一样存储3个副本，给存储空间和网络带宽带来了很大的压力。

2021-09-07 09:20:44

Hadoop数据容错
大数据的数据治理与应用场景
大数据技术在技术层面、业务层面都有十分重要的应用价值在技术层面：大数据技术可以应用于非结构化数据的分析、挖掘，大量实时监测数据分析等，为管理系统、综合信息平台等建设提供技术支持；在业务层面：大数据技术可以提供辅助决策和科研支持，向管理者提供管理辅助决策、行业监管、绩效考核支持。

2021-09-06 15:39:00

大数据技术医疗
“大数据”不等于“多数据”
密接人群锁定、疫情地图绘制、食品安全追溯、智能交通调度……在疫情防控和城市治理中，大数据的作用日益凸显。

2021-09-06 15:29:16

大数据防疫信息安全
如何使用技术解决方案做出数据驱动的决策
数据驱动决策(DDDM)是一种基于可量化目标或关键绩效指标(KPI)的方法，可以收集信息、从发现中评估模式和事实，并以各种方式实施有利于企业的战略和行动。

2021-09-06 13:45:21

数据驱动大数据SaaS
字节跳动大规模埋点数据治理优秀实践
本文整理自火山引擎开发者社区 Meetup 第四期演讲，主要介绍了字节跳动流量平台的埋点内容解决方案和埋点链路解决方案，揭秘了流量平台如何支撑起字节跳动万亿+的实时数据处理。

2021-09-06 11:15:05

数据治理字节跳动埋点
预测分析和大数据分析的完整指南 译文
什么是大数据？如何使用大数据分析来预测未来发生的事件？它会颠覆软件市场吗？人们需要了解预测分析和大数据的完整指南。

2021-09-06 09:00:00

大数据大数据分析技术
大数据集群开启 kerberos 认证后 Hive 作业执行失败
本文是大数据问题排查系列 的 kerberos问题排查子序列博文之一，讲述大数据集群开启 kerberos 安全认证后，hive作业执行失败的根本原因，解决方法与背后的原理和机制。 以下是正文。

2021-09-06 07:28:31

大数据 kerberos 认证
用户增长是什么？和数据分析有啥关系？
很多同学会经常看到“用户增长”“增长黑客”“增长团队”之类的说法，并且这些岗位常常一眼看上去和数据分析有关系。

2021-09-05 18:28:10

数据分析模型
大数据和人工智能时代，审计人还需要有思想吗？
登陆微信公众号平台时，可以见到这么一句话：再小的个体，都有自己的品牌。我们借用一下这句话，延伸到审计人：再初级或普通的审计人，也有自己的思想。

2021-09-04 23:31:57

大数据人工智能审计
大数据不是万能的，这几大误区要知道
这两年，大数据受到了越来越多人的关注，大数据被广泛应用到各行各业。随之而来的也是围绕着大数据产生了许多的误区，今天就来谈谈我眼中的大数据。

2021-09-04 00:11:32

大数据Hadoop工具
终于有人将数据湖讲明白了
在数据中台的建设过程中，我们经常会听到数据湖、数据仓库(简称数仓)、数据集市、贴源数据层等多个概念。这些传统大数据平台中涉及的技术是数据中台建设的基础和必经之路。

2021-09-03 18:38:13

数据湖数据仓库
大数据问题排查之开启 Kerberos 后无法访问 Hiveserver2 等服务的 Webui
在博文“从技术视角看大数据行业的发展趋势”中，我们提到大数据的一个发展趋势是日益重视数据安全。

2021-09-03 18:36:50

大数据
手把手教你采集京东销售数据并做简单的数据分析和可视化
随着移动支付的普及，电商网站不断涌现，由于电商网站产品太多，由用户产生的评论数据就更多了，这次我们以京东为例，针对某一单品的评论数据进行数据采集,并且做简单数据分析。

2021-09-03 08:58:00

数据分析可视化
因HIVE元数据与HDFS上的数据不一致引起的问题修复
本片博文是“大数据问题排查系列”之一，讲述某HIVE SQL 作业因为 HIVE 中的元数据与 HDFS中实际的数据不一致引起的一个问题的排查和修复。

2021-09-02 07:56:46

HDFSHIVE元数据
浅谈大数据风控平台的功能需求
大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。

2021-09-01 18:37:36

大数据功能风控
《数据安全法》今起正式实施，隐私计算迎来千亿级风口
9月1日起，中国第一部有关数据安全的专门法律《数据安全法》正式施行。这部法律分别从监管体系、数据安全与发展、数据安全制度、数据安全保护义务、政务数据安全与开放、法律责任等方面，对数据处理活动进行规制。

2021-09-01 15:58:44

数据安全法数据处理隐私
使用高性能通用查询引擎和Data Fabric，管理任何类型、任意云中以及来自任何供应商的所有数据
作为下一代 Cloud Pak for Data 的一部分，IBM 智能Data Fabric中的嵌入式治理也有助于发挥这些功能的价值和优点。

2021-09-01 14:13:05

数据云架构
健康大数据给医疗保健带来革命性影响
如今，人们可以看到医疗保健世界正在发生翻天覆地的变化。这都是得益于专注在大数据、人工智能、挖掘数据、统计和建模才能改善病患护理和临床结果。

2021-09-01 13:49:34

大数据医疗保健数据分析
关于数据仓库以及云数据仓库的那些事儿！
几乎所有投资者都看好数据库上云趋势，就在云数据库、云原生数据库呼声高涨的同时，云数仓成为一个新的赛道，开始走入大众眼帘。

2021-09-01 10:03:44

数据仓库云数据仓库数据库
数仓 | 如何使用RFM模型进行用户分层
RFM模型是在客户关系管理(CRM)中常用到的一个模型,RFM模型是衡量客户价值和客户创利能力的重要工具和手段。该模型通过一个客户的近期购买行为、购买的总体频率以及花了多少钱三项指标来描述该客户的价值状况。

2021-09-01 07:21:41

数仓RFM模型
Linux下如何快速安装Hadoop
Hadoop主要是分布式计算和存储的框架，所以Hadoop工作过程主要依赖于HDFS(Hadoop Distributed File System)分布式存储系统和Mapreduce分布式计算框架。

2021-09-01 07:21:41

LinuxHadoop存储
你经历过完整的大数据平台迁移吗？
大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务的迁移工作，是从一个机房到另一个机房。

2021-09-01 07:08:32

大数据平台迁移
大数据要“赋能”不要“负能”
今天，朋友圈里，不会再铺天盖地忙换脸了。为啥?人脸识别、指纹密码……闹着玩儿，生物信息泄露，太危险。事实上，最近演员刘昊然报警了，皆因被AI“换脸”这个新技术坑了……

2021-08-31 23:54:50

大数据人脸识别人工智能
Spark ON Yarn的资源分配图解
在Spark中，执行内存和存储内存共享一个统一的区域。当没有使用执行内存时，存储内存可以获取所有可用内存，反之亦然。如有必要，执行内存可以占用存储存储，但仅限于总存储内存使用量低于某个阈值。

2021-08-31 23:09:27

Spark资源分配
完善市场和技术，治理“大数据杀熟”
“大数据杀熟”本质上是企业对于数据权益、算法权力和市场支配地位的滥用。要有效遏制“大数据杀熟”现象，需在现有的约谈、处罚整改等监管形式上，进一步完善市场和技术规制。

2021-08-31 22:49:50

大数据互联网技术
使用 Flink Hudi 构建流式数据湖
从 2016 年开始，Apache Hudi 社区就开始通过 Hudi 的 UPSERT 能力探索近实时场景的使用案例 [1]。通过 MR/Spark 的批处理模型，用户可以实现小时级别的数据注入 HDFS/OSS。在纯实时场景，用户通过流计算引擎 Flink + KV/OLAP 存储的架构可以实现端到端的秒级 (5分钟级) 实时分析。

2021-08-31 10:07:16

Flink Hud数据湖阿里云
数据开发，如何平衡效率与质量
数据开发的效率，是如何尽快的将产品设计、业务过程，转换为数据模型;数据开发的质量，则是如何尽快的将数据加工过程中的问题，识别出来。向业务交付的内容，是开发的内容;而如果开发的时候，忽略质量的问题，虽然交付的时候不会有感知，但往往会在排查问题阶段，把这些时间加倍的补偿回来。

2021-08-30 19:01:49

数据开发模式
各行业领域的企业如何使用数据分析
各行业领域如今都在对数据分析进行投资。医疗保健、IT和金融领域的企业是数据分析技术的最主要投资者之一，许多其他行业也在投资数据分析技术。

2021-08-30 13:26:41

数据分析
分布式计算引擎 Flink/Spark on k8s 的实现对比以及实践
以 Flink 和 Spark 为代表的分布式流批计算框架的下层资源管理平台逐渐从 Hadoop 生态的 YARN 转向 Kubernetes 生态的 k8s 原生 scheduler 以及周边资源调度器，比如 Volcano 和 Yunikorn 等。这篇文章简单比较一下两种计算框架在 Native Kubernetes 的支持和实现上的异同，以及对于应用到生产环境我们还需要做些什么。

2021-08-30 10:28:09

FlinkSpark on k8分布式
警惕“大数据杀熟”手段变种
自2018年“大数据杀熟”进入公众视线以来，每一例相关事件总能引起群众的愤慨。相关监管部门在持续治理，多个媒体在持续报道，普通用户在各种渠道进行曝光，多渠道组合之下，最早出现在公众视线中的“大数据杀熟“案例得到了有效遏制。

2021-08-29 23:37:18

大数据电商购物
大数据“国家队”人民数据：为政企行业数据安全保驾护航
近年来，随着经济数字化、政府数字化、企业数字化的建设，数据已经成为我国政府和企业最核心的资产和关键性生产要素。但随之而来的数据泄露、欺诈勒索等安全事件也愈演愈烈，数据安全和隐私保护受到了全社会广泛关注。

2021-08-27 23:12:32

大数据经济数据安全
个人信用和大数据的区别及影响深度
大数据信用的数据来源不止包括传统征信的信贷历史数据，还包括个人的消费行为、交易行为、人际关系等半结构化数据。网购消费能力、共享单车租借、社交好友的信用状况、生活缴费都成为了大数据信息采集的来源，能够多维度地反映一个人的信用状况。

2021-08-27 16:50:54

大数据个人信用
保护企业中敏感数据的五种方法
企业从各种来源收集海量数据，任何数据源都可能包含敏感数据。通常需要移动数据以用于数据仓储、报告、分析、存储、测试和应用等目的。数据或 AI 模型可能会被多次复制，导致敏感数据遭滥用。

2021-08-27 16:26:11

敏感数据
流程挖掘：从业务数据中自动发现端到端的流程
IBM Process Mining 能够通过多级流程将这四个流程中的多个实例组合到一个用例中。 从业务角度来看，这恰好能满足您的需求：您想要将与一张发票关联的所有请购或订购归入一个用例。

2021-08-27 14:48:09

数据
怎么获得各行业的数据？整理了24个网站，强烈建议收藏！
最开始学习数据分析的时候，我也遇到过这个问题，想练练手却完全找不到合适的免费数据报告。后来就开始有意识的搜集各种数据网站，这么多年过去了也搜集了不少。今天就给大家分享一下我的宝藏免费数据网站们。

2021-08-27 06:55:37

数据数据分析大数据
想把数据可视化做好？这 20 个超实用的经验总结一定要先看过！
这篇文章出自资深 B端设计师 Taras Bakusevych，他深耕 B端设计多年，对于表单、可视化设计、UI/UX 都有着丰富的经验。这篇梳理了 20 个可视化设计的常见技巧，实用性和指向性都非常强

2021-08-26 15:15:37

数据可视化经验
手把手教你用Pyecharts库对淘宝数据进行可视化展示
本文基于一份杂乱的淘宝原始数据，利用正则表达式re库和Pandas数据处理对数据进行清洗，然后通过stop_word停用词对得到的文本进行分词处理，得到较为”干净“的数据。

2021-08-26 09:00:48

PyechartsPython可视化
大数据之分布式协调神器：Zookeeper选举
分布式系统设计成主从节点主要是为了保障数据一致性，主从设计是一种最直观的数据一致性保障机制。

2021-08-26 08:03:30

大数据Zookeeper选举
上一页 1 ··· 3738394041 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服