51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9065内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9065 条
手把手教你采集京东销售数据并做简单的数据分析和可视化
随着移动支付的普及，电商网站不断涌现，由于电商网站产品太多，由用户产生的评论数据就更多了，这次我们以京东为例，针对某一单品的评论数据进行数据采集,并且做简单数据分析。

2021-09-03 08:58:00

数据分析可视化
因HIVE元数据与HDFS上的数据不一致引起的问题修复
本片博文是“大数据问题排查系列”之一，讲述某HIVE SQL 作业因为 HIVE 中的元数据与 HDFS中实际的数据不一致引起的一个问题的排查和修复。

2021-09-02 07:56:46

HDFSHIVE元数据
浅谈大数据风控平台的功能需求
大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。

2021-09-01 18:37:36

大数据功能风控
《数据安全法》今起正式实施，隐私计算迎来千亿级风口
9月1日起，中国第一部有关数据安全的专门法律《数据安全法》正式施行。这部法律分别从监管体系、数据安全与发展、数据安全制度、数据安全保护义务、政务数据安全与开放、法律责任等方面，对数据处理活动进行规制。

2021-09-01 15:58:44

数据安全法数据处理隐私
使用高性能通用查询引擎和Data Fabric，管理任何类型、任意云中以及来自任何供应商的所有数据
作为下一代 Cloud Pak for Data 的一部分，IBM 智能Data Fabric中的嵌入式治理也有助于发挥这些功能的价值和优点。

2021-09-01 14:13:05

数据云架构
健康大数据给医疗保健带来革命性影响
如今，人们可以看到医疗保健世界正在发生翻天覆地的变化。这都是得益于专注在大数据、人工智能、挖掘数据、统计和建模才能改善病患护理和临床结果。

2021-09-01 13:49:34

大数据医疗保健数据分析
关于数据仓库以及云数据仓库的那些事儿！
几乎所有投资者都看好数据库上云趋势，就在云数据库、云原生数据库呼声高涨的同时，云数仓成为一个新的赛道，开始走入大众眼帘。

2021-09-01 10:03:44

数据仓库云数据仓库数据库
数仓 | 如何使用RFM模型进行用户分层
RFM模型是在客户关系管理(CRM)中常用到的一个模型,RFM模型是衡量客户价值和客户创利能力的重要工具和手段。该模型通过一个客户的近期购买行为、购买的总体频率以及花了多少钱三项指标来描述该客户的价值状况。

2021-09-01 07:21:41

数仓RFM模型
Linux下如何快速安装Hadoop
Hadoop主要是分布式计算和存储的框架，所以Hadoop工作过程主要依赖于HDFS(Hadoop Distributed File System)分布式存储系统和Mapreduce分布式计算框架。

2021-09-01 07:21:41

LinuxHadoop存储
你经历过完整的大数据平台迁移吗？
大数据集群迁移这件事，不知道有多少同学做过(反正我是第一次)。我说的不是简单的把一个集群的数据拷贝到另一个集群上，我指的是整个数据处理平台与相关的前台业务的迁移工作，是从一个机房到另一个机房。

2021-09-01 07:08:32

大数据平台迁移
大数据要“赋能”不要“负能”
今天，朋友圈里，不会再铺天盖地忙换脸了。为啥?人脸识别、指纹密码……闹着玩儿，生物信息泄露，太危险。事实上，最近演员刘昊然报警了，皆因被AI“换脸”这个新技术坑了……

2021-08-31 23:54:50

大数据人脸识别人工智能
Spark ON Yarn的资源分配图解
在Spark中，执行内存和存储内存共享一个统一的区域。当没有使用执行内存时，存储内存可以获取所有可用内存，反之亦然。如有必要，执行内存可以占用存储存储，但仅限于总存储内存使用量低于某个阈值。

2021-08-31 23:09:27

Spark资源分配
完善市场和技术，治理“大数据杀熟”
“大数据杀熟”本质上是企业对于数据权益、算法权力和市场支配地位的滥用。要有效遏制“大数据杀熟”现象，需在现有的约谈、处罚整改等监管形式上，进一步完善市场和技术规制。

2021-08-31 22:49:50

大数据互联网技术
使用 Flink Hudi 构建流式数据湖
从 2016 年开始，Apache Hudi 社区就开始通过 Hudi 的 UPSERT 能力探索近实时场景的使用案例 [1]。通过 MR/Spark 的批处理模型，用户可以实现小时级别的数据注入 HDFS/OSS。在纯实时场景，用户通过流计算引擎 Flink + KV/OLAP 存储的架构可以实现端到端的秒级 (5分钟级) 实时分析。

2021-08-31 10:07:16

Flink Hud数据湖阿里云
数据开发，如何平衡效率与质量
数据开发的效率，是如何尽快的将产品设计、业务过程，转换为数据模型;数据开发的质量，则是如何尽快的将数据加工过程中的问题，识别出来。向业务交付的内容，是开发的内容;而如果开发的时候，忽略质量的问题，虽然交付的时候不会有感知，但往往会在排查问题阶段，把这些时间加倍的补偿回来。

2021-08-30 19:01:49

数据开发模式
各行业领域的企业如何使用数据分析
各行业领域如今都在对数据分析进行投资。医疗保健、IT和金融领域的企业是数据分析技术的最主要投资者之一，许多其他行业也在投资数据分析技术。

2021-08-30 13:26:41

数据分析
分布式计算引擎 Flink/Spark on k8s 的实现对比以及实践
以 Flink 和 Spark 为代表的分布式流批计算框架的下层资源管理平台逐渐从 Hadoop 生态的 YARN 转向 Kubernetes 生态的 k8s 原生 scheduler 以及周边资源调度器，比如 Volcano 和 Yunikorn 等。这篇文章简单比较一下两种计算框架在 Native Kubernetes 的支持和实现上的异同，以及对于应用到生产环境我们还需要做些什么。

2021-08-30 10:28:09

FlinkSpark on k8分布式
警惕“大数据杀熟”手段变种
自2018年“大数据杀熟”进入公众视线以来，每一例相关事件总能引起群众的愤慨。相关监管部门在持续治理，多个媒体在持续报道，普通用户在各种渠道进行曝光，多渠道组合之下，最早出现在公众视线中的“大数据杀熟“案例得到了有效遏制。

2021-08-29 23:37:18

大数据电商购物
大数据“国家队”人民数据：为政企行业数据安全保驾护航
近年来，随着经济数字化、政府数字化、企业数字化的建设，数据已经成为我国政府和企业最核心的资产和关键性生产要素。但随之而来的数据泄露、欺诈勒索等安全事件也愈演愈烈，数据安全和隐私保护受到了全社会广泛关注。

2021-08-27 23:12:32

大数据经济数据安全
个人信用和大数据的区别及影响深度
大数据信用的数据来源不止包括传统征信的信贷历史数据，还包括个人的消费行为、交易行为、人际关系等半结构化数据。网购消费能力、共享单车租借、社交好友的信用状况、生活缴费都成为了大数据信息采集的来源，能够多维度地反映一个人的信用状况。

2021-08-27 16:50:54

大数据个人信用
保护企业中敏感数据的五种方法
企业从各种来源收集海量数据，任何数据源都可能包含敏感数据。通常需要移动数据以用于数据仓储、报告、分析、存储、测试和应用等目的。数据或 AI 模型可能会被多次复制，导致敏感数据遭滥用。

2021-08-27 16:26:11

敏感数据
流程挖掘：从业务数据中自动发现端到端的流程
IBM Process Mining 能够通过多级流程将这四个流程中的多个实例组合到一个用例中。 从业务角度来看，这恰好能满足您的需求：您想要将与一张发票关联的所有请购或订购归入一个用例。

2021-08-27 14:48:09

数据
怎么获得各行业的数据？整理了24个网站，强烈建议收藏！
最开始学习数据分析的时候，我也遇到过这个问题，想练练手却完全找不到合适的免费数据报告。后来就开始有意识的搜集各种数据网站，这么多年过去了也搜集了不少。今天就给大家分享一下我的宝藏免费数据网站们。

2021-08-27 06:55:37

数据数据分析大数据
想把数据可视化做好？这 20 个超实用的经验总结一定要先看过！
这篇文章出自资深 B端设计师 Taras Bakusevych，他深耕 B端设计多年，对于表单、可视化设计、UI/UX 都有着丰富的经验。这篇梳理了 20 个可视化设计的常见技巧，实用性和指向性都非常强

2021-08-26 15:15:37

数据可视化经验
手把手教你用Pyecharts库对淘宝数据进行可视化展示
本文基于一份杂乱的淘宝原始数据，利用正则表达式re库和Pandas数据处理对数据进行清洗，然后通过stop_word停用词对得到的文本进行分词处理，得到较为”干净“的数据。

2021-08-26 09:00:48

PyechartsPython可视化
大数据之分布式协调神器：Zookeeper选举
分布式系统设计成主从节点主要是为了保障数据一致性，主从设计是一种最直观的数据一致性保障机制。

2021-08-26 08:03:30

大数据Zookeeper选举
大数据成“下个万亿风口”，多重利好在路上，哪些行业会最受益？
7月份的时候，《中国互联网发展报告(2021)》数据出炉，从中我们得知，在2020年中，我国互联网行业实现了快速发展，网民规模稳定增长。

2021-08-25 23:08:16

大数据网络5G
首席数据官加强分析战略的五种方式
过去十多年来，首席数据官 (CDO) 因其为企业带来的价值而得到越来越多的认可。事实上，现在已有65%的公司拥有CDO职位，相较于2012年的12%可谓是实现了大幅增加。

2021-08-25 10:51:53

数据分析大数据首席数据官
基于博弈论的大规模数据分析
现代 AI 系统可以像勤奋的学生准备考试一样，去处理诸如识别图像中的对象以及预测蛋白质 3D 结构之类的任务。通过大量示例问题训练，这类系统可以逐渐降低错误，直至取得成功。

2021-08-25 08:23:51

AI数据机器学习
这20个Pandas函数，堪称“数据清洗”杀手！
Pandas 是基于NumPy 的一种工具，该工具是为解决数据分析任务而创建的。它提供了大量能使我们快速便捷地处理数据的函数和方法。本文介绍的这20个【被分成了15组】函数，绝对是数据处理杀手，用了你会爱不释手。

2021-08-25 07:47:53

Pandas函数数据处理
央视痛批大数据杀熟，消费者不是待宰的羔羊
8月17日，个人信息保护法草案提请全国人大常委会第三次审议，大数据杀熟被命令禁止。

2021-08-24 23:35:49

大数据信息安全科技
IDC：2025 年中国大数据总体市场规模将超 250 亿美元
DC 近日发布了《2021 年 V2 全球大数据支出指南》（IDC Worldwide Big Data and Analytics Spending Guide），新增了 2025 年预测，从技术、行业、企业规模等维度发掘未来五年（2021-2025）全球大数据市场中的潜在机会，同时对 2020 年的市场发展情况进行了梳理。

2021-08-23 19:21:55

大数据大数据动向大数据应用
解读数据分析的发展和演变都经过哪几个阶段？
在本文中将总结近年来数据分析的发展和演变，简化各种术语，对一些常见应用场景进行解释。让我们开始吧！

2021-08-23 19:00:13

数据分析大数据
使用人工智能和数据分析将数据货币化的四种技术
除了采用技术之外，企业可以通过使用指标增加销售量和改善客户体验来实现数据的货币化。

2021-08-23 13:36:46

数据分析人工智能技术
科普一下：大数据是如何“暴露”了你的隐私
最近我们发现有关部门出台了个人信息保护的法律，有些不良企业为了个人利益，我们公民的个人信息数据被捆绑“销售”等等新闻层出不穷

2021-08-22 15:07:29

大数据信息安全隐私
11月1日，个人信息保护法正式实施，“大数据杀熟”敲响丧钟？
今天，8月20日，个人信息保护法已经被表决通过，未来将于将于11月1日正式施行。这真的是一部好法律，在我国彻底进入到移动互联网社会的关键时候，这部法律的出台真是及时雨啊。

2021-08-21 15:06:32

大数据信息安全科技
使用Spark Streaming转换不同的JSON有效负载 译文
使用 Spark Streaming，你只需要从数据源创建一个读流，这样就可以创建写入流将数据加载到目标数据源中。

2021-08-20 16:37:42

SparkSpark Strea
大数据人工智能时代的到来，网络信息数据安全经得起考验嘛？
5G大数据、人工智能逐渐地影响我们每个人的衣食住行。上网查一个东西，下次打开手机电脑就会有一堆的针对性广告……经常遇到办贷款、租房买房、办保险、入学补习，各种骚扰电话。

2021-08-20 16:03:03

大数据人工智能数据安全
个人信息保护法草案三审，大数据杀熟、非法爬虫彻底凉了
数据资产虽是互联网商业运行的基础，但数据权属不清晰、非法商业化问题一直存在。如今，关于数据安全和信息保护的法律法规不断出台，彻底封堵滥用数据的套利行为。

2021-08-20 15:52:34

信息安全大数据安全
个人信息保护法草案审议：大数据时代如何为信息上把法律的锁？
个人信息保护法草案正提请十三届全国人大常委会审议。身处大数据时代，面对无处不在的海量信息，如何在法律框架下确保个人信息合理规范使用？如何为信息上一把法律的“保护锁”？在立法机关对于草案的分组审理中，这一话题成为讨论焦点。

2021-08-20 10:13:42

大数据信息安全科技
大数据的发展及其对现实世界的价值 译文 精选
根据调研机构的预计，全球大数据开发领域在未来几年将出现巨大增长。人们需要了解大数据开发的工作原理及其在现实世界中产生的好处。

2021-08-20 08:00:00

大数据开发技术
大数据助力，智慧农贸乘风破浪
近年来，线上买菜经历了从无到有、从少到多的变化，彻底改变了线上买菜的历史。

2021-08-19 15:08:36

大数据智慧农贸数字化转型
人工智能转变商业智能的优秀用例
人工智能的商业智能和分析能力是企业的主要吸引力，因为这一概念改善了收入来源，并提供了有价值的见解。

2021-08-19 10:28:28

人工智能商业智能AI
不装了，摊牌了，我是新生代农民工中的一员……来分析一下这事！
程序员这个群体中绝大部分人是不会看不起农民工的，我们的父母也大都是从农村出来的，农民工没啥不好的!官方放出来的数据还是要仔细研究一下。

2021-08-19 06:03:07

新生代农民工数据分析码农
国家禁止“大数据杀熟”会对我们的生活造成什么影响？
众所周知，在安装新的APP以后；APP都会要求我获得我们手机的定位，麦克风，存储甚至的通讯录信息，这其实就是软件开发商获取我们用户资料的重要手段，而这些资料也是大数据的基石；而国家此次立法管控大数据，又会给我们生活带来什么影响呢？

2021-08-18 21:36:08

大数据大数据杀熟
IDC：2021年全球大数据和分析支出预计达2157亿美元
根据IDC全球大数据和分析支出指南显示，今年全球大数据和商业分析(BDA)解决方案支出规模预计将达到2157亿美元，比2020年增长10.1%。

2021-08-18 15:37:54

IDC大数据大数据分析
警惕大数据杀熟之风抬头，我国拟正式立法
近年来，在数字化时代飞奔而至，各种智能化、信息化技术广泛应用的背景下，大数据杀熟之风日渐抬头并愈演愈烈。为防止其严重危害民众与社会的隐私财产安全，眼下我国正积极寻求破解之法。

2021-08-18 10:44:36

大数据大数据“杀熟”数据监管
2021年的七大商业智能趋势
商业智能变得更容易使用，它正在扩展到更多企业，正在迁移到云中，嵌入到更广泛的ERP和CRM软件套件中，现在还将人工智能和机器学习纳入其中。

2021-08-18 10:18:53

人工智能AI深度学习
大数据如何赋能5G价值运维运营
迈入5G+AICDE时代，通信运营商对如何能充分利用网络资源和发挥网络效能有更高的诉求，包括数字化转型的驱动手段运用、自动驾驶网络等级提升的目标设定等，整体期望以降本增效为原则实现价值运维运营的目标。

2021-08-18 10:06:58

5G大数据运营商
统计学派的18种经典「数据分析方法」
本文为你列举了统计学派中18种经典的数据分析法。描述统计是通过图表或数学方法，对数据资料进行整理、分析，并对数据的分布状态、数字特征和随机变量之间关系进行估计和描述的方法。描述统计分为集中趋势分析和离中趋势分析和相关分析三大部分。

2021-08-18 09:11:59

统计学数据分析检验
上一页 1 ··· 3738394041 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服