51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
EnginePlus受邀参加亚马逊云科技中国峰会 分享Spark on Amazon EKS实践经验
亚马逊云科技中国峰会在上海召开。亚马逊云科技的众多技术合作伙伴受邀出席峰会，围绕“构建新格局，重塑云时代”的主题，进行了系列主题演讲和产品展示，分享云计算领域的先进技术经验与企业成功实践。

2021-07-30 17:11:21

EnginePlus亚马逊云科技
怎样玩转基于大数据技术的应用？
现在正处于大数据时代，互联网上产生的数据大量又杂乱，但是不同的人所接收的信息也就不同，为什么有的人接收的信息比较局限，而有的人接收的信息就比较全面呢？我们应该怎么去利用大数据推送技术的特点去接收自己所感兴趣的内容呢？

2021-07-30 16:01:05

大数据技术应用
为什么说嵌入式分析是成功应用程序的基础？ 译文
您的应用程序是否开始变得无关紧要？换句话说，您的应用程序是否只专注于为客户交互过程的交易部分提供便利，却错失了提供关键洞察力的机会？如果您的应用程序是这样，它正失去价值。

2021-07-30 08:00:00

数据分析IT技术
Hdfs 相对路径与静态代码块引起的问题
HIVE 作为大数据生态的数仓解决方案，因为历史的原因在很多行业很多公司都有着广泛的应用。对于比较复杂的业务逻辑，HIVE SQL 往往比较难以表达，此时大家在开发中往往会辅以 HIVE UDF。所以充分理解和掌握 HIVE UDF正确的表写和使用方式，是大数据从业人员必不可少的一项技能。

2021-07-29 20:28:24

静态代码Hdfs
不可错过的可视化经验，你学到了吗？
本文从可视化类型选择和色彩搭配角度分享了部分经验，希望读者可以在可视化制作中积累经验，提高可视化制作的水平！

2021-07-29 18:46:52

可视化类型图形化
退改纠纷、大数据“杀熟”……在线旅游平台问题不少
退改纠纷、大数据“杀熟”、限制交易条件、霸王条款、不合理低价游、捆绑搭售……当下，在线旅游问题不少。

2021-07-29 16:19:04

大数据旅游信息安全
外部工具连接 SaaS 模式云数据仓库 MaxCompute 实战
MaxCompute 产品能支持的外部工具，大概可以分为商业智能、开发管理、传输调度、编程接口。本次分享主要关注商业智能（BI）工具这一板块，可以看到 MaxCompute 官方集成有Tableau、FineReport、FineBI、Quick BI。

2021-07-29 11:30:41

SaaS云数据仓库MaxCompute
一学就会，一做就废！为什么数据分析上云这么难？
与传统的内部数据分析方式相比，将数据分析迁移到云端需要新的方法、技能和架构。

2021-07-29 10:26:34

数据分析上云CIO
分布式协调框架Zookeeper核心设计理解与实战
想起很久以前在某个客户现场，微服务 B 突然无法调用到微服务 A，为了使服务尽快正常恢复，重启了微服务 B 。虽然故障原因找到了，但对于 Zookeeper 的理解还是不够深刻，于是重新学习了 Zookeeper 的核心设计，并记录于此文共勉。

2021-07-29 07:48:36

Zookeeper 核心设计
用Pandas读取CSV，看这篇就够了
通过本文的介绍，我们了解了读取CSV文件的一些参数的功能，也了解了在读取CSV文件时可以做一些初步的数据整理工作。

2021-07-28 13:29:57

大数据PandasCSV
数百名大数据工程师齐聚快手 共享领域数据建设经验
近日，快手大数据数据内容建设交流会在快手总部成功举行。交流会探讨了如何利用海量的数据，将数据转化成有用的知识，辅助管理层的决策，为产品迭代、业务运营提供高效数据支撑。

2021-07-27 22:49:21

快手数据建设
MaxCompute Spark 资源使用优化祥解
本文主要讲解MaxCompute Spark资源调优，目的在于在保证Spark任务正常运行的前提下，指导用户更好地对Spark作业资源使用进行优化，极大化利用资源，降低成本。

2021-07-27 15:56:28

MaxCompute 资源优化
用Python进行数据清洗方式，这几种都很常见！
在数据分析中，数据清洗是一个必备阶段。数据分析所使用的数据一般都很庞大，致使数据不可避免的出现重复、缺失、格式错误等异常数据，如果忽视这些异常数据，可能导致分析结果的准确性。

2021-07-27 15:40:39

Python数据清洗函数
数据科学对医疗保健行业的影响
数据科学正在迅速发展，并将广泛应用在当今世界的所有行业领域中。以下将介绍数据科学如何改变医疗保健行业，以及用于医学和生物技术的数据科学的各种基本概念

2021-07-27 14:42:04

数据科学医疗保健大数据
如何设计可视化搭建平台的组件商店？
之前一直在做 lowcode 和可视化相关的项目，也围绕可视化技术输出了一系列技术文章，今天我继续和大家来聊聊可视化平台相关的话题——组件商店。

2021-07-27 08:29:33

可视化组件商店H5-Dooring
强大的数据平台可加速企业业务决策
为一站式解决各种数据挑战，企业必须采取统一的企业数据战略来管理数据。企业数据战略应兼具相关性和实用性，并且可以应用于整个企业，不受地点和业务部门的限制。

2021-07-27 05:54:25

数据平台业务决策数据
数据告诉你，郑州暴雨到底有多大
郑州这两天的雨有多大?在国家气象信息中心的网站上，根据 24 小时降雨量将暴雨分为了三个等级，即 50-99.9 毫米的称作“暴雨”、 100-249.9 毫米的称作“大暴雨”、250 毫米以上的称作“特大暴雨”[1]。

2021-07-26 11:02:29

郑州暴雨河南
超全面的数据可视化设计指南：设备篇
各位数据可视化设计师们大家好，鉴于平时有很多同学对我们的可视化大屏的设计知识点有很多不理解的地方，阿勇决定花一些时间去详细剖析一下关于这方面的知识，全部都是多年工作经验所得，绝对有料。

2021-07-26 10:41:16

数据可视化设备大屏
大数据为乡村振兴注入新动力
近年来，随着数字化建设不断呈现快速发展趋势，大数据在农业农村现代化进程中起到不可或缺的作用。探索大数据与农业农村发展深度融合新模式，用好大数据这一技术助推器，促进互联网、大数据、人工智能与农业农村发展深度融合，加快农村经济社会发展。

2021-07-26 09:32:20

大数据农业技术
数据资产两手抓 智能化和安全性缺一不可
与传统IT系统相比，用户和服务商的身份发生了转变，数据的所有方和托管者的角色相互独立，这就引发了对于数据信息的新挑战。

2021-07-26 08:01:35

数据资产智能化安全性
2021年超酷的 10 个大数据工具！你知道几个？
无论是老牌公司还是初创公司，都在继续为一系列数据管理任务开发下一代平台和工具，包括数据操作、数据集成、数据准备、数据科学、数据治理、数据发现和数据沿袭跟踪。

2021-07-25 21:20:34

大数据IT工具
下一代 IBM Cloud Pak for Data 及其新型数据经纬：5大必知之事
今天，IBM 把基于 AI 的新能力注入 Cloud Pak for Data 的智能数据经纬，其中包括一项名为 AutoSQL（结构化查询语言）的突破性技术。

2021-07-23 14:04:44

大数据AIIBM
我国大数据产业领跑全球，“数据红利”期正稳步到来
近年来，随着5G网络的大力布局，大数据产业几乎同步高速发展，已融入到经济生活的方方面面。大数据作为5G新基建的重要一环，无论在民生还是工业领域，都能起到无可替代的作用。

2021-07-23 11:35:23

大数据数据红利运营商
那些难以摆脱的“大数据困扰”
在大数据时代，公民的个人信息还是隐私吗?记者调查发现，包括扫码点餐，授权个人信息后才能阅读文章、享受服务的程序，其实都是商家、公众号引流的手段。通过一个小程序，商家就能收到用户微信昵称、电话号码等重要信息。

2021-07-23 11:32:05

大数据数据处理杀熟
数据规模爆炸性增长，云原生数据仓库数据化运营实战分享
在日前的2021阿里云金融数据智能峰会——《云原生驱动数智化运营的“增长黑马”》专场上，阿里云数据库资深技术专家魏闯先 从数据价值链路角度切入，为大家解读云原生数据仓库如何支撑数据化运营、全链路营销和阿里集团双11业务，并展示金融客户最佳实践案例和应用场景。本文内容根据演讲录音及PPT整理而成。

2021-07-22 10:04:13

云原生数据仓库数据化运营
值得关注的五大数据可视化新兴趋势
随着信息世界技术的进步，数据可视化正成为每个企业和组织都应该掌握的一项重要技能。

2021-07-21 12:00:41

数据可视化人工智能
数据驱动算法在机器学习中的应用
机器学习作为一个概念，与提高计算机使用算法和神经网络模型学习的能力有关，并能更快更有效地执行各种任务。机器学习或ML通过使用数据或数据集来帮助建立模型来做出决策。

2021-07-21 11:25:17

机器学习?AI人工智能
大数据可能改变证券交易的状态
大数据技术不断重塑商业格局，人们已经开始意识到在决策过程中使用数据和分析的重要性。虽然中小型企业尚未适应这一概念，但大型企业在数据方面进行了大量投资。股票交易是一个大数据和数据分析技术可以发挥重要作用的领域。

2021-07-21 10:42:00

大数据数据分析证券交易
痛苦调优10小时，我把 Spark 脚本运行时间从15小时缩短到12分钟！
周一我就有个困惑，还写成文章了：如何从 Spark 的 DataFrame 中取出具体某一行，里面提了自己猜想的几种解决方案 没想到这么快就要面对这个问题了，我用小孩子都听得懂的例子描述一下我在干什么。

2021-07-21 07:55:22

技术
Spark 大数据处理最佳实践
本文主要案例介绍如何利用Spark 大数据技术。

2021-07-20 15:37:37

数据开发大数据Spark
Flink + Iceberg + 对象存储，构建数据湖方案
数据源上可能会有各种数据，不同的数据源和不同格式。比如说事物数据，日志，埋点信息，IOT 等。这些数据经过一些流然后进入计算平台，这个时候它需要一个结构化的方案，把数据组织放到一个存储平台上，然后供后端的数据应用进行实时或者定时的查询。

2021-07-20 11:52:03

FlinkIceberg 对象存储
大数据“杀熟” 今后行不通了
在网上消费越来越普遍的现今，大数据“杀熟”受到越来越多市民的关注，而这一暗藏的乱象也将因为监管的更加严格，有望得到有效遏制。

2021-07-19 22:45:10

大数据消费监管
大数据杀熟，杀的是互联网经济的未来
这些年，互联网经济的蓬勃发展带给人们衣食住行诸多便利，但同时广大消费者也苦“大数据杀熟”久矣。到目前为止，“大数据杀熟”并没有明确的法律界定，还仅停留在学术研究和大众口口相传的商业概念里。

2021-07-19 17:00:50

大数据互联网经济
选择分析工具时要考虑的十一个因素
数据分析工具是一种收集和分析大量用户数据以发现模式并预测用户行为的软件。企业可以使用数据分析工具，通过关联应用程序在使用特定功能时花费的时间等因素来评估参与度。

2021-07-19 13:52:17

分析工具软件大数据
数据治理的六个优秀实践
许多组织正在进行的数字化转型也将使强大的数据治理对企业来说变的更加重要，因为企业的成功在很大程度上就取决于数据的可靠性、安全性以及能否在正确的时间提供给正确的人。

2021-07-19 10:06:30

数据治理数字化转型CIO
对比四大典型的云数据仓库：Snowflake、Redshift、BigQuery和Azure 译文
本文从特征参数、技术规格、以及定价模型等方面，为您综合比较了Snowflake、Redshift、BigQuery、以及Azure，这四种典型的云数据仓库的优缺点，并给出了选型时的各项参考因素。

2021-07-19 09:00:00

数据库数据分析技术
如何从 Spark 的 DataFrame 中取出具体某一行？
Spark 中 DataFrame 是 RDD 的扩展，限于其分布式与弹性内存特性，我们没法直接进行类似 df.iloc(r, c) 的操作来取出其某一行。

2021-07-19 07:58:02

Spark DataFrame 分布式
个性化推荐是不是杀熟？算法不能违背公平之道
电商平台大数据杀熟，一直饱受消费者诟病。除了赤裸裸地抬高价格，还有一种比较隐蔽的杀熟，不易为人觉察。

2021-07-18 22:47:08

大数据电商算法
大数据时代，移动联通大数据技术的价值，你掌握了多少
大数据技术就是在多种类型的大量数据信息中，快速获得有使用价值信息的技术性，然后做到大数据精准营销。拥有大量信息本身并不能造就出多少使用价值，必须选用具体方法进行处理分析才能够获得其智能化的，多方面的有使用价值的信息。

2021-07-18 10:40:53

大数据大数据技术
数据分析的七种武器
对于数据分析而言，我认为也有 7 种非常厉害的武器，它们分别对应的是：Excel、Tableau、SQL、SPSS、SAS、R、Python。

2021-07-16 09:55:46

数据工具软件
Cloudera与阿里云强强联手，助力中国企业加速数据驱动之旅
企业数据云公司Cloudera（NYSE：CLDR）今日宣布与阿里云签署合作协议，Cloudera Data Platform（CDP）将在大中华区入驻阿里云。此次合作旨在帮助更多大中华区的企业在上云过程中，有效运用数据实现业务灵活性。

2021-07-15 14:28:59

Cloudera阿里云数据
数组： 一种非常基础且重要的数据结构
数组是一种非常基础且重要的数据结构，很多复杂的数据结构都是基于数组实现的。深入理解数据的存储原理和特点，有利于我们在实际开发工作中，充分发挥数据的优势。

2021-07-14 23:55:18

数据结构数组
Quick BI为什么能从一众商业智能BI产品中跑出重围
尽管已有包括Quick BI在内的头部产品沉淀相当一批成功案例,但对于BI赛道的各大玩家而言,眼下需要思考的还在于两个方面:其一,如何结合AI技术快速完成传统BI平台到新智能平台的升级。其二,如何聚焦于企业场景和各个业务环节,保证方案落地。

2021-07-14 09:35:25

数字化
大数据与云计算之间的关系
雾计算和边缘计算FEC（Fog and Edge Computing）通过填补云和物的差距以提供服务连续性来完成物联网中的云计算。本文将描述FEC的优势并讨论它如何实现这些优势。

2021-07-13 19:33:41

大数据云计算
严惩“大数据杀熟”让算法更好服务用户
大数据“杀熟”是指电子商务平台经营者利用大数据分析、算法等技术手段，根据消费者或者其他经营者的偏好、交易习惯等特征对其进行“精准画像”，基于成本或正当营销策略之外的因素，对同一商品或服务在同等交易条件下设置不同价格或进行特定推送，由此侵犯消费者合法权益的行为。

2021-07-13 19:19:57

大数据大数据杀熟
吉林省委书记景俊海调研长白山基地 国信优易CEO王亚松汇报建设成果
国信优易以丰富的大数据基地建设经验和成熟的大数据技术，为长白山基地的未来发展保驾护航。目前，在国信优易自主研发的数据操作系统DataOS之上，“数字长白山”的智能基座已经落地。

2021-07-13 17:15:03

国信优易大数据
只罚“亿点点”！新规在即，大数据“杀熟”该消停了
近日，市场监管总局发布了《价格违法行为行政处罚规定(修订征求意见稿)》(以下简称《规定》)，坚决对大数据"杀熟"说不!

2021-07-13 10:04:07

大数据
从零设计可视化大屏搭建引擎
可视化大屏搭建平台的一些设计思路和效果演示， 这篇文章我会就 如何设计可视化大屏搭建引擎 这一主题， 详细介绍一下实现原理。

2021-07-12 17:23:47

零设计可视化引擎
边缘计算：最快数据处理背后的技术
边缘计算技术正在发展，因为它为企业提供了优势。它有助于以最快的方式获得准确的信息。企业产生的75%的数据可以在传统的集中数据中心或云之外创建和处理，只是需要将数据和存储尽可能地移动到数据实际处理的计算边缘。

2021-07-12 15:00:48

边缘计算数据处理IT企业
为什么预测分析对零售企业如此重要
预测分析是一种对企业越来越重要的策略。利用机器学习来分析企业收集的数据，现在可以用于对未来做出更准确的预测。

2021-07-12 14:15:25

预测分析机器学习大数据
上一页 1 ··· 4041424344 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服