51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9090内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9090 条
深入浅出：大妈也能看懂的大数据分布式计算
本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从 MapReduce 分布式计算模型开始。

2018-05-30 09:27:15

大数据分布式计算
数据科学目标、挑战以及门派
就像“一千个人眼里有一千个哈姆雷特”一样，对于什么是数据科学也有很多种不同的解读，并由此衍生出很多相关概念，比如数据驱动、大数据、分布式计算等。但这些概念都没能全面地描述数据科学的内涵，本文将从目标、挑战和门派三个方面来阐述什么是数据科学。

2018-05-29 22:34:26

数据科学数据分析工程
一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事
微服务的诞生并非偶然，它是在互联网高速发展，技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。

2018-05-29 15:33:33

Spring Boot微服务大数据
大数据技术在金融行业的典型应用
从发展特点和趋势来看，“金融云”快速建设落地奠定了金融大数据的应用基础，金融数据与其他跨领域数据的融合应用不断强化，人工智能正在成为金融大数据应用的新方向，金融行业数据的整合、共享和开放正在成为趋势，给金融行业带来了新的发展机遇和巨大的发展动力。

2018-05-29 09:38:40

大数据金融行业银行业
全球大数据发展的新动向与新趋势
目前，伴随移动互联网、智能硬件和物联网的快速普及，全球数据总量呈现指数级增长态势，与此同时，机器学习等先进的数据分析技术创新也日趋活跃，使得大数据隐含的价值得以更大程度的显现，一个更加注重数据价值的新时代正悄然来临。

2018-05-28 22:26:18

大数据智能终端数据挖掘
高效的数据压缩编码方式 Protobuf
Protocol buffers 很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式 。

2018-05-28 21:51:25

Protocol bu数据存储序列化
十张图告诉你大数据的增长趋势
在McKinsey 2018年1月的研究报告 “Analytics Comes of Age”中，以大数据分析为代表的高级分析技术对于销售与营销、研究与开发(R&D)、包括分销在内的供应链管理(SCM)、工作场所管理与运行等领域的营收促进效果最为明显。

2018-05-28 21:17:57

大数据分析软件
Teradata助力企业实现数字化转型 规避投资风险 原创
全球领先的数据和分析解决方案供应商Teradata天睿公司在近日举办的“2018 Teradata大数据峰会”上正式发布Teradata Everywhere和感知型企业理念。

2018-05-28 18:10:15

Teradata数字化转型大数据
一文简述如何使用嵌套交叉验证方法处理时序数据
本文简要讲解了交叉验证和嵌套交叉验证，并介绍了针对单个时序数据和多个时序数据的嵌套交叉验证方法。

2018-05-28 11:03:22

交叉验证时序数据数据集
Spark调优的关键—RDD Cache缓存使用详解
Spark的开发调优有一个原则，即对多次使用的RDD进行持久化。如果要对一个RDD进行持久化，只要对这个RDD调用cache()和persist()即可。

2018-05-28 08:54:45

SparkRDD Cache缓存
简单快捷的数据处理，数据科学需要注意的命令行
对很多数据科学家而言，他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上，这个说法没有任何错误，毕竟这就是这些工具存在的原因。然而，对于分隔符转换这样的简单任务而言，这些工具往往是大材小用，我们可以直接使用命令行快速处理。

2018-05-28 08:42:56

数据处理数据科学命令行
工业大数据产业应用联盟携八家成员企业共同亮相数博会
5月26日，由国家发改委、工信部、国家互联网信息办公室、贵州省人民政府共同主办的2018中国国际大数据产业博览会上，工业大数据产业应用联盟的八家联盟成员企业共同参展，为数博会带来工业大数据产业联盟及旗下成员在标准制定、落地应用等方面的一系列成果展示。

2018-05-27 11:47:01

大数据工业应用
深度揭秘Airbnb的跨洋大数据挑战及架构实战 原创
大数据时代，每个公司都会遇到一些共性的挑战，比如大数据的采集、整合、存储、计算。Airbnb 在大数据平台架构构建的过程中，也收获了很多宝贵的经验。

2018-05-25 10:05:13

大数据架构实战
大妈也能看懂的大数据分布式计算图解
本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从MapReduce分布式计算模型开始。

2018-05-24 22:58:26

大数据分布式计算统计
帮助你做高级数据分析的各类 ETL 工具比较 译文
如今对于数据的高级分析需要有一套最新的数据集成方法。如果需要整合来自数据库、流媒体服务、文件以及其他来源的数据，您可以通过本文的介绍，选择出一个合适的工具平台。

2018-05-24 13:35:22

数据分析ETL工具处理
大数据时代，这些专业人才最吃香
通过大数据，百度掌握你的隐私，微信知道你的社交圈子，淘宝了解你的购物习惯，移动电信联通三大运营商存有你的通话记录和上网记录……

2018-05-24 09:29:27

大数据数据科学分析
四项更佳实践让您的云部署准备好迎接GDPR 译文
关注这四项重要提示，确保您的云部署在系统审计与主动安全性等各个层面为GDPR的正式生效做好准备。GDPR即将在本月晚些时候正式生效，这意味着满足安全性与合规性将成为一切包含有欧盟公民个人数据的云部署方案的首要任务。

2018-05-24 09:00:45

云环境GDPR云部署
最新发布：2018年五个大数据热门岗位
数据质量决定了数据对业务的内在价值。信息技术只是这个内在价值的放大镜。因此，高质量的数据与有效的技术相结合是一项巨大的资产，但低质量的数据与有效的技术相结合也是一项巨大的责任。

2018-05-23 20:25:41

数据科学数据库信息技术
改善企业业务的6个数据管理技巧
对于许多组织来说，转变业务需求和预算现实意味着技术部署必须既有战略性又有敏捷性。C&W Services公司专注于使用技术改进业务流程。许多组织的大量数据存在于独立应用程序中，处于闲置状态并等待被利用。而寻找一种分析应用程序间数据的方法有可能提高效率。

2018-05-23 13:47:24

数据数据管理可视化
Accordion：HBase的 “呼吸式”内存压缩算法
HBase 所支持的现代产品对Hbase读写性能的期望越来越高。理想情况下，HBase 也希望在保证其可靠的持久存储的前提下能同时享有内存数据库的速度。社区的贡献者在HBase 2.0中引入了一种名为Accordion的新算法，这促使Hbase又朝着其理想的目标迈出了重要的一步。

2018-05-23 08:52:40

HBase内存压缩算法
将企业数据分析移至云端并非易事
如果企业希望在云计算的新平台上实现数据仓库和数据集市的现代化，那么请注意，这并不像人们想象的那么容易。

2018-05-22 12:27:52

数据分析云端企业
一份关于数据科学家应该具备的技能清单
大数据时代，什么职业比较吃香?答案可以从今年的校招薪资列表上知道——算法工程师、人工智能研究员、数据分析等职位。那么作为一名数据科学家，应该具备的技能有哪些呢?本文将一窥究竟。

2018-05-22 09:07:54

数据科学语言职位
数据是制造业实现物联网价值的关键
2020年将是制造业期待的一年。Deloitte预测15个最有竞争力的制造业国家将有10个在亚洲。不过，为实现此一目标，亚太制造业将需拥抱物联网(IoT)。

2018-05-22 07:55:12

物联网IoT数据制造业
华尔街日报畅销书《感知型企业》中文版正式出版
全球领先的数据和分析解决方案供应商Teradata天睿公司（Teradata Corporation，纽交所：TDC）宣布，公司首席运营官Oliver Ratzesberger和美国西北大学凯洛格商学院Mohan Sawhney教授合著的新书《感知型企业：数据驱动的商业决策演进》（The Sentient Enterprise: The Evolution of Business Decision Making）的中文版正式出版。

2018-05-21 23:44:23

数据分析供应商
HIVE和HBASE之间，主要的区别是什么？
Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。

2018-05-21 21:26:59

Apache HiveHbaseSQL
对数据科学家来说最重要的算法和统计模型
作为一个在这个行业已经好几年的数据科学家，在LinkedIn和QuoLa上，我经常接触一些学生或者想转行的人，帮助他们进行机器学习的职业建议或指导方面相关的课程选择。一些问题围绕教育途径和程序的选择，但许多问题的焦点是今天在数据科学领域什么样的算法或模型是常见的。

2018-05-21 21:04:07

数据科学家算法统计模型
利用聚合概念指导MongoDB的Schema设计
在我们的项目中，为了能够保存分析报表以及用户设置的报表查询条件，我们将这些信息视为报表元数据存储在MongoDB中。

2018-05-21 08:07:35

聚合MongoDBSchema
数据可视化项目失败的六大缘由
现在虽然数据可视化仍然具有巨大的前景，且近十年来它也一直是一门主流学科，但目前它依然不够成熟。我们能否找到可视化项目中导致失败的关键点呢?

2018-05-21 07:54:44

数据可视化大数据数据
微信公开表白红包大数据，教你如何表白成功率最高！
近日，某狮系电商对520消费趋势进行了分析，数据显示，在看脸时代，美容护理产品销量激增，成年轻人表白最佳利器;洗碗机、净水机成520热销产品黑马，成为中年人为爱情增加保鲜剂的见证者。“嘿!凤梨”因为与粤语“喜欢你”同音，成为520最热卖水果。

2018-05-20 11:30:39

大数据红包表白
欧盟开枪，谁会成为GDPR的枪下鬼？
5月25号，也就是几天后，《欧盟数据保护通用条例》(General Data Protection Regulation，简称GDPR)就正式实施了。从2016年发布至今，两年的过渡期转瞬间就过去了，数字化企业大佬们有没有做好准备，在GDPR的枪口下，全球性的企业能在欧盟合法地做生意吗?

2018-05-20 10:49:40

GDPR数据隐私大数据
数据分析驱动企业数字转型　感知型企业催生决策新时代
全球领先的数据和分析解决方案供应商Teradata天睿公司（Teradata Corporation）于5月18日在北京顺利召开“2018 Teradata大数据峰会”。峰会期间，Teradata天睿公司面向中国市场正式发布Teradata Everywhere和感知型企业（the Sentient Enterprise）。

2018-05-18 20:13:10

数据分析数字化转型Teradata
如何做数据分析：请收好
数据分析是基于商业目的，有目的的进行收集、整理、加工和分析数据，提炼有价信息的一个过程。其过程概括起来主要包括：明确分析目的与框架、数据收集、数据处理、数据分析、数据展现和撰写报告等6个阶段。

2018-05-18 09:18:00

数据分析报告数据收集
我们问了Yann LeCun等16个顶级数据科学家，这是他们给数据新人的建议
本文节选自《工作中的数据科学家》，书中采访了16个不同行业的16位顶级数据科学家，以了解他们在理论上如何思考，以及在实际中解决什么问题，数据的作用和取得成功的原因。

2018-05-17 14:42:07

数据科学家数据科学数据
下一代大数据即时分析架构--IOTA架构
经过这么多年的发展，已经从大数据1.0的BI/Datawarehouse时代，经过大数据2.0的Web/APP过渡，进入到了IOT的大数据3.0时代，而随之而来的是数据架构的变化

2018-05-17 11:31:45

大数据IOTA架构数据架构
分享：我的第一次数据科学家实习经历
在写本文时，正是我在 Quantum Invention 做数据科学家实习生的倒数第二天。此刻，我坐在笔记本电脑屏幕前，再回想起过去几个月的学习历程，非常艰辛但充满成就感。

2018-05-17 10:57:38

数据科学实习学习
重磅！2017年京津冀大数据产业发展分析报告正式发布（附完整版下载）
2018年5月16日-18日，第二届世界智能大会在天津举办。作为世界智能大会专题论坛之一的大数据产业发展高峰论坛，16日下午在天津梅江会展中心举办，聚焦大数据产业的新时代应用。

2018-05-17 10:45:03

大数据分析报告京津冀
“空姐遇害案”引出的一份数据报告：打脸地域黑、黑车最危险、23点以后乘车最不安全
空姐打滴滴顺风车遇害案虽然以嫌疑人溺亡结案告一段落，但是这一悲剧引发的舆论纷争仍在发酵。部分媒体因不当言论引发网民声讨，此外，一些刺耳的声音，如“河南人如何如何”“女性穿着太暴露”等不负责任的说法也陆续出现网络上。

2018-05-16 09:49:23

数据地域黑黑车
大数据专家成为行业热门职位
本文将介绍信息架构师、数据库设计师、数据所有者、数据管理员、数据库管理员和数据科学家的工作和内容。而根据数据库和企业的规模，可能会将多个配置文件合并到一个工作描述中。

2018-05-16 09:00:24

数据质量数据管理数据科学家
数据分析与机器学习如何为业务安全赋能？
本文给出了几个通过数据分析和机器学习的方法检测业务系统中异常的案例。可以看出由于业务系统的功能不同，其数据源和分析方法有较大的差别。

2018-05-16 08:44:55

业务安全数据分析机器学习
达观数据：知识图谱和 Neo4j 浅析
在当前大数据行业中， 随着算法的升级， 特别是机器学习的加入，“找规律”式的算法所带来的“红利”正在逐渐地消失，进而需要一种可以对数据进行更深一层挖掘的方式，这种新的方式就是知识图谱。

2018-05-16 08:26:39

知识图谱Neo4j
BAT、网易、京东等如何做大数据风控的？
大数据风控目前应该是前沿技术在金融领域的最成熟应用，相对于智能投顾、区块链等还在初期的金融科技应用，大数据风控目前已经在业界逐步普及，从BATJ这样的大企业，到交易规模比较大的网贷平台，再到做现金贷、消费金融的创业公司，都在通过大数据风控技术来控制贷款规模扩张中的风险。

2018-05-16 08:16:24

京东互联网金融
R语言相关关系可视化函数梳理（附代码）
当考察多个变量间的相关关系时，通常将多个变量的两两关系以矩阵的形式排列起来，R提供了散点图矩阵、相关矩阵等多种可视化方案，囊括了众多函数。本文对R语言相关关系可视化的函数进行了初步梳理(全篇框架如下)，后续大家可根据个人需求及函数功能择优选择。

2018-05-16 07:53:51

R函数可视化
企业构建大数据平台的痛点、思路与解决路径
创建大数据平台，是个系统性的工程，并不像简简单单开发一款APP一样，需要深度了解当下以及未来的技术发展。曾几何时，组织多半会选择以增量方式实现大数据解决方案。而并非每个分析和报告需求、大型数据集或来自多个数据源的临时报告执行并行处理的项目，都对大数据解决方案有着重要需求。

2018-05-15 15:26:20

大数据平台 CIO
一篇文章让你知道什么是大数据挖掘技术
大数据如果想要产生价值，对它的处理过程无疑是非常重要的，其中大数据分析和大数据挖掘就是最重要的两部分。在前几期的科普中，小编已经为大家介绍了大数据分析的相关情况，本期小编就为大家讲解大数据挖掘技术，让大家轻轻松松弄懂什么是大数据挖掘技术。

2018-05-14 14:00:15

大数据数据挖掘方法
Kafka Connect如何实现同步RDS binlog数据?
本文将演示如何在E-MapReduce上实现将RDS binlog实时同步到Kafka集群中。实验中使用VPC网络环境，以下实例创建时默认都是在VPC环境下。

2018-05-14 13:51:39

RDS Binlog架构Kafka集群
如何利用大数据和个性化推动网络销售
采用网站个性化服务和使用大数据推动在线销售是每个营销专业人士的想法。人们已经从不知道如何使用大数据的时代转向拥有太多数据，并且不得不将其缩减到其真正需要的一切。那么人们需要什么级别或个性化服务来真正推动销售呢?

2018-05-14 12:48:04

大数据销售企业
数据+进化算法=数据驱动的进化优化？进化算法 PK 数学优化
数据驱动的进化优化是什么，仅仅就是数据 + 优化算法吗?数据驱动的进化优化适用于哪些应用场景?传统的数学优化方法是否迎来了新一轮的挑战。本文将为您深入浅出的解答以上问题。

2018-05-14 12:30:37

数据驱动算法优化
杀熟、窥私，暗黑的大数据能否成就善良？
这篇文章主要罗列了三种应用大数据的案例，在这些巨量的数据背后，可能没有所谓消费行为和用户分析，但却有演变历史的真相和直面苦难的真实;可能没有办法谋求商业模式，但却可以做到高效的犯罪监管。我们期待，在分封制的数字王国里，能出现更多类似于此的大数据解药。

2018-05-14 12:05:15

大数据挖掘数据
教你用Python解决非平衡数据问题（附代码）
本次分享的主题是关于数据挖掘中常见的非平衡数据的处理，内容涉及到非平衡数据的解决方案和原理，以及如何使用Python这个强大的工具实现平衡的转换。

2018-05-14 10:43:53

平衡数据数据分析Python
我分析了上亿条“绝地求生”比赛数据，找到了最强“吃鸡”攻略！
在尝到了落地 3 分钟就被毙、跑不过毒倒在半路上失血致死、站在草丛中被不明方向的子弹狙击而亡、出门舔箱被猪队友当作敌人干掉等 100 种死法之后，我突发奇想：我做数据分析的，怎么就不能给自己弄个独家吃鸡攻略呢？！

2018-05-14 08:33:06

比赛数据攻略
上一页 1 ··· 9899100101102 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服