51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
Hadoop MapReduce如何进行WordCount自主编译运行
上次我们已经搭建了Hadoop的伪分布式环境，并且运行了一下Hadoop自带的例子–WordCount程序，展现良好。但是大多数时候还是得自己写程序，编译，打包，然后运行的，所以做一次自编译打包运行的实验。

2016-09-19 15:14:41

Hadoop Hadoop MapRWordCount
Hadoop集群datanode磁盘不均衡的解决方案
Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，当hdfs出现不平衡状况的时候，将引发很多问题。

2016-09-19 14:52:12

Hadoophdfs磁盘
大数据主流工具，你知道几个？
业内有这样一种说法，SQL虽然在大数据分析领域久经考验，但是无奈长江后浪推前浪，和炙手可热的Hadoop相比，SQL已经过时了。

2016-09-19 14:42:12

大数据SQLPig
大数据”时代并不是掌握数据，而是利用数据
大数据可以来自方方面面，从生活中的购物交易，到工业上的生产制造;从社交网络媒体信息,到企业化管理决策大数据作为目前IT行业最重要的前进方向之一,已经吸引了众多IT企业的目光。面对海量的数据、不断变化的外部环境，企业应该首先从寻求管理模式的创新入手，寻求在“大数据”时代中生存的基础。

2016-09-18 20:39:54

大数据大数据时代
利用“大数据、云计算”提高情报分析以达到反恐
美国国防部长卡特曾赴硅谷招募顶尖科技人才。近年来的信息大爆炸使得五角大楼不得不将目光聚焦高科技硅谷，以达到反恐。美国中央情报局的CTOGusHunt表示，为了提高情报分析能力，他们已经加快了运用云计算的步伐。

2016-09-18 20:02:59

云计算大数据
从此，Kubernetes变得简单易用 原创
大数据公司百分点集体和云知声两家公司，在百度硅谷AI实验室资深科学家王益的协调下，两方合作，一起开发了开源的Kubernetes“发行版”Sextant——实现几乎零操作的全自动安装和部署Kubernetes集群。

2016-09-18 18:27:21

KubernetesDocker
超能访客服务监测管控云平台：让过程监测照进绩效改善
数观科技旗下推出了超能访客服务监测管控云平台，提供服务监测智能化管理的全套解决方案，5M智能管理体系从资源、任务、质量、数据、整改五部分出发致力于帮助企业解决遇到的各类麻烦并带来效率和价值的双重提升。

2016-09-18 18:16:15

监测云
百度运用FPGA方法大规模加速SQL查询
为了实现 SQL 查询加速，百度针对 TPC-DS 的基准测试进行了研究，并且创建了称做处理单元（PE）的特殊引擎，用于在基准测试中加速 5 个关键功能，这包括筛选，排序，聚合，联合和分组，（我们并没有把这些单词都像 SQL 那样大写）。SDA 设备使用卸载模型，具有多个不同种类的处理单元的加速卡在 FPGA 中组成逻辑，SQL 功能的类型和每张卡的数量由特定的工作量决定。

2016-09-18 15:54:57

百度FPGASQL
7个影响数据分析的数据建模错误
在这篇文章中，介绍了人们在数据准备分析建模时出现的一些常见的错误。如果被忽视，这些错误可能会阻碍你的分析，并影响你的见解。 　　

2016-09-16 23:21:51

数据分析数据建模
如何保证Hadoop数据湖不变成“数据洪水”
数据湖的提出距今已经有了几年时间了，特别是在当今时代中，基于Hadoop建立的数据湖在大数据处理中占有的位置越来越重要。

2016-09-16 22:40:25

Hadoop数据湖
数据太大？你该了解Hadoop分布式文件系统
大数据时代来了。当所有人都争吵着这件事情的时候，当所有企业都看好大数据的发展前景的时候，却都很少关注这些数据从哪儿来，我们有没有足够优秀的技术能力处理这些数据。

2016-09-14 23:51:23

大数据Hadoop
智能数据连接世界 原创
2016年9月13日，北京——由国内领先的独立第三方移动数据服务平台TalkingData主办的——“T11 2016暨TalkingData智能数据峰会”在北京中国大饭店隆重召开。国内外各领域的数十位数据专家、行业精英、知名学者齐聚一堂，深入探讨了业界建设性议题，引导行业方向，创造海量商机，堪称数据领域一年一度的行业盛会。

2016-09-14 15:48:23

数据连接
数据资产时代，看亚信如何布局 原创
伴随着大数据时代的悄然来临，对数据的重视提到了前所未有的高度。套上大数据的光环后，原本那些存放在服务器上平淡无奇的陈年旧数一夜之间身价倍增。面对海量数据资产，如何定义、怎样把握?如何盘活数据资产以提高竞争力?

2016-09-14 15:43:01

数据资产
大数据实现“0”到“1” 要分几步走？
大数据有多火?这样的答案可能有千百种，也从反向证明了大数据真的太火，因为所有人都知道。众所周知，在Gartner报告中，常常会看到炒作周期这个词汇。这意味着有很多技术，虽然人人皆知，但是距离实际应用落地还有一段距离，这就是炒作期。

2016-09-13 22:46:41

大数据
大数据时代 银行信息安全如何防护？
互联网的放大效应使公众的容忍度越来越低，尤其是信息安全事件的影响，让银行面临的声誉风险压力倍增。不容乐观的是，在数据大集中已经成为潮流的今天，信息安全风险也在急剧集中，银行重要客户的数据一旦被不法分子利用，产生身份冒充、钓鱼诈骗等违法事件将极难防范。如何既守住信息安全底线，又保障业务健康发展，是摆在众多银行面前的一道难题。

2016-09-13 22:23:52

大数据技术互联网
Spark的三种集群deploy模式对比
Spark有三种集群部署模式，或者叫做集群管理模式。分别是standalone，YARN和Mesos。这三种模式其实都是master/slave模式。

2016-09-13 14:05:24

Spark集群管理模式
亚马逊如何利用大数据练就“读心术”？
精准的推荐、心水的价格、充足的库存以及高效率的配货，在你还未下单之前，亚马逊早已使用“读心术”并作出预测，为你计划好了一整套井井有条的购物体验。作为电商巨头的鼻祖，二十几年来依然占领着电商界前几名位置，亚马逊自家的大数据系统是当之无愧的大功臣。

2016-09-12 17:34:10

大数据预测Hadoop技术
数据资产管理将驱动经济的创新与变革 原创
2016年9月9日，“数据资产管理(DACP)“产品发布会在京召开，此次会议由北京亚信数据有限公司(简称亚信数据)主办，发布了DACP (Data Asset Cloud map)五大核心产品并分享DACP在数据行业领先的实践案例。众多数据资产管理技术专家对亚信数据DACP如何帮助企业和组织对其数据资产进行各种系统性的管理、保证数据资产的安全完整性和对其数据资产进行合理配置和有效利用，从而提高数据资产带来的经济效益，保障和促进各项事业发展等方面进行解读。

2016-09-12 10:32:56

数据管理
12款领先的企业级开源软件 译文
开源社区已为企业用户开发了成百上千个应用软件，而且与专有软件一样，这类软件的质量差别很大。我们为本文选择了12款最流行、最知名的企业级开源应用软件，它们来自不同类别，包括企业资源规划(ERP)、客户关系管理(CRM)、项目管理(PM)、商业智能(BI)和企业服务器软件。这些项目背后的许多企业组织还为想购买它们的企业提供收费支持和服务。

2016-09-12 10:21:40

数据管理
明略数据SCOPA2.0发布：秒级响应客户任务，让业务更快
2016年9月8日，明略数据于北京实友学堂召开SCOPA2.0发布会。SCOPA1.0凭借自身革命性关联关系挖掘技术成为中关村2015年大数据产业唯一产品形态的科技成果，时隔一年，明略数据董事长吴明辉先生发布并介绍了SCOPA2.0升级版及其行业应用成果。

2016-09-09 14:37:01

数据SCOPA情报模式
有关大数据的6大误区
你的组织是否在考虑分析数据的最佳方式？以下是在你采用大数据分析之前，需要注意的有关大数据的6个误区。

2016-09-09 00:12:41

大数据大数据分析误区
大数据服务还是那个大数据服务吗？
目前“人工智能”无疑是最流行的词之一，“大数据”是自2012年以来的流行词之一，现在大大小小的企业服务、论坛上都充斥着有关大数据、人工智能的内容，那么人工智能+大数据的生态模式究竟是怎样的？

2016-09-08 23:47:17

大数据大数据服务
TalkingData马骥：做好技术，赋予大数据新的生命意义 原创
2016年8月26-27日，由51CTO.com主办的【WOT2016移动互联网技术峰会】在北京粤财JW万豪酒店隆重召开。在大会现场，记者采访了TalkingData 研发副总裁马骥，对于数据可视化技术、数字营销等，发表了自己的看法。

2016-09-08 10:23:19

TalkingData大数据
数据湖：大数据游泳的安全方式？
在这篇文章中，专家想澄清数据池是什么，组织是否会考虑使用数据湖，以及他们使用数据湖所面临的挑战，并概述了一些支持数据湖软件工具的发展。

2016-09-07 15:13:54

数据湖Hadoop大数据
如何提高ElasticSearch 索引速度
这篇文章会讲述一些关于索引参数的原理，以及一些其他的思路。

2016-09-07 15:02:03

ElasticSear索引速度
五个角度浅析大数据与BI的区别
不管定义如何不同，大数据与传统BI是社会发展到不同阶段的产物，我们从几下几个纬度来可以迅速的看出两者的区别。

2016-09-07 14:54:19

大数据BI
做数据分析时，你的方法论是什么?
当你完成一份数据分析报告时，不知领导是否有问过你，“你的分析方法论是什么?”。如果分析方法论不正确或不合理，那分析结果参考价值几何呢?

2016-09-07 14:41:43

数据分析数据分析方法论
用R语言实现对不平衡数据的四种处理方法
本文会介绍处理非平衡分类数据集的一些要点，并主要集中于非平衡二分类问题的处理。一如既往，我会尽量精简地叙述，在文末我会演示如何用R中的ROSE包来解决实际问题。

2016-09-07 13:26:25

R语言不平衡数据
大机会?大风险?大忽悠? ——它们有一个共同的名字叫“大数据”
大数据实际上有三个主要的理解：大数据确实带来了大的机会;大数据也引来了大风险;大数据本身非常像大忽悠。

2016-09-07 13:07:55

大数据大数据分析精准营销
开学好成绩!新华三获Hadoop/Spark大数据认证6项第一
开学季来到，新华三集团迎来新学期首轮好成绩：以12项测试6项第一的傲人成绩，通过大数据Hadoop/Spark产品能力认证性能专项测试，并在9月1日2016可信云大会开幕式中获颁证书，成为新华三大数据平台继4月25号基础能力认证之后的又一突破。这标志着新华三在大数据领域领先的技术实力受到业界的一致认可，也预示着新华三在大数据道路上又往前迈进了一大步。

2016-09-06 13:55:54

新华三
大数据：如何将信息转化为洞察力？ 译文
大数据的关键不仅仅是利用数据的所谓的3V（种类、速度和数量）。还需要从更宏观、更整体的视角看待数据如何带来创造价值。

2016-09-06 10:58:31

大数据信息
携程基于Storm的实时大数据平台实践
本文讲解了携程在实时数据平台的一些实践，按照时间顺序来说明我们是怎么一步一步构建起这个实时数据平台的，目前有一些什么新的尝试，未来的方向是怎么样的，希望对需要构建实时数据平台的公司和同学有所借鉴。

2016-09-04 15:14:09

携程实时数据数据平台
Spark体系架构必读
最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “spark-architecture” 这篇博文，有种醍醐灌顶的感觉，从JVM内存分配到Spark集群的资源管理，步步深入，感触颇多。因此，在周末的业余时间里，将此文的核心内容译成中文，并在这里与大家分享。

2016-09-04 14:00:31

Spark
大数据，为什么不是传统BI的简单升级?
大数据的4V特征大家都懂，大数据在量、维度、速度等方面相对于传统BI的改变的确让数据改造世界的能力发生了质的变化, 那么，大数据的“术”于传统BI到底有哪些变化?传统企业需要做哪些改变呢?

2016-09-04 13:53:23

传统BI大数据
帮助贵公司搞定大数据的七个工具 译文
几乎在各行各业，许多公司都在纷纷改用数据驱动的方法。但是虽然许多公司擅长收集数据，理解数据却来得比较困难。本文介绍的这七款工具可助一臂之力。

2016-09-02 16:10:25

大数据工具
一文读懂Hadoop、HBase、Hive、Spark分布式系统架构
机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用户分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理，本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系。

2016-09-01 13:48:18

HadoopHBaseHive
大数据会撒谎？如何戳破大数据的谎言
数据科学家使用统计分析工具深度挖掘数据潜在的内容时经常会遭遇到大数据挖的坑，实际上这些坑并不是只有大数据才有，大自然本身就存在很多虚假的相关性，大数据只是更加剧了这种虚假的相关性。

2016-08-31 22:02:15

大数据数据建模
一切尽在大数据
近几年，互联网行业发展风起云涌，“大数据”炙手可热，大数据作为一种重要的战略资产，已经不同程度地渗透到每个行业领域和部门，其深度应用不仅有助于企业经营活动，还有利于推动国民经济发展。

2016-08-31 17:24:05

大数据分析
【哈佛商评】关于数据分析，管理者的四个常规错误
有公司尝试从巨大的数据中获取实际可用的信息，通过与他们合作，我们归纳了管理者在数据应用上的四个常规错误。

2016-08-31 15:01:46

数据分析大数据
大数据和实时分析的算法分类
如今，大数据技术的发展和进步开辟了收集和传输大量的数据更有效的新方式。这场革命促进了实时算法和方法的研究和发展。

2016-08-31 14:41:31

大数据实时分析算法分类
数据分析师的能力和工具体系
之前我在回答里写过，数据分析师和圣骑士职业很相似，都需要“门门通”。最近，我尝试对数据分析师的能力和工具体系进行梳理，以下内容为一家之言，仅供参考。

2016-08-31 14:33:23

数据分析师工具体系
终极对决：R 与 Excel 在数据分析当中的优劣势对比
Excel是一款不错的数据分析工具，但是，如果你只有这一款工具，则会大大影响你的工作效率。相比之下，R 更好用，而且提供的工具集模块更完整。而缺点在于不是非常易于上手，用户一开始相对要花很多时间学习使用。如果坚持下去，就会有所收获，不仅对数据更了解，还提高了自己的能力...

2016-08-31 14:15:28

R语言Excel数据分析
大数据之父舍恩伯格：大数据的核心要义在于共享
大数据之父舍恩伯格说：“如果信息隔绝，就无法实现大数据带来的洞见，让你有更好的交易和交易决策。因此要分享、开放、透明。这是核心要义。这样才能实现成功。”“建立互信，协同合作，这样受益的是整个世界。”

2016-08-31 13:56:39

大数据电子商务共享
数据科学中最好的5个机器学习API
机器学习API隐藏了创建和部署机器学习模型的复杂性，让开发者能够专注于数据挖掘和用户体验。同时，将机器学习商业化成云服务也是当今的趋势，IBM、Microsoft、Google、Amazon以及BigML等公司都为业务分析师和开发人员提供了自己的机器学习即服务(MLaaS)，最近Khushbu Shah在KDnuggets上发表了一篇文章，介绍了这5个公司的机器学习API。

2016-08-31 07:30:03

数据科学机器学习API
我与分布式机器学习的故事
从毕业加入Google 开始做分布式机器学习，到后来转战腾讯广告业务，至今已经七年了。我想说说我见到的故事和我自己的实践经历，如果你关注大数据，听完我说的故事，应该会有感触。

2016-08-31 07:02:51

机器学习大数据互联网
机器学习应用实例|如何识别标题党?
相信你也遇到过这样的情况：怀着犹如探秘般万分期待的心情，点开一篇文章，结果却发现又一次中了“标题党”的诱饵，成功上钩,下面就讲讲如何准确的识别标题诱饵。

2016-08-31 06:55:45

机器学习标题诱饵
大数据热中的冷思考
时下，大数据热持续升温，大数据一词已成为各种公开场合中最为炙手可热的关键词。大数据热已成为一股汹涌澎湃的潮流，于是乎，各种大数据概念满天飞，人人都在谈论大数据，仿佛你的发言中没有提到大数据，你的成果中没有应用到大数据，那你就彻底OUT了。

2016-08-31 01:30:18

大数据市场大数据应用
Hadoop大数据系统的七大危险信号
大多数企业大数据应用案例尚处于实验和试点阶段，对于少数首次在生产环境部署Hadoop系统的用户来说，最常遇到的就是扩展问题，此类问题往往导致企业因噎废食，终止大数据应用项目。部署和扩展Hadoop系统是一件高度复杂的事情，如果用户能提前对Hadoop扩展可能会遇到的各种问题和危险信号有所了解，就能避免很多“救火”场面。

2016-08-30 14:40:39

Hadoop系统大数据应用
常用大数据术语一览表 译文
大数据有许多新术语，有时不好理解。因此，我们列出了一份大数据术语表，以便大家深入了解。

2016-08-30 11:48:10

大数据术语
大数据背后的神秘公式(下)：“贝叶斯革命”
贝叶斯公式在联邦党人文集作者公案和天蝎号核潜艇搜救中大显身手后(详见大数据背后的神秘公式(上)：贝叶斯公式)，开始引起学术界的注意和重视，而其上世纪八十年代在自然语言处理领域的成功，向我们展示了一条全新的问题解决路径。计算能力的不断提高和大数据的出现使它的威力日益显现，一场轰轰烈烈的“贝叶斯革命”正在发生。

2016-08-30 00:19:30

大数据贝叶斯
上一页 1 ··· 141142143144145 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服