51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9071内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9071 条
自动洞察：大数据的下一个重大转折
我坚持认为具有洞察力的应用是帮助企业高效探究大数据的关键，可以提高决策效率和解决重大问题。为了更好的理解和重视我们开发该应用的重要性，有两件事是很重要的，一是了解大数据大体上发生了什么，二是评估我们使用商业智能系统的经验如何促进我们思考这个应用。

2016-03-04 11:01:09

自动洞察大数据数据分析
为什么可视化数据有一定的误差值？
整个大数据开发利用的闭环中，让大数据能够被感知并看到，是必不可少的一环，可视化的最终目标就是让每一个人都能看到大数据到底是什么。

2016-03-04 10:51:51

数据可视化数据抓取
Spark Streaming 妙用之实现工作流调度器
开发一个完善的工作流调度器应该并不是一件简单的事情。但是通过Spark Streaming，我们也许能简化这些工作。

2016-03-03 15:11:42

Spark Strea工作流调度器
凯宾斯基选择Infor为其部署集团商业智能平台
3月3日，提供美观的行业云应用软件的领先厂商Infor 宣布欧洲最古老的豪华酒店集团——凯宾斯基酒店已开始部署Infor动态企业绩效管理 (d/EPM)系统。

2016-03-03 11:52:27

Infor商业智能
Spark 1.6.0 新手快速入门
随着越来越多的代码贡献者和使用经验，Spark的性能和稳定性在不断提升。本文简单介绍了Spark1.6.0的使用方式，希望对各位初学者有所帮助。

2016-03-02 11:23:34

Spark 1.6.0开源大数据技术
选择 Parquet for Spark SQL 的 5 大原因
Parquet 用于 Spark SQL 时表现非常出色。它不仅提供了更高的压缩率，还允许通过已选定的列和低级别的读取器过滤器来只读取感兴趣的记录。本文将为您详细介绍使用 Parquet for Spark SQL 优势的 5 大原因。

2016-03-01 11:11:38

ParquetSpark SQL列式存储
职业生涯提升计划：迈入数据科学新世界 译文
数据科学已经成为专业人士不容忽视的一大全新发展机遇，并能够为其带来相当可观的薪酬水平。与其它早已成熟的传统技术不同(例如数据库管理)，数据科学显然是一类全新领域。

2016-03-01 09:27:54

数据科学IT职业薪酬
Airbnb 数据基础设施与其背后的哲学
在 Airbnb 我们提倡数据文化并使用数据作为关键输入去决策。跟踪指标，通过实验验证假设，建立机器学习模型和深入挖掘商业洞察是我们快速聪明前进的关键。经过多年的进化，我们觉得数据基础设施服务稳定，可靠，可扩展，因此是一个很好的机会来分享我们的经验给社区。

2016-02-29 13:17:14

Airbnb数据基础设施Hadoop 集群
吃惊吗？原来这才是大数据的大问题！ 译文
据Dresner咨询服务公司的一项新调查显示，几乎没人能说清大数据到底是什么鬼;而且参与调查的所有公司，也几乎都没用大数据做真正有意义的事儿。是不是觉得很吃惊?

2016-02-29 10:52:02

大数据数据基础设施大数据应用
7种最常见的Hadoop和Spark项目
Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，以下所列的是最常见的七种项目。

2016-02-26 10:20:17

HadoopSpark大数据项目
Alluxio1.0发布：API顺畅衔接大数据应用与存储 译文
作为Tachyon的化身，Alluxio已经开始为多个大数据项目提供支持，而Spark则正是其中的典型代表。

2016-02-26 09:48:49

APIAlluxio存储
雅虎开源人工智能独门武器 CaffeOnSpark
Yahoo 在科技方面的实力大概鲜有人知。事实上开源 Hadoop 就是 Yahoo 孵化的。2月25日，Yahoo 发布了 CaffeOnSpark 人工智能的源代码，每个学术研究人员或是大公司都可以使用或是加以修改。

2016-02-26 09:43:42

雅虎人工智能开源
50PB海量数据排序，谷歌是这么做的
为什么谷歌工程师喜欢测试排序?因为很容易产生任意规模的数据，也很容易验证排序的输出是否正确。最近，他们向外界披露了过去几年的测试数据和经验总结，特别是50PB海量数据的排序，对于关注数据处理的技术人员来说很有借鉴意义。

2016-02-25 10:46:33

数据排序数据处理谷歌
MapReduce朝不保夕的江湖地位
MapReduce已经不再像以往那么重要，就像一个古老的蒸汽引擎被迫让位于更时尚的柴油机车一样。用一位发言人的话说，“摆脱MapReduce，尽快和尽可能多地摆脱。”

2016-02-25 10:09:15

MapReduceHadoopHDFS
如何快速使用大规模机器学习的核心技术 原创
面向机器学习的可用框架迎来爆发式增长。巨头们纷纷将最为复杂的技术从机器学习中抽象出来，开源给开发者和学术研究人员，在帮助更多人的同时，使自身技术方案不断得到完善和进步。

2016-02-25 09:31:02

机器学习微软DMTK分布式算法
这些数据科学技能，才是老板们最想要的
最近，人们在CrowdFlower上针对Linkedin的3490个数据科学职位做了分析，并对最常出现的21个技能进行了排序。有些结果并不那么令人惊讶，然而有些却有点让人摸不着头脑。

2016-02-24 09:47:49

数据科学SQLHadoop
Hadoop 集群管理上的新“绝招”
做一个应用程序性能管理系统是一回事——而做一个可以动态地优化系统的实时控制器是另外一码事。

2016-02-24 09:38:25

Hadoop集群管理大数据技术
Spark 2.0面纱半揭，相关细节引人遐想 译文
在上周召开的Spark东部峰会上，Databricks公司CTO兼Spark创始人Matei Zaharia谈到了即将出炉的Spark 2.0，其将包含三大核心转变。

2016-02-24 09:29:38

Spark大数据Spark 2.0
数据分析师的30种死法
作为数据分析师，下面这些死法有没有戳中痛点？记住，“数据虐我千百遍，我待数据如初恋……”

2016-02-23 09:59:14

数据分析数据分析师数据管理
整天看用户埋点数据，知道数据是咋来的吗?
本文简述了埋点数据上报、统计的大致流程，每个过程中还有很多细节要解决，如后台日志乱码问题、客户端异常导致数据丢失等。一旦数据出现问题，经常需要联系各方人员定位原因。在此呼吁广大的产品大虾一定要关心、爱护为你做统计需求的程序猿，他们上辈子都是偷了蟠桃的孙悟空。

2016-02-22 11:59:32

埋点数据报表hive
走近Palantir：最神秘的大数据公司
Palantir的创始人为Peter Thiel, Alex Karp, Joe Lonsdale, Stephen Cohen和Nathan Gettings。作为一家成立于2003年(实际开始运作是在2004年)的大数据公司，Palantir即使在成立10年后的2014年其实也鲜为人知，其神秘程度可见一斑。

2016-02-22 11:34:17

大数据Palantir硅谷
Sqoop：SQL与NoSQL间的数据桥梁
很多企业中，业务数据都是存放在MySQL数据库中的，当数据量太大后，单机版本的MySQL很难满足业务分析的各种需求。此时，可能就需要将数据存入Hadoop集群环境中，那么本文的主角Sqoop便适时的出现了，用来架起SQL与NoSQL之间的数据桥梁。

2016-02-22 10:10:48

SqoopSQLNoSQL
数据挖掘新人的开荒宝典
随着互联网的发展，人们的行为方式被大幅改变，大数据时代已经来来临。近年来，数据挖掘引起了信息产业界的极大关注，大数据被广泛使用，并转换成我们需要的信息和知识。如果你刚刚涉足数据挖掘领域，就快快开启这本宝典开荒吧！

2016-02-22 09:41:16

数据挖掘算法大数据
他说数据科学家就是做算术的，还说这是件好事 原创
如果对当上数据科学家不敢奢望，如果我告诉你，有一些看上去站着说话不腰疼的人说，“数据科学家大多只做算术，这是件好事”，你信不信？

2016-02-19 16:11:54

数据科学家数据科学大数据
母婴电商网站是如何进行个性化推荐的
母婴行业可能是用户的需求变化最快的领域。用户在不到一年的时间内，可能就会经历从备孕者、孕妇到宝妈的变化。母婴相对一般的电子商务网站有哪些特点？在移动端成为主流的趋势下，母婴电商网站如何做好用户的个性化推荐呢？

2016-02-19 10:16:48

母婴个推电商
Spark 是否真的比 MapReduce 技高一筹
作为一个开源的数据处理框架，Spark 是如何做到如此迅速地处理数据的呢?秘密就在于它是运行在集群的内存上的，而且不受限于 MapReduce 的二阶段范式。这大大加快了重复访问同一数据的速度。听上去好像 Spark 已经注定要取代 Hadoop MapReduce 了。但真的是这样吗?

2016-02-19 10:05:01

SparkMapReduce数据处理
Teradata天睿公司再度蝉联数据仓库和客户价值的领导者
Teradata再度被评选为数据仓库技术的全球领导者。该分析机构发布数据仓库市场格局年度报告，评估全球最重要的数据仓库厂商。

2016-02-18 15:47:31

Teradata
组成数据分析师完整知识结构的七大板块
大数据时代，数据分析对于企业决策和发展起到越来越重要的作用。作为一个较高层次的数据分析师，需要具备完整的知识结构。本次从七个版块进行归纳。

2016-02-18 10:36:07

数据分析数据分析师数据管理
谷歌发布TensorFlow Serving：机器学习模型应用于产品更方便
谷歌于2月17日发布了TensorFlow Serving，如谷歌所说，有了这样的系统并不仅仅意味着开发者能够将其构建的模型更快的应用到产品中，而且还能够实验不同的算法和模型，并且仍保持稳定的结构。

2016-02-18 10:32:39

谷歌TensorFlow 机器学习
2016年大数据到底还算不算个 “东西” （附2016 大数据版图）
在喜新厌旧的技术初创企业界，已有 3年 历史 “大数据” 听起来似乎已经过气了。抛开不可避免的炒作周期曲线态势不管，我们的 “大数据版图” 已经进入第 4 个年头了，趁这个时候退一步来反思一下去年发生了什么，思考一下这个行业的未来会怎样是很有意义的。

2016-02-17 10:32:09

大数据Hadoop大数据版图
利用 SMACK 堆栈构建可扩展数据处理平台
数据处理平台架构中的SMACK组合即Spark、Mesos、Akka、Cassandra以及Kafka。在今天的文章中，我们将着重探讨如何利用SMACK堆栈构建可扩展数据处理平台，以及SMACK堆栈的卓越能力体现在哪些方面。

2016-02-17 09:55:25

SMACK数据处理可扩展架构
机器学习与语义搜索，谷歌的终极目标何在？
过去几年中，谷歌致力于打破不同语言间的隔阂并且解决其机器算法所面临的问题。但是这一努力的终极目标是什么呢：谷歌是否想要完全地理解人类思维所传达的意图和微妙语义呢?或者说这只是其技术发展中的一次探索?

2016-02-17 09:44:45

谷歌机器学习语义搜索
聊天机器人的“高情商”炼成术
近年来，聊天机器人受到了学术界和工业界的广泛关注，基于聊天机器人系统的应用也层出不穷。相信在不久的将来，一个能够让人们与之无所不谈的高“情商”聊天机器人将走入我们的日常生活，成为我们的朋友、同事甚至是家人。

2016-02-16 14:46:33

聊天机器人机器学习自然语言
Hadoop之父Doug Cutting眼中大数据技术的未来
2016,Hadoop走过第十个年头。Hadoop之父Doug Cutting1985年毕业于美国斯坦福大学，早期的他并不是一开始就决心投身IT行业的。他如何成为Hadoop之父？Hadoop的发展和未来期待又是如何的？

2016-02-16 14:30:00

HadoopDoug Cuttin大数据
Hadoop/Spark生态圈里的新气象
Hadoop绝对没有消亡，不过我确信，知名研究机构Gartner的下一篇文章会这么认为。但Hadoop绝不再是原来的Hadoop。现在你需要知道这个新的Hadoop/Spark生态圈里面有什么。

2016-02-16 13:56:00

HadoopSpark生态圈
事实上，Spark是一项非常值得学习的技术
如今，诸如亚马逊、eBay和雅虎等公司都开始采用Spark技术。许多机构将Spark部署在上千个节点的集群中。事实上，Spark是一项非常值得学习的技术。

2016-02-16 10:34:42

Spark大数据数据处理
助你玩转机器学习技术的十三套框架 译文
在今天的文章中，我们将共同了解十三款机器学习框架，这些框架中最值得关注的特性，在于它们正致力于通过简单而新颖的方式应对与机器学习相关的种种挑战。

2016-02-16 09:58:38

机器学习框架大数据
阻碍大数据项目实施的四大绊脚石
在实施大数据时，往往有许多绊脚石阻碍项目的进，比如复杂的软件、懂技术的员工不够多、投资回报率难以平衡等等 。我们究竟该如何解决在实施大数据过程中出现的如上障碍?本文提到的4大战略可以助你将走向大数据之路的绊脚石们一扫而光!

2016-02-15 10:30:24

大数据大数据实施实施战略
随机世界与大数法则中渗透出的概率的意义
在最终的分析中，所有知识皆为历史；在抽象的意义下，所有科学皆为数学；在理性的世界里，所有判断皆为统计。

2016-02-15 09:49:21

随机世界大数法则概率
提升R代码运算效率的11个实用方法
R 是一款优秀的开源统计应用语言，它直观、易用、低成本，而且还有庞大的社区支持。但是当我们利用R语言处理大型数据集时，for循环语句的运算效率总是非常低。本文将介绍几种方法，帮助你以轻松地处理1亿行以上的数据集。

2016-02-15 09:25:00

R语言运算效率大数据
【专题】可视化技术 展现大数据之美 原创
想要理解大数据，使之更贴近大多数人，最重要的手段的之一就是数据可视化。数据可视化标识导向系统，包括文字的，如街头的路标指引你到高速公路，还有象征的，如颜色、大小或位置的抽象元素传达的信息等。

2016-02-02 16:07:32

可视化大数据数据可视化
Cloudera：2016年Hadoop的三大预测
众所周知，2015年又是Apache Hadoop标志性的一年。就在我们认为2015年就这样过去了，真正的Hadoop时代却来临了，我们有很多事情需要继续做下去。我们看到Apache Spark已经成为主流 ，Kudu(孵化中)的全新储存能力也加入进来，安全也更加卓越。难以想像后面还会有什么，但这正是Hadoop的美妙之处：永不止步、无限可能。至于结果，我们总是惊奇地拭目以待。

2016-02-01 15:32:03

HadoopCloudera
数据挖掘领域十大经典算法
本文介绍了ICDM早前评选出的数据挖掘领域的十大经典算法。便拿出一种来都可以说，它在数据挖掘领域都产生了极为深远的影响。让我们通过本文了解一下。

2016-01-29 11:00:55

数据挖掘算法大数据
美团是如何通过优化搜索排序提升转化效果的
和传统网页搜索问题相比，美团的搜索排序有自身的特点——90%的交易发生在移动端。一方面，这对排序的个性化提出了更高的要求；另一方面，我们由此积累了用户在客户端上丰富准确的行为，经分析获得用户的地理位置、品类和价格等偏好，进而指导个性化排序。

2016-01-29 10:39:35

排序搜索美团
这些大酒店用大数据和分析技术对我们做了什么？ 译文
酒店和酒店服务业也许刚开始使用大数据，但是它有令人羡慕的数据数量和种类可供利用。从订房那一刻起到退房那一刻，客户留下的第一条数据痕迹，都被分析人员开始认真地转变成可付诸行动的洞察力。

2016-01-29 10:05:13

酒店服务业大数据大数据分析
Java程序员使用的20几个大数据工具
今天我们就要说说大数据。根据维基百科，大数据是数据集的一个广义的术语，并且该数据集是如此庞大和复杂，以致于传统的数据处理应用程序无法胜任。

2016-01-28 14:39:04

大数据工具
果断收藏！六大主流大数据采集平台架构分析
大数据采集的挑战越来越突出。本文中我们将讨论几种流行的数据收集平台，它们大都提供高可靠和高扩展的数据收集。大多平台都抽象出了输入，输出和中间的缓冲的架构。利用分布式的网络连接，大多数平台都能实现一定程度的扩展性和高可靠性。

2016-01-28 10:26:59

大数据平台大数据采集架构分析
Spark Streaming 的玫瑰与刺
玫瑰篇主要是说Spark Streaming的优势点，刺篇就是描述Spark Streaming 的一些问题，做选型前关注这些问题可以有效的降低使用风险。说人话：其实就是讲Spark Streaming 的好处与坑。

2016-01-28 10:11:30

Spark StreaSpark大数据平台
大数据的六大人工智能变现方式
人工智能领域的一些理论和比较实用的方法，已经开始用于大数据分析方面，并显现出初步令人振奋的结果。至此大数据的价值变现潜能开始逐步被人工智能释放。同时，大数据技术的发展也将在为人工智能提供用武之地的同时，唤醒人工智能巨大的潜力，从而使这两个领域的技术和应用出现加速发展的趋势。

2016-01-27 13:54:21

大数据人工智能变现
已经证实提高机器学习模型准确率的八大方法
我从实践中学习了到这些方法。相对于理论，我一向更热衷于实践。这种学习方式也一直在激励我。本文将分享 8 个经过证实的方法，使用这些方法可以建立稳健的机器学习模型。希望我的知识可以帮助大家获得更高的职业成就。

2016-01-27 13:37:53

机器学习数据模型算法
上一页 1 ··· 146147148149150 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服