鸿蒙开发者社区

WOT技术大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

全部课程厂商认证 IT技术 25年5月软考 PMP项目管理免费题库

文章资源问答课堂专栏直播

51CTO

鸿蒙开发者社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

鸿蒙开发者社区订阅号

51CTO软考

51CTO学堂APP

51CTO学堂企业版APP

鸿蒙开发者社区视频号

51CTO软考题库

账号设置退出

大数据

9071内容

关注

大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。

文章博文帖子课程

共 9071 条

用Hadoop，还是不用Hadoop？

当人们提到“大数据”或是“数据分析”等相关问题的时候，会听到脱口而出的回答：Hadoop！实际上Hadoop被设计和建造出来，是用来解决一系列特定问题的。对某些问题来说，Hadoop可能会是一不合适的解决方案。关键是要认清你拥有的各种资源，并且理解想要解决的问题的本质。

2013-10-15 10:18:17

Hadoop 分布式系统大数据

Etu 知意图，用 Hadoop 帮助商业智能实践“全数据”

2013年9月，由亚洲原生 Hadoop 领航者 Etu 知意图缔造的 Etu 知意图 Hadoop 大数据一体机，在《计算机世界》主办的“大数据时代的商业智能”高峰论坛上，获得了主办方颁发的“大数据优秀产品奖”，共同获奖的还有DELL、华为、浪潮、SAS等知名业界友商。

2013-10-14 17:48:19

知意图商业智能

Hadoop和Web 2.0可能让磁带“东山再起”

在电子计算机出现的时候，磁带就出现了，现在，磁带仍然用于很多类型的长期存储中，但它在基于web的应用中并没有发挥太多作用。当消费者到社交网站查看旧照片时，这些照片很有可能存储在低成本的磁盘上，不过，Facebook现在正在试图将这种类型的数据进行闪存。

2013-10-14 09:22:50

Hadoop Web 2.0 磁带

Twitter数据流可用于预测流感爆发

Google 早在 2008 年推出了“流感趋势”网站。它建立的假设基础是：人们在遭受疾病困扰时，会比在身体健康时，花更多的时间搜索疾病相关内容。因此，通过分析一个国家，在特定时期的流感相关搜索量，便可以推算出病毒的传播情况。

2013-10-12 12:56:46

Twitter 数据流大数据

从应用角度谈新浪微博Redis服务平台

Redis不是比较成熟的Memcache或者Mysql的替代品，是对于大型互联网类应用在架构上很好的补充。现在有越来越多的应用也在纷纷基于Redis做架构的改造。

2013-10-10 09:05:26

新浪微博 Redis hadoop

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Hadop是一种分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。

2013-09-27 11:14:09

Ubuntu 12.1 Hadoop 1.2.集群

DB2 10.5 BLU：Hadoop和内存数据库杀手来临?

在最近发布的DB2更新版本中，IBM已经加入了一套统称代号为BLU的加速技术，承诺让这个古老的数据库管理系统更适合于运行大型的内存数据分析工作。

2013-09-24 10:23:04

DB2 10.5 BL hadoop

Zettaset努力为Hadoop大数据加密

在Zettaset工作的安全架构师埃里克•默里表示，公司管理Hadoop集群的Orchestrator套件正在增强，包括建立基于Hadoop数据分区加密的对称密钥管理服务器方式。他指出，此选择不瞄准字段级加密，但将允许安全管理者为储存在Hadoop数据库的数据建立一个自动加密方法。

2013-09-23 13:54:05

Zettaset Hadoop 大数据

别老扯什么Hadoop了，你的数据根本不够大

本文原名“Don’t use Hadoop when your data isn’t that big ”，出自有着多年从业经验的数据科学家Chris Stucchio，纽约大学柯朗研究所博士后，搞过高频交易平台，当过创业公司的CTO，更习惯称自己为统计学者。对了，他现在自己创业，提供数据分析、推荐优化咨询服务，他的邮件是：stucchio@gmail.com 。

2013-09-23 10:36:17

Hadoop 大数据

Hadoop就是大数据应用又何妨

有关大数据，“奥巴马连任总统和大数据、2009年谷歌在甲型H1N1流感爆发前几周成功预测，公共卫生部门震惊、美国折扣店零售商塔吉特与怀孕预测、UPS快递最佳行车路线和汽车修理预测、亚马逊大数据书评推荐下调战胜专家团……”

2013-09-23 09:27:43

Hadoop 大数据

打造顶级大数据团队的几个偏方

数据分析团队多元化的优势在大数据众包平台Kaggle上得到最佳体现。在那里，不乏天文学家、对冲基金金融工程师、经济学家以及数学家甚至律师提出能击败企业内部数据分析团队的更好的分析方法/算法。

2013-09-22 10:26:06

大数据大数据团队

大数据时代新技术改变保险定价模式

“近年来，保险（和讯放心保）行业发展的外部环境发生了一些新的变化，人口结构、技术创新、金融产品融合等都给保险业带来新的挑战和机遇。”

2013-09-18 13:57:00

大数据时代

VMware王蔚东：Hadoop虚拟化大有可为

Hadoop作为一项技术，目前确实非常流行。王蔚东老师介绍说，国内的开发者和试用的企业已经有了很多了解，搞的比较好的发行版有MP/R, Cloudera;Horntworks;常去他们的网站会得到比较新的知识，另外大家也都别忘了Apache Hadoop社区，上面有最新的进展。

2013-09-18 10:53:40

Hadoop虚拟化

大数据“美好时代”来临运营商该如何利用

大数据市场前景广阔。市场研究公司MarketsandMarkets最新发布的一份报告预计，从2013年到2018年，全球大数据市场将会出现年均26%的增长率，即从今年的148.7亿美元增长到2018年的463.4亿美元。

2013-09-17 10:50:42

Hadoop运维记录

Hive是目前应用最多最广的SQL on Hadoop工具，近期很多专业的大数据公司推出了很多新的，基于列式或者内存热数据的SQL工具，像Impala，Tez，Spark等等，但是Hive仍然是目前使用率最高和普及面最广的SQL on Hadoop的工具。在以前淘宝罗李的报告中，淘宝90%的业务跑在Hive上面。

2013-09-16 11:15:31

大数据也有西大荒：这个行业有点乱

大数据已经发展到了一个关键阶段。到 2017 年，整个大数据市场将增长到 500 亿美金，但很不幸 55% 的大数据项目都是失败的。与机遇同在的是炒作和不实的信息，我们正处在大数据的西大荒阶段。

2013-09-16 11:04:23

大数据大数据发展

大数据产业未来的瓶颈在哪里？

通过对大数据产业链的分析，我们可以清楚地看到，在大数据产业链的各个生产环节中，各大公司都已开占位，随着高性能计算机、海量数据的存储和管理的流程的不断优化，技术能够解决的问题都终将不会成为问题。

2013-09-16 10:18:06

大数据时代互联网企业比金融机构更有优势？

“在大数据时代，很多互联网公司如果搭建金融服务会比现在的金融机构更有优势。”宏源证券研究所副所长易欢欢说。

2013-09-16 10:12:52

达沃斯上演首场辩论会:大数据还是大忽悠

本届夏季达沃斯论坛,一场关于“大数据还是大忽悠?”的论坛辩论会昨日掀起了会场里的一个小高潮。4位“辩手”精彩的演讲使得现场笑声、掌声、敲桌鼓励声连连响起。最终由北大副教授苏萌和日本科学技术担当相山本太一联手向人们展示了大数据未来发展和现实操作中的巨大能量,一举扭转了与会者的观点。

2013-09-13 10:37:59

银行业须直面“大数据”挑战

日前，某互联网安全中心发布重大安全警报称，“超级网银”跨行账户管理功能已成为黑客攻击目标，近期全国连续出现多起银行客户被骗案例。

2013-09-13 10:27:52

大数据银行业

大数据时代的商业智能高峰论坛成功召开

继移动互联、云计算之后，大数据再次挑动整个IT产业的神经。这场发端于互联网企业的草根技术让我们可以以全新角度重新审视数据资产，更让潜藏在这些数据中的商业价值前所未有地得到发挥。大数据让“智能之门”从来没有像现在这样距离我们这么近。

2013-09-13 10:19:04

地理空间可视化为大数据注入活力

大数据，是当下IT界热议的话题之一。高容量、高速度、多类型等它的特点，数据的管理、数据的扩充以及数据的展现则是它价值的三个方面。这其中如何把数据很好的呈现出来，从而对其进行挖掘，是所有开发者共同关注的话题。数据呈现的方式多种多样，将大数据进行地理空间可视化，就是其中重要的一种。

2013-09-13 10:11:22

互联网金融还是大数据金融

近来，颇有几个新名词在市面上流行，诸如“互联网金融”，“信息消费”之类。这些新名词并非产自概念日日翻新的互联网业，却来自传统金融业甚至政界，其气势之大，梦想之美，内涵之广，投入之多，逻辑之混乱，可行性之差，似乎值得一辨。

2013-09-11 16:40:35

互联网金融大数据金融大数据

Spark：一个高效的分布式计算系统

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

2013-09-11 16:02:00

Spark 分布式计算系统

教你怎样玩转千万级别的数据

大数据处理是一个头疼的问题，特别当达不到专业DBA的技术水准时，对一些数据库方面的问题感到无奈。所以还是有必要了解一些数据库方面的技巧，当然，每个人都有自己的数据库方面的技巧，只是八仙过海，所用的武功不同而已。

2013-09-10 10:20:12

数据大数据大数据应用

Twitter发布Storm-Hadoop混合系统

Twitter 博客发文公布了Summingbird，公布细节的技术成分很大。但是，如果你想想Twitter 如何运行的，本质问题是很容易理解的。像Trending Topics(话题趋势)和搜索一类的服务需要实时数据处理才会有用。但是最终还是需要准确性或许还要做一些深度分析。Storm有点像医院里的治疗类选科，而Hadoop则是长期患者护理。

2013-09-05 09:47:35

Twitter Summingbird 开源

MongoDB升级Hadoop连接器新增Hive支持

也许很多人没有发现，MongoDB和Hadoop在过去几年里已经变得非常流行。MongoDB之所以成为很多网络和移动应用的业务数据库，是因为它支持JSON文件类型;Hadoop也成为很多公司大数据处理和分析的平台，尤其是大型网络公司和财富500强企业。

2013-09-02 17:24:54

MongoDB Hadoop连接器 Hive

海量数据相似度计算之simhash和海明距离

过采集系统我们采集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。

2013-08-29 14:28:58

海量数据 simhash

大数据时代的商业智能

在大数据概念面世之前，商业智能（BI）几乎是我们进入“智慧世界”的不二选择，然而，价格不菲的数据库、数据仓库、ETL等工具共同构筑的高门槛挡住了很多企业一探究竟的脚步，而数据规模的爆炸式增长更是加高了这个门槛，让企业在获得“智慧”的投入成本越发高企。

2013-08-29 11:24:31

迎接商业智能3.0时代

继移动互联、云计算之后，大数据再次挑动整个IT产业的神经。这场发端于互联网企业的贫民技术让我们可以以全新角度重新审视数据资产，更让潜藏在这是数据中的商业价值前所未有地得到发挥。大数据让“智能之门”从来没有像现在这样距离我们这么近。

2013-08-29 11:21:05

社会化海量数据采集爬虫框架搭建

随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。

2013-08-27 13:44:49

爬虫框架数据采集

关于Hadoop的六大误解

Hadoop是一种用于存储和分析大型数据集开源软件框架，可处理分布在多个现有服务器中的数据。Hadoop适合处理来自手机、电子邮件、社交媒体、传感器网络和其它不同渠道的多样化、大负荷的数据，因此通常被认为是一种大数据操作系统。

2013-08-23 10:42:03

有关Hadoop的六大误解

Hadoop是一种用于存储和分析大型数据集开源软件框架，可处理分布在多个现有服务器中的数据。Hadoop适合处理来自手机、电子邮件、社交媒体、传感器网络和其它不同渠道的多样化、大负荷的数据，因此通常被认为是一种大数据操作系统。

2013-08-23 10:18:06

当商业智能遇上大数据

虽然眼下各家关于大数据的宣传重点各有不同，但描绘的前景基本相同，即通过数据探查、数据分析及数据展示等相关技术，让我们可以从海量数据中很快找到新的商业机会，或者做出更正确的决策。

2013-08-22 11:08:27

大数据商业只能 Hadoop

大数据：从开源告诉你身边的IT故事

最近我们Team利用Dream分布式计算平台，做了这样一件事情，将Github的大量数据通过爬虫抓取下来，通过分析后，我们抽取最近一年中部分的开发者和项目信息，得到了如下有趣的信息，故分享之，数据原汁原味，无人工干涉。(感谢Iveely Team 所有成员的付出)

2013-08-22 10:56:34

初窥InnoDB的Memcached插件

前些年，HandlerSocket的横空出世让人们眼前一亮，当时我还写了一篇文章介绍了其用法梗概，时至今日，由于种种原因，HandlerSocket并没有真正流行起来，不过庆幸的是MySQL官方受其启发，研发了基于InnoDB 的Memcached插件……

2013-08-21 15:47:05

InnoDB Memcached Memcached插件

大数据时代如何保证hadoop安全

Jon Clay说，Hadoop其实是一个软件库，由于这个软件库是开源的，所以安全措施比较差，突出表现在以下几个方面。

2013-08-20 09:26:03

大数据时代 hadoop

构建Hadoop安全模型让大数据安全落地原创

构建Hadoop的安全模型可采用分层方式进行。在最外层必须进行良好的访问控制，确保只有有相关权限的人才可访问Hadoop数据；第二层是网络威胁防御，设定相关机制，防止网络受到入侵；第三层是应用层程序升级，确保没有漏洞；第四层是数据保密，防止数据被窃取；第五层是保证数据的完整性。

2013-08-19 18:22:55

大数据 Hadoop 趋势科技

美国军方厉查大数据监控技术“反噬”自身风险

美国国家安全局(NSA)“棱镜”计划的曝光令美国民众谈“监”色变，但如今五角大楼也对大数据带来的威胁提高警惕。美国《外交政策》杂志8月12日刊文称，一方面美国政府安慰公众不必对通信数据搜集计划感到恐惧，另一方面国防部则担心敌对势力使用相同手段威胁美国国家安全，由此呈现出带有讽刺性的情景。

2013-08-15 10:13:51

大数据监控

大数据吹响智慧农业前进的号角

据相关报告显示，世界人口到2050年将达到90亿。目前，农业生产力与50年前相比提高了三倍，但土地使用量仅比过去提高了12%。尽管如此，据联合国粮食及农业组织预测，粮食生产力必须提高60%才能应对人口快速增长带来的负担。

2013-08-12 09:39:37

大数据大数据农业

你的隐私数据可以卖钱啦！

互联网已经固定的商业模式：大公司通过收集用户的隐私数据来为企业提供收费服务以支撑公司发展，同时以免费的网络服务来补偿用户。想想看，Facebook、百度、Google 等网站都是这样的模式，用户免费用产品，但是无法得到看得见的实惠。

2013-08-02 16:41:37

大数据个人数据隐私数据

Hadoop虚拟化影响大数据存储 SAN成优选？

大数据时代，Hadoop将会会大规模部署于企业之中。VMware新的vSphere Big Data Extensions (BDE) 将其开源项目Serengeti商业化，使企业管理员能够随心所欲地玩转虚拟Hadoop集群。

2013-08-02 10:47:56

Hadoop 大数据存储 SAN

比大数据还大的是什么？

大数据，大数据，大数据。我没有在学唐僧念经，而是近来这个词实在是太热门了，在我耳边余音不绝。看到一个略带批判主义的信息图，审视拷贝数据的体量。

2013-08-01 14:03:50

大数据比大数据还大更大的数据

深入理解Hadoop集群和网络

本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群，那么我希望你能写下有价值的评论。

2013-07-31 10:04:42

hadoop Hadoop集群集群和网络

将OpenStack部署到Hadoop的四种方案

随着企业开始同时利用云计算和大数据技术，现在应当考虑如何将这些工具结合使用。本文从一些基础知识入手，将 OpenStack 私有云和 Apache Hadoop 环境结合在一起产生的显著的协同效应

2013-07-26 16:38:54

OpenStack Hadoop

科技发展要带我们去向何处原创

今天上海举行的甲骨文全球技术大会上，我听到的最有启发性的演讲之一来自神州数码工程研究院院长谢耘的IT转型与智慧城市发展主题演讲。

2013-07-24 23:49:08

甲骨文全球大会2013 云计算智慧城市

从安全隐患带来的商机来看，Hadoop同样很美

Hadoop，作为被大肆宣传的大数据利器，设计初衷是为搜索引擎建立网页索引，而不是处理信用卡号，所以安全并不是其重点考虑的问题。基于这个原因，许多企业对Hadoop都是浅尝辄止。目前，包括Cloudera、Intel在内等多个Hadoop发行版厂商，都在实行或制定安全方面的计划。

2013-07-24 09:33:46

Hadoop 安全加密

独家提供：最具有价值的Hadoop Summit 2013资料下载_开发技术周刊第094期_51CTO.com

2013-07-23 16:55:31

开发技术周刊

数据分析≠Hadoop+NoSQL，完善现有技术的10条捷径

如果得到正确的应用，Hadoop确实能从根本上提升你公司的业务，然而这条Hadoop的应用之路却充满了荆棘。另一个方面，许多企业(当然不是Google、Facebook或者Twitter)也没有做大数据分析所需要的巨型集群，他们纯粹是被“大数据”这个热门的词语给吸引的。

2013-07-22 09:33:56

NoSQL 大数据 Hadoop

Hortonworks CTO：Hadoop的现在和将来

Hortonworks公司，由Yahoo和Benchmark Capital于2011年7月联合创建。在激烈的市场环境中，与其他竞争者相比Hortonworks有着自己的优势。出身于名门Yahoo!，Hortonworks拥有着许多Hadoop架构师和源代码贡献者，这些源代码贡献者以前均效力于Yahoo，而且已经为Apache Hadoop项目贡献了超过80%的源代码，Hortonworks这样说道。

2013-07-19 11:00:36

上一页 1 ··· 167 168 169 170 171 ··· 182 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区 AI.x社区

教育

51CTO学堂精培企业培训 CTO训练营