51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
到底哪些系统组件应该进行日志记录? 译文
当然，日志作为解决问题的重要参考，一般来说自然是越多越好。不过收集及存储日志数据都会带来成本，因此今天我们将探讨如何找到正确的日志记录平衡点。

2016-06-01 11:27:24

记录微服务DevOps
星星之火渐呈燎原之势：Spark 2.0预览版重磅来袭 译文
Apache Spark 2.0即将正式与广大用户见面。虽然目前其预览版只向Databricks云产品订阅用户开放，但考虑到Spark峰会即将于下个月召开，预计Apache Spark 2.0的全面降临也将为时不远。在1.x系列时代，Apache Spark的发展速度相当快，倾向于通过小版本更新推出各类新功能。而在首次大版本升级当中，我们相信Spark 2.0将带来真正具有突破性的变化与更加关键的新功能设计。

2016-05-31 10:21:45

SparkSpark 2.0并行计算
【51CTO 网+】如何用数据驱动用户体验 原创
5月28日，近百位移动开发者再次相聚于【51CTO 网+】线下公开课现场，与火线数据创始人兼CEO、前小米数据工场负责人卢学裕、神策数据CTO曹犟、AdMaster资深架构师刘喆三位移动领域数据分析大牛一起，聚焦如何用数据驱动用户体验，大话数据之美。

2016-05-28 19:32:49

51CTO网＋数据挖掘
Strata +Hadoop World 北京首届会议已经开始注册
Strata +Hadoop World即将在8月3-6号在北京举行。

2016-05-27 15:31:32

Strata +Had
拥抱开源！解析IBM Power8与Hadoop的不解之缘 原创
IBM一直将开源合作视为创新驱动力，倡导、参与和支持Linux和开源软件，并将开源技术融入满足企业客户需求的各种方案中。IBM是大数据市场中规模最大的供应商。近10年来，他们投资超过150亿美元来开发全套的大数据解决方案。Power对开源的支持，也使今天的开发者更容易利用开源技术开发大数据分析应用。 IBM还在Power Systems服务器上提供最新版本的Ubuntu服务器、Ubuntu OpenStack和Canonical公司的JujuCloud Orchestration工具。基于Power 的Ubuntu为现有的Linux应用向Power移植提供简便的通道

2016-05-27 11:43:06

IBM
如何构建一支“万物皆可分析”的数据科学团队 原创
然而数据只存放起来是没有用的，企业只有将通过数据分析洞察出的结果运用到业务部门、生产系统或是营销部门、风险部门当中，数据才会产生价值。在这个过程中，企业需要思考的不只是技术，还包括公司内部的组织加构、工作流程、业务进展等。

2016-05-27 08:23:33

数据分析数据科学数据思维
为什么Redis内存不宜过大
redis这个内存数据库，它的高性能、稳定性都是不用怀疑的，但我们塞进redis的数据过多，内存过大，那如果出问题，那它可能会带给我们的就是灾难性。

2016-05-26 12:11:00

Redis内存开源
云计算将在大数据领域扮演什么角色？ 译文
自从大数据进入企业数据中心和业务部门，一切改变了――单个的大数据文件可以用数TB、甚至数PB来衡量。Hadoop等分析平台上的大数据并行处理与事务数据的按顺序处理有着明显区别。不出所料，存储方面要考虑的因素随之变化。

2016-05-25 14:47:17

云计算大数据存储
一个适合小公司用的开源数据管道工具
airbnb是我很喜欢的公司，他们有很多开源的工具，airflow我觉得是最实用的代表。airflow 是能进行数据pipeline的管理，甚至是可以当做更高级的cron job 来使用。

2016-05-25 10:14:04

开源数据管道 ETL
共话数据驱动下的技术创新和商业变革
“认知分析、大数据即服务、开源大数据平台、机器学习……”这些陌生又熟悉的技术名词你了解多少？近日，为期一周的大数据主题嘉年华——IBM Insight Week 2016 在北京香格里拉饭店拉开序幕。来自国内典型传统企业、一线互联网公司及IBM的近三十位CIO、CDO、技术高管、数据专家如约而至，促膝共话大数据驱动下的技术创新和商业变革。

2016-05-24 14:42:32

大数据技术创新IBM
CTO训练营耿志峰：大数据驱动网络反欺诈 原创
由51CTO高招主办的“CTO训练营”活动圆满结束，来自百度商业安全部资深架构师耿志峰在活动现场做了主题为“大数据驱动网络反欺诈”的分享，本文章是针对演讲干货整理，呈献给大家。

2016-05-24 10:50:49

大数据网络反欺诈
解密 Uber 数据团队的基础数据架构优化之路
Uber 在现实世界和虚拟世界的十字路口有令人羡慕的一席之地。这令每天在各个城市穿行的数十万司机大军趋之若鹜。当然这也会一个相对浅显的数据问题。但是，就像 Uber数据部门的主管 Aaron Schildkrout所说：商业计划的简单明了带给Uber利用数据优化服务的巨大机会。

2016-05-23 13:50:23

UberHadoopSpark
为什么在大数据处理中Cassandra与Spark如此受欢迎？ 译文
说起Cassandra的用途时，我们可以将其理解为一套理想的客户系统实现方案——其能够保证各类应用始终可用，包括产品目录、物联网、医疗系统以及移动应用。Cassandra于2010年成为Apache软件基金会的顶级项目，而且至今仍拥有极高人气。Cassandra专业知识能够帮助我们在人才市场上获得赏识。我们不禁要问——为什么这一开源项目能够大受欢迎？

2016-05-19 10:31:35

数据处理CassandraSpark
三要点|解构小白入手数据分析的思维模式
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。在实际应用中，数据分析可帮助人们作出判断，以便采取适当行动。当然，在我看来数据本身并没有任何价值，正是由于分析方法的存在使得原本毫无价值的数据大放异彩。

2016-05-18 11:57:02

数据分析数据思维大数据
你不知道的六大Apache大数据项目新星
几个最近被Apache擢升为顶级的大数据项目也值得您额外关注。事实上，他们中的一些所构建和发展的生态系统，很可能将对Spark 发起挑战。结合本周举行的“ApacheCon北美峰会”(ApacheCon North America conference)和“Apache大数据峰会”(Apache: Big Data events)，本文将归纳那些你应该知道的Apache的大数据项目。

2016-05-18 11:47:35

Apache大数据项目开源
至2019年全球Hadoop市场年复合增长率将达53% 译文
adoop系统从多种来源收集信息，如消费者，社交媒体和金融数据，并将收集来的数据储存在一个分布式数据仓库，来管理映射-归约(Map-Reduce)进程。在映射-归约进程中，首先，输入的数据被映射到集群结点中，映射的来源包括XML文件，传统系统，以及包括SCM、ERP、CRM、基于SaaS的应用和行业型文档等在内的企业应用。像网页内容和邮件内容这样的数字化内容也可进行映射-归约程序。在第二阶段，无数个更小的信息节点产生并在服务器中分布。这些节点进行平行计算来产生适用于所有查询的可应用输出，收集的结果用于决策过程。接下来，经过分析的信

2016-05-17 15:08:42

Hadoop
数据分析应该要避免的6个错误
曾经有个运营总监告诉说，有个分析师给我做了个分析，运营目标要完成，最重要提提升流量，因为转化率提升太难，需要涉及到东西太多了。流量提长就是要引入流量，然后做了各个渠道的分析，各个流量测算。

2016-05-17 10:37:46

数据分析数据存储大数据
反欺诈架构中的数据架构及其技术挑战 译文
反欺诈系统架构方面的一半工作可能花在了稳健而灵活的数据基础设施上。要是没有数据，规则和模型就玩不转。许多时候，你需要从不同的角度和不同的距离来看待同一批数据，还需要能够不断以低成本获取新数据;你迟早会发现自己拥有海量数据，因此拥有一套可扩展、稳健的基础设施来管理这些数据是核心。

2016-05-17 10:26:51

反欺诈系统架构数据架构
java在处理大数据的时候一些小技巧
类似的数据处理还有很多，有些时候还会将就效率问题，比如在 HBase 的文件拆分和合并过程中，要不影响线上业务是比较难的事情，很多问题值得我们去研究场景，因为不同的场景有不同的方法去解决，但是大同小异，明白思想和方法，明白内存和体系 架构 ，明白你所面临的是沈阳的场景，只是细节上改变可以带来惊人的效果。

2016-05-13 17:24:00

java大数据
成功实施大数据项目的五项基本要求 译文
成功的大数据项目拥有五大核心要求，拥有十余年从业经历的数据科学家Amy Gaskins强调称。

2016-05-13 11:59:47

大数据数据科学Apache
大数据应用的下一阶段发展方向在哪里? 译文
时至今日，我们的数据管理能力日益提升，但数据分析能力则相对落后。尽管工具与流程皆已齐备，但仍然缺少充足的数据科学家人员。在今天的文章中，我们将专注于能够交付实际分析结论的大数据应用，同时追踪其发展及当前状态，最终借此窥探大数据技术的未来发展方向。

2016-05-13 10:20:43

大数据应用数据管理数据分析
解密 Airbnb 的数据科学部门如何构建知识仓库
随着组织的扩张，跨团队跨时期的知识传输成本不断增长，一个低效、乌合的研究环境使得这种情况雪上加霜，放慢了分析和决策的速度。因此，一个更加一气呵成的解决方案可以加快决策落地的速度并且保持公司在知识洪流中立于不败之地。

2016-05-11 10:51:53

Airbnb数据科学知识仓库
蹩脚数据科学家的10种现象
对数据科学的热情以及掌握一定的技能，这是成功的关键。如果你只是假装有兴趣，或者并不具备重要的技能，总有一天，你会原形毕露。

2016-05-11 10:36:16

数据科学家数据科学大数据
Spark Streaming 数据清理机制
大家刚开始用Spark Streaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,broadcast 系统会帮忙自己清理掉么？还a是说必须自己做清理？如果系统帮忙清理的话，机制是啥？

2016-05-11 10:29:54

Spark Strea数据清理Spark
AWS云数据仓库Redshift，让您的数据飞起来
随着信息技术的迅速发展，各行各业积累的数据都呈现出爆炸增长的趋势，我们已经进入了大数据的时代。当前企业数据的规模和复杂度不断增长，如何快速低成本的分析这些海量数据、挖掘数据的价值、让数据为公司的业务提供支撑，成为困扰企业的一个问题。作为全球领先的公有云提供商，AWS提供了一整套数据分析及挖掘的解决方案，涵盖了数据收集、传输、存储、分析、报表等，其中数据仓库服务是尤为重要的一个环节。AWS 2013年在美国区域发布了云数据仓库Redshift服务，让用户无需任何硬件、低成本、快速的分析企业数据中心或者云中的数据。

2016-05-11 09:18:21

AWS云数据仓库Redshift
灾难｜有多少创业公司正依据虚荣数据分析
在进行数据分析之前，CEO应该先确定你拿到的数据是不是一些好的数据指标，还是虚荣数据指标，应该先确定是好的数据指标，再来谈数据分析，因为依据虚荣数据指标进行的分析对你的公司来讲无异于灾难，它会让你沾沾自喜而察觉不到真正的危险。

2016-05-10 13:55:36

创业公司数据分析数据指标
浅谈数据分析和数据建模
大数据应用有几个方面，一个是效率提升，帮助企业提升数据处理效率，降低数据存储成本。另外一个是对业务作出指导，例如精准营销，反欺诈，风险管理以及业务提升。过去企业都是通过线下渠道接触客户，客户数据不全，只能利用财务数据进行业务运营分析，缺少围绕客户的个人数据，数据分析应用的领域集中在企业内部经营和财务分析。

2016-05-10 10:43:02

数据分析建模
关于啤酒和尿布故事的真相
第一次听到这个故事时，其实心中有惑 。以笔者对美国社会的有限理解，美国很多州的法律是不允许超市卖酒类商品，仅在最近几年才开始陆续有些州通过法律，允许超市申请酒的销售执照。但当时被大数据的热潮所吸引，也就无暇深究。最近参加了一些和大数据相关的活动，这个故事又不绝于耳。终于决定探探这个故事的源头。

2016-05-09 10:40:03

啤酒和尿片数据挖掘商品推荐
谈谈样本量选择背后的科学道理
样本量选多少合适，对于调研本身而言或许不是个问题。但是当我们想推动调研结果的时候，样本量却很容易遭到对方质疑。可能是几百个人的答案看起来容易让人觉得不靠谱，也可能因为样本量是最容易质疑的一个因素……

2016-05-09 10:38:36

样本量选择
什么是 Docker？
这就是 docker 的实质： 穿着马甲的标准化 。docker 的发明人根据自己运维 PaaS 平台的经验，重新思考了自己的工作， 将PaaS 平台的 devops 工作从各个角度标准化了一下，将系统底层实现的 cgroup、namespace、aufs｜device mapper 等技术集成在一个使用镜像方式发布的工具中，于是形成了 docker 。

2016-05-09 10:31:29

DockerLinux
从MySQL到Hive，数据迁移就这么简单 译文
从存储基础设施的一个位置移动数据到另一个位置是个艰难的过程。至少，过去是这样。而现在，在合适的工具和基础设施条件下，传统的数据迁移过程中涉及到的许多困难点都可以消除。使用Sqoop能够极大简化MySQL数据迁移至Hive之流程，并降低Hadoop处理分析任务时的难度。

2016-05-09 10:27:36

MySQLHive数据迁移
利用 MapReduce分析明星微博数据实战
互联网的飞速发展本身也造就了一批互联网明星，这些人借助新的手段，最大程度发挥了粉丝经济的能量和作用，在互联网时代赚得盆满钵满。正是基于这样一个大背景，今天我们做一个分析明星微博数据的小项目

2016-05-09 10:16:14

MapReduce数据分析明星微博
百度高级安全工程师吴登辉：Web防火墙大数据分析实践 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，百度高级安全工程师吴登辉做了以《Web防火墙大数据分析实践》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-05-05 17:05:03

Web防火墙大数据分析
奇云诺德CEO罗奇斌：解读测序密码与基因大数据 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，奇云诺德CEO罗奇斌做了以《解读测序密码——基因大数据解读》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-05-05 11:08:15

奇云诺德基因大数据
为什么云计算如此重要：是从移动第一演进到AI第一的第一步
谷歌的首席执行官Sundar Pichai，在公司4月公布的最新财报之后，表示对AI寄予厚望。机器学习，即电脑自学，谷歌已经投资人工智能技术好几年了。Pichai表示，现在AI已经开始对公司和其云客户发挥巨大的作用。

2016-05-05 10:15:19

云计算移动AI
多源数据融合：大数据分析的瓶颈
数据处理新工具使数据科学家从数据准备的繁琐工作中解放出来，但如何根据每个数据分析项目量体定制，融合多源数据以形成有效的分析数据集仍是数据科学家必须面对的一个更具挑战性的瓶颈。

2016-05-04 16:20:55

多源数据大数据
在大数据圈你不知道的15个新技术
虽然这些技术都还只是蓝图规划，但是一些常见的主题还是对其贯穿始终：为用户提供简单的获得数据的访问方式，更好的管理大规模数据以及预先分析的功能。

2016-05-03 15:13:34

大数据大数据技术数据管理
做好数据科学，离不开这7步
《哈佛商业评论》曾宣称“数据科学家”是二十一世纪最性感的职业。所谓性感，既代表着难以名状的诱惑，又说明了大家对它又不甚了解。

2016-05-03 15:12:35

数据科学
多源数据融合：大数据分析的瓶颈
利用互联网购物的营销数据来追踪和勾画消费行为并以此为据促销是大数据应用的成功典型案例。有些人已此将大数据吹得神乎其神，好像它能成为万能药。其实，这只是大数据应用中的很小一部分。作为智能决策的支持手段之一，大数据在企业、事业、政府、社会管理和发展上的应用是更重要的挑战。在这里，多源数据的融合就成为大数据分析中的瓶颈。

2016-05-03 14:46:54

数据源数据分析数据融合
海量数据实时更新太慢？Lambda架构大法好！
处理海量数据会非常慢以至于不能进行实时的数据更新。为了达到实时跟踪和维持数据结果为最新这两个要求，可以采用Lambda架构来实现。

2016-05-03 14:02:44

实时数据Lambda数据管道
Pivotal 刘伟光：看待Docker 和 PaaS的正确视角 原创
作为云计算的三种服务形式之一，PaaS似乎一直不温不火，裹足不前。Docker的出现似乎又带来了一种新的选择，而且对于开发者来说更加灵活、便捷、易用。既然用户可以直接在Docker上运行，PaaS是否还有应用场景?面对企业繁杂的应用环境，用Docker作为PaaS的替代方案是否完美无缺?

2016-05-03 10:49:20

DockerPaaSPivotal
勾勒物联网与大数据的数据中心路线图
对于大数据的潜力，已经是毫无争议的议题，报告也同样鼓吹物联网，指出它将连接从我们的手机、我们的汽车到我们的家用电器等一切的一切。硬件、软件和专业服务的供应商已经加入进来，大家都想在由物联网这些技术方法将产生的潜在收益中分得一块大蛋糕。

2016-05-03 10:47:47

物联网大数据
技术红颜告诉你大数据分析的真谛：别只盯着我的钱！ 原创
大数据时代已经到来，每个企业都开始忙着数据挖掘，忙着数据分析，忙着构建各种算法模型。但为什么你无法引发“技术红颜”式的蝴蝶效应?为什么你眼中对用户的“精准推荐”，成了Ta备感厌烦的“精准骚扰”?

2016-04-29 15:51:51

大数据数据运算技术红颜
移动设备里的数据价值几何?
本报告的目的是了解我们访问和存储在自己的移动设备中的数据的价值，以及我们采取的措施是否足以保护这些数据。

2016-04-29 13:29:32

移动数据
盘点14家超过10亿美元估值的大数据公司，有何过人之处?
很多初创公司和一些老牌的公司都推出了数据分析和数据管理产品，以及更新了现有产品，提供更丰富的功能与性能。虽然这些技术都还只是蓝图规划，但是一些常见的主题还是对其贯穿始终：为用户提供简单的获得数据的访问方式，更好的管理大规模数据以及预先分析的功能，例如Spark、HAWQ 和 Geode等新兴的大数据技术来实现更多的功能。

2016-04-29 13:23:53

大数据公司
轻松搞定数据处理的五款Eclipse开源工具 译文
立足于Eclipse富客户端平台(简称RCP)框架，多种科学工具不断涌现，旨在帮助我们在开源环境下实现数据处理与可视化。相关各企业与机构围绕此类工具开展协作，而Eclipse科学工作组也由此诞生。下面我们就一同了解来自Eclipse科学工作组的五款出色科学工具，其全部属于开源项目且以Java及Eclipse RCP为基础。

2016-04-29 10:02:39

数据可视化数据处理Eclipse
云服务商靠什么颠覆传统CDN格局
视频行业成为了推动CDN产业发展的最大动力，也是传统CDN与云服务CDN产生分歧的出触发点。谁能够吃透这个行业，就有可能在CDN的发展上快人一步。

2016-04-27 13:26:50

云服务CDN
Spark与Storm注意：Apache Apex已然横空出世 译文
诞生于2015年6月的Apache Apex可谓横空出世，其同样源自DataTorrent及其令人印象深刻的RTS平台，其中包含一套核心处理引擎，仪表板、诊断与监控工具套件外加专门面向数据科学家用户的图形流编程系统dtAssemble。

2016-04-27 11:01:11

SparkStormApache Apex
云计算正在改变整个ICT世界
云计算已经发展成为一种公共计算服务，一种关键信息基础设施。云计算正在改变整个ICT产业，将被和正在被云计算改变的，还包括创新创业、采购、机器学习、自动驾驶和VR等。当然最重要的，是改变了我们的思维模式和习惯。

2016-04-26 14:13:02

云计算ICT
盘点56个最实用的大数据可视化分析工具
数据可视化技术在现今是一个新兴领域，有越来越多的发展、研究等数据可视化分析，在诸如美国这些国家不断被需求。企业获取数据可视化功能主要通过编程和非编程两类工具实现。

2016-04-26 14:04:29

大数据可视化
上一页 1 ··· 144145146147148 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服