51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9066内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9066 条
Spark Streaming 数据清理机制
大家刚开始用Spark Streaming时，心里肯定嘀咕，对于一个7*24小时运行的数据，cache住的RDD,broadcast 系统会帮忙自己清理掉么？还a是说必须自己做清理？如果系统帮忙清理的话，机制是啥？

2016-05-11 10:29:54

Spark Strea数据清理Spark
AWS云数据仓库Redshift，让您的数据飞起来
随着信息技术的迅速发展，各行各业积累的数据都呈现出爆炸增长的趋势，我们已经进入了大数据的时代。当前企业数据的规模和复杂度不断增长，如何快速低成本的分析这些海量数据、挖掘数据的价值、让数据为公司的业务提供支撑，成为困扰企业的一个问题。作为全球领先的公有云提供商，AWS提供了一整套数据分析及挖掘的解决方案，涵盖了数据收集、传输、存储、分析、报表等，其中数据仓库服务是尤为重要的一个环节。AWS 2013年在美国区域发布了云数据仓库Redshift服务，让用户无需任何硬件、低成本、快速的分析企业数据中心或者云中的数据。

2016-05-11 09:18:21

AWS云数据仓库Redshift
灾难｜有多少创业公司正依据虚荣数据分析
在进行数据分析之前，CEO应该先确定你拿到的数据是不是一些好的数据指标，还是虚荣数据指标，应该先确定是好的数据指标，再来谈数据分析，因为依据虚荣数据指标进行的分析对你的公司来讲无异于灾难，它会让你沾沾自喜而察觉不到真正的危险。

2016-05-10 13:55:36

创业公司数据分析数据指标
浅谈数据分析和数据建模
大数据应用有几个方面，一个是效率提升，帮助企业提升数据处理效率，降低数据存储成本。另外一个是对业务作出指导，例如精准营销，反欺诈，风险管理以及业务提升。过去企业都是通过线下渠道接触客户，客户数据不全，只能利用财务数据进行业务运营分析，缺少围绕客户的个人数据，数据分析应用的领域集中在企业内部经营和财务分析。

2016-05-10 10:43:02

数据分析建模
关于啤酒和尿布故事的真相
第一次听到这个故事时，其实心中有惑 。以笔者对美国社会的有限理解，美国很多州的法律是不允许超市卖酒类商品，仅在最近几年才开始陆续有些州通过法律，允许超市申请酒的销售执照。但当时被大数据的热潮所吸引，也就无暇深究。最近参加了一些和大数据相关的活动，这个故事又不绝于耳。终于决定探探这个故事的源头。

2016-05-09 10:40:03

啤酒和尿片数据挖掘商品推荐
谈谈样本量选择背后的科学道理
样本量选多少合适，对于调研本身而言或许不是个问题。但是当我们想推动调研结果的时候，样本量却很容易遭到对方质疑。可能是几百个人的答案看起来容易让人觉得不靠谱，也可能因为样本量是最容易质疑的一个因素……

2016-05-09 10:38:36

样本量选择
什么是 Docker？
这就是 docker 的实质： 穿着马甲的标准化 。docker 的发明人根据自己运维 PaaS 平台的经验，重新思考了自己的工作， 将PaaS 平台的 devops 工作从各个角度标准化了一下，将系统底层实现的 cgroup、namespace、aufs｜device mapper 等技术集成在一个使用镜像方式发布的工具中，于是形成了 docker 。

2016-05-09 10:31:29

DockerLinux
从MySQL到Hive，数据迁移就这么简单 译文
从存储基础设施的一个位置移动数据到另一个位置是个艰难的过程。至少，过去是这样。而现在，在合适的工具和基础设施条件下，传统的数据迁移过程中涉及到的许多困难点都可以消除。使用Sqoop能够极大简化MySQL数据迁移至Hive之流程，并降低Hadoop处理分析任务时的难度。

2016-05-09 10:27:36

MySQLHive数据迁移
利用 MapReduce分析明星微博数据实战
互联网的飞速发展本身也造就了一批互联网明星，这些人借助新的手段，最大程度发挥了粉丝经济的能量和作用，在互联网时代赚得盆满钵满。正是基于这样一个大背景，今天我们做一个分析明星微博数据的小项目

2016-05-09 10:16:14

MapReduce数据分析明星微博
百度高级安全工程师吴登辉：Web防火墙大数据分析实践 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，百度高级安全工程师吴登辉做了以《Web防火墙大数据分析实践》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-05-05 17:05:03

Web防火墙大数据分析
奇云诺德CEO罗奇斌：解读测序密码与基因大数据 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，奇云诺德CEO罗奇斌做了以《解读测序密码——基因大数据解读》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-05-05 11:08:15

奇云诺德基因大数据
为什么云计算如此重要：是从移动第一演进到AI第一的第一步
谷歌的首席执行官Sundar Pichai，在公司4月公布的最新财报之后，表示对AI寄予厚望。机器学习，即电脑自学，谷歌已经投资人工智能技术好几年了。Pichai表示，现在AI已经开始对公司和其云客户发挥巨大的作用。

2016-05-05 10:15:19

云计算移动AI
多源数据融合：大数据分析的瓶颈
数据处理新工具使数据科学家从数据准备的繁琐工作中解放出来，但如何根据每个数据分析项目量体定制，融合多源数据以形成有效的分析数据集仍是数据科学家必须面对的一个更具挑战性的瓶颈。

2016-05-04 16:20:55

多源数据大数据
在大数据圈你不知道的15个新技术
虽然这些技术都还只是蓝图规划，但是一些常见的主题还是对其贯穿始终：为用户提供简单的获得数据的访问方式，更好的管理大规模数据以及预先分析的功能。

2016-05-03 15:13:34

大数据大数据技术数据管理
做好数据科学，离不开这7步
《哈佛商业评论》曾宣称“数据科学家”是二十一世纪最性感的职业。所谓性感，既代表着难以名状的诱惑，又说明了大家对它又不甚了解。

2016-05-03 15:12:35

数据科学
多源数据融合：大数据分析的瓶颈
利用互联网购物的营销数据来追踪和勾画消费行为并以此为据促销是大数据应用的成功典型案例。有些人已此将大数据吹得神乎其神，好像它能成为万能药。其实，这只是大数据应用中的很小一部分。作为智能决策的支持手段之一，大数据在企业、事业、政府、社会管理和发展上的应用是更重要的挑战。在这里，多源数据的融合就成为大数据分析中的瓶颈。

2016-05-03 14:46:54

数据源数据分析数据融合
海量数据实时更新太慢？Lambda架构大法好！
处理海量数据会非常慢以至于不能进行实时的数据更新。为了达到实时跟踪和维持数据结果为最新这两个要求，可以采用Lambda架构来实现。

2016-05-03 14:02:44

实时数据Lambda数据管道
Pivotal 刘伟光：看待Docker 和 PaaS的正确视角 原创
作为云计算的三种服务形式之一，PaaS似乎一直不温不火，裹足不前。Docker的出现似乎又带来了一种新的选择，而且对于开发者来说更加灵活、便捷、易用。既然用户可以直接在Docker上运行，PaaS是否还有应用场景?面对企业繁杂的应用环境，用Docker作为PaaS的替代方案是否完美无缺?

2016-05-03 10:49:20

DockerPaaSPivotal
勾勒物联网与大数据的数据中心路线图
对于大数据的潜力，已经是毫无争议的议题，报告也同样鼓吹物联网，指出它将连接从我们的手机、我们的汽车到我们的家用电器等一切的一切。硬件、软件和专业服务的供应商已经加入进来，大家都想在由物联网这些技术方法将产生的潜在收益中分得一块大蛋糕。

2016-05-03 10:47:47

物联网大数据
技术红颜告诉你大数据分析的真谛：别只盯着我的钱！ 原创
大数据时代已经到来，每个企业都开始忙着数据挖掘，忙着数据分析，忙着构建各种算法模型。但为什么你无法引发“技术红颜”式的蝴蝶效应?为什么你眼中对用户的“精准推荐”，成了Ta备感厌烦的“精准骚扰”?

2016-04-29 15:51:51

大数据数据运算技术红颜
移动设备里的数据价值几何?
本报告的目的是了解我们访问和存储在自己的移动设备中的数据的价值，以及我们采取的措施是否足以保护这些数据。

2016-04-29 13:29:32

移动数据
盘点14家超过10亿美元估值的大数据公司，有何过人之处?
很多初创公司和一些老牌的公司都推出了数据分析和数据管理产品，以及更新了现有产品，提供更丰富的功能与性能。虽然这些技术都还只是蓝图规划，但是一些常见的主题还是对其贯穿始终：为用户提供简单的获得数据的访问方式，更好的管理大规模数据以及预先分析的功能，例如Spark、HAWQ 和 Geode等新兴的大数据技术来实现更多的功能。

2016-04-29 13:23:53

大数据公司
轻松搞定数据处理的五款Eclipse开源工具 译文
立足于Eclipse富客户端平台(简称RCP)框架，多种科学工具不断涌现，旨在帮助我们在开源环境下实现数据处理与可视化。相关各企业与机构围绕此类工具开展协作，而Eclipse科学工作组也由此诞生。下面我们就一同了解来自Eclipse科学工作组的五款出色科学工具，其全部属于开源项目且以Java及Eclipse RCP为基础。

2016-04-29 10:02:39

数据可视化数据处理Eclipse
云服务商靠什么颠覆传统CDN格局
视频行业成为了推动CDN产业发展的最大动力，也是传统CDN与云服务CDN产生分歧的出触发点。谁能够吃透这个行业，就有可能在CDN的发展上快人一步。

2016-04-27 13:26:50

云服务CDN
Spark与Storm注意：Apache Apex已然横空出世 译文
诞生于2015年6月的Apache Apex可谓横空出世，其同样源自DataTorrent及其令人印象深刻的RTS平台，其中包含一套核心处理引擎，仪表板、诊断与监控工具套件外加专门面向数据科学家用户的图形流编程系统dtAssemble。

2016-04-27 11:01:11

SparkStormApache Apex
云计算正在改变整个ICT世界
云计算已经发展成为一种公共计算服务，一种关键信息基础设施。云计算正在改变整个ICT产业，将被和正在被云计算改变的，还包括创新创业、采购、机器学习、自动驾驶和VR等。当然最重要的，是改变了我们的思维模式和习惯。

2016-04-26 14:13:02

云计算ICT
盘点56个最实用的大数据可视化分析工具
数据可视化技术在现今是一个新兴领域，有越来越多的发展、研究等数据可视化分析，在诸如美国这些国家不断被需求。企业获取数据可视化功能主要通过编程和非编程两类工具实现。

2016-04-26 14:04:29

大数据可视化
网络直播被严查，机器如何帮助鉴别小黄图？
虽然，大多数直播企业会选择人工审核的方式对直播内容进行实时监管，但是在过去的一年多里， “直播造人门”、“直播脱衣门”等事件仍然频繁发生。网络直播行业的内容监管不能只依赖人工，可以采用机器识别结合人工审核的新型审核模式。

2016-04-26 11:00:18

网络直播机器学习视频审核
如何基于数据快速构建用户模型（Persona）？
但在现实中，一般只有很少的成熟公司，产品经理、交互设计师或用户研究人员才会花时间构建用户模型，我们将尝试提出一种基于用户行为数据的快速构建用户模型的方法。

2016-04-26 10:43:05

数据分析用户行为模型
Apache Storm 1.0版本重拳出击：前代版本3倍性能表现 译文
Apache于4月公布了Apache Storm 1.0版本，并表示新版本较上代方案“最高提速16倍”，且延迟水平降低60%。“对于大多数用例而言，用户都能够享受达到前代版本3倍的性能表现。”

2016-04-26 09:52:20

Apache Stor流处理大数据
大数据真的可以让航空情报人员“未卜先知”？
从大数据分析的角度来看，总结已有运行规律只是重要作用之一，对未来发展的预测也是值得期待和努力的重要方向。同理，航空情报大数据的作用也并不仅限于目前常用的即时判断与事后分析，更大的潜在价值在于重组再利用和对未来发展的预测。

2016-04-25 16:19:29

大数据航空
R、Python、Scala 和 Java，到底该使用哪一种大数据编程语言？
如果你对晦涩的统计运算进行繁重的数据分析工作，那么你不青睐R才怪。如果你跨GPU进行NLP或密集的神经网络处理，那么Python是很好的选择。如果想要一种加固的、面向生产环境的数据流解决方案，又拥有所有重要的操作工具，Java或Scala绝对是出色的选择。

2016-04-25 15:40:29

大数据编程语言
互联网时代 智慧农业如何借力大数据谋发展
农业是产生大数据的无尽源泉，也是大数据应用的广阔天地。农业大数据是大数据理论和技术的专业化应用，除了具备大数据的公共属性，必然具有农业数据自身的特点。

2016-04-25 13:25:14

农业大数据
区块链、大数据、P2P、普惠金融——中国互联网金融的邪路
优秀的 P2P 平台做大以后，将逐渐以 ABS 部门代替现有理财端。哪个部门能以更低成本获得资金，哪个保留重用，这是正常商业逻辑，除非老板不想赚钱，或者心里有鬼。

2016-04-25 13:02:00

区块链大数据
九大最适合实时数据分析的应用领域 译文
可能很多朋友还没有接触过大数据分析方案，也有人认为其仅仅算是个愿景而非现实——毕竟能够证明其可行性与实际效果的案例确实相对有限。但可以肯定的是，实时数据流中包含着大量重要价值，足以帮助企业及人员在未来的工作中达成更为理想的结果。

2016-04-22 17:05:30

实时数据数据分析数据应用
聚效广告张烨：基于Docker和Mesos的服务可靠性保障实践 原创
2016年4月14-15日，由51CTO传媒主办的WOT2016互联网运维与开发者大会在北京珠三角JW万豪酒店召开。秉承专注技术、服务技术 人员的理念，自2012年以来，WOT品牌大会已经成功举办九届，积累了大量的技术专家资源，获得了广大IT从业者和技术爱好者的一致认可，成为了业界重要的技术分享交流平台以及人脉拓展平台。

2016-04-21 16:07:42

可靠性DockerMesos
惊！科学家可利用DNA将数据中心压缩至方糖大小 译文
微软与华盛顿大学的研究员们已经演示相关方案，旨在利用合成DNA作为数据归档存储介质。如果这项技术足够强大，则完全可以将沃尔玛这样的巨型企业的全部数据存储设备缩小为一块方糖尺寸，研究员们指出。

2016-04-21 11:00:57

DNA存储介质数据中心
【友盟+】全域大数据报告：百度搜索仍一家独大
2016年4月20日，【友盟+】正式对外发布了国内首份全域大数据报告——《2015全域互联网发展报告》。报告显示：2015年，我国网民线上浏览呈现明显上升趋势，约有740万个网站站点共生成PV量超2.91万亿，其中包含PC端与移动端网页。

2016-04-21 10:40:17

友盟+大数据全域大数据报告
阿里肖冰：如何实现分钟级别的HBase宕机恢复 原创
2016年4月14-15日，由51CTO传媒主办的WOT2016互联网运维与开发者大会在北京珠三角JW万豪酒店召开。秉承专注技术、服务技术 人员的理念，自2012年以来，WOT品牌大会已经成功举办九届，积累了大量的技术专家资源，获得了广大IT从业者和技术爱好者的一致认可，成为了业界重要的技术分享交流平台以及人脉拓展平台。

2016-04-19 18:20:29

阿里巴巴HBase宕机恢复
基于大数据技术的手机用户画像与征信研究
随着计算机网络技术的不断发展，“数据即资源”的大数据时代已经来临。用户画像是电信运营商为了避免管道化风险，实现“数据驱动业务与运营”的重要举措。用户画像与应用大数据技术对客户分类密切相关，是单个客户的众多属性标签的累积;另一方面，在运营商涉足的消费金融领域，对手机用户所进行的个人信用评价，是对手机用户画像中的诸多特征实施再组合与分类的应用过程。

2016-04-18 12:01:16

大数据用户画像征信
用户行为数据分析的三个层次，你真的了解吗？
在这样一个「数据驱动」的时代，很多产品团队都选择在产品早期就引入或搭建数据分析平台，并希望能够通过数据驱动产品的快速成长。对产品用户和行为数据的研究可以大致划分为宏观层、微观层和中间层三个层次，你真的都了解吗？

2016-04-18 11:47:18

数据分析用户留存数据驱动
LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具
Hadoop的专家们审查流程时发现几个常见的经常性的优化模式，并在此基础上，我们决定开始一个新的实验项目，同时优化Hadoop平台开发者和Hadoop使用者的时间。这就是Dr.Elephant的诞生过程。

2016-04-18 10:45:22

Dr. ElephanHadoop性能监控
大数据应用？你先搞定数据获取再说 译文
大数据不再像过去几年一样，受限于工具缺乏的问题。那时候搞大数据意味着团队里必须有数据科学家，还会被R和Hadoop之类的开源工具搞得心烦意乱。现在许多公司在大数据分析中最头疼的问题，其实是如何获取数据。

2016-04-13 11:31:32

数据分析数据获取大数据应用
美团机器学习中的数据清洗与特征挖掘实践
美团的团购系统中大量地应用到了机器学习和数据挖掘技术，例如个性化推荐、筛选 排序、搜索排序、用户建模等等，为公司创造了巨大的价值。本文主要介绍在美团的推荐与个性化团队实践中的数据清洗与特征挖掘方法。

2016-04-12 17:12:29

机器学习数据清洗美团
大咖话数据：技术热潮下的应用场景冷思考 原创
大数据热潮虽潮席卷已久，技术支撑困难、创新能力不足、专业人才缺乏等种种仍是大数据落地于企业实际应用的绊脚石。近日，51 CTO携手IBM,与典型的传统企业及一线互联网公司的技术专家汇聚一堂，以“大咖荟萃话数据，群策群力展未来”为主题，共话大数据驱动下的技术创新和商业变革。

2016-04-11 15:49:40

人工智能大数据应用IBM
如何利用机器学习进行海量数据挖掘
互联网的海量数据不可能靠人工一个个处理，只能依靠计算机批量处理。最初的做法是人为设定好一些规则，由机器来执行。但特征一多规则就很难制定，即使定下了规则也没法根据实际情况灵活变化。机器学习可以很好的解决以上问题，从一定程度上赋予了计算机以“学习”的能力，使得千人千面成为可能。

2016-04-11 14:35:59

机器学习数据挖掘数据模型
用户画像系统的技术架构和整体实现
本文主要从数据整理、数据平台、面向应用三个方面，一一探讨用户画像的技术架构和整体实现。

2016-04-11 14:24:08

用户画像技术架构数据分析
数据科学家需要的技能组合
尽管统计学家和其他研究数据分析的人士扮演着至关重要的角色，但是数据科学家的角色，一部分是分析师，一部分是艺术家，并且必定会为传统数据的分析和使用方式带来全新的变革。

2016-04-11 14:15:06

数据科学数据挖掘工具
RG-RBIS商业智能系统
RG-RBIS(Ruijie Business Intelligence Analysis System)， 是锐捷网络针对Wi-Fi场景下有人流量信息统计分析的场景开发的分析平台系统，利用无线定位引擎探测到终端位置信息，为各类型场所运营方提供人流量区域分布热图、平均的驻留时长，每个时段的人流变化趋势。例如商业场景，可利用商铺位置信息，分析出消费者的进店率、驻留率，以及挖掘出商铺的关联关系，提供的客流量分析数据，可为商场的运营决策提供重要的数据支撑、甚至盈利变现。

2016-04-09 17:37:57

锐捷网络商业智能系统无线
WOT2016黄慧攀：海量日志处理可以不用Hadoop或Spark 原创
4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的黄慧攀讲师，他分享的内容：海量日志处理系统架构。

2016-04-08 13:26:19

WOT2016又拍云海量日志处理
上一页 1 ··· 144145146147148 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服