51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
网络直播被严查，机器如何帮助鉴别小黄图？
虽然，大多数直播企业会选择人工审核的方式对直播内容进行实时监管，但是在过去的一年多里， “直播造人门”、“直播脱衣门”等事件仍然频繁发生。网络直播行业的内容监管不能只依赖人工，可以采用机器识别结合人工审核的新型审核模式。

2016-04-26 11:00:18

网络直播机器学习视频审核
如何基于数据快速构建用户模型（Persona）？
但在现实中，一般只有很少的成熟公司，产品经理、交互设计师或用户研究人员才会花时间构建用户模型，我们将尝试提出一种基于用户行为数据的快速构建用户模型的方法。

2016-04-26 10:43:05

数据分析用户行为模型
Apache Storm 1.0版本重拳出击：前代版本3倍性能表现 译文
Apache于4月公布了Apache Storm 1.0版本，并表示新版本较上代方案“最高提速16倍”，且延迟水平降低60%。“对于大多数用例而言，用户都能够享受达到前代版本3倍的性能表现。”

2016-04-26 09:52:20

Apache Stor流处理大数据
大数据真的可以让航空情报人员“未卜先知”？
从大数据分析的角度来看，总结已有运行规律只是重要作用之一，对未来发展的预测也是值得期待和努力的重要方向。同理，航空情报大数据的作用也并不仅限于目前常用的即时判断与事后分析，更大的潜在价值在于重组再利用和对未来发展的预测。

2016-04-25 16:19:29

大数据航空
R、Python、Scala 和 Java，到底该使用哪一种大数据编程语言？
如果你对晦涩的统计运算进行繁重的数据分析工作，那么你不青睐R才怪。如果你跨GPU进行NLP或密集的神经网络处理，那么Python是很好的选择。如果想要一种加固的、面向生产环境的数据流解决方案，又拥有所有重要的操作工具，Java或Scala绝对是出色的选择。

2016-04-25 15:40:29

大数据编程语言
互联网时代 智慧农业如何借力大数据谋发展
农业是产生大数据的无尽源泉，也是大数据应用的广阔天地。农业大数据是大数据理论和技术的专业化应用，除了具备大数据的公共属性，必然具有农业数据自身的特点。

2016-04-25 13:25:14

农业大数据
区块链、大数据、P2P、普惠金融——中国互联网金融的邪路
优秀的 P2P 平台做大以后，将逐渐以 ABS 部门代替现有理财端。哪个部门能以更低成本获得资金，哪个保留重用，这是正常商业逻辑，除非老板不想赚钱，或者心里有鬼。

2016-04-25 13:02:00

区块链大数据
九大最适合实时数据分析的应用领域 译文
可能很多朋友还没有接触过大数据分析方案，也有人认为其仅仅算是个愿景而非现实——毕竟能够证明其可行性与实际效果的案例确实相对有限。但可以肯定的是，实时数据流中包含着大量重要价值，足以帮助企业及人员在未来的工作中达成更为理想的结果。

2016-04-22 17:05:30

实时数据数据分析数据应用
聚效广告张烨：基于Docker和Mesos的服务可靠性保障实践 原创
2016年4月14-15日，由51CTO传媒主办的WOT2016互联网运维与开发者大会在北京珠三角JW万豪酒店召开。秉承专注技术、服务技术 人员的理念，自2012年以来，WOT品牌大会已经成功举办九届，积累了大量的技术专家资源，获得了广大IT从业者和技术爱好者的一致认可，成为了业界重要的技术分享交流平台以及人脉拓展平台。

2016-04-21 16:07:42

可靠性DockerMesos
惊！科学家可利用DNA将数据中心压缩至方糖大小 译文
微软与华盛顿大学的研究员们已经演示相关方案，旨在利用合成DNA作为数据归档存储介质。如果这项技术足够强大，则完全可以将沃尔玛这样的巨型企业的全部数据存储设备缩小为一块方糖尺寸，研究员们指出。

2016-04-21 11:00:57

DNA存储介质数据中心
【友盟+】全域大数据报告：百度搜索仍一家独大
2016年4月20日，【友盟+】正式对外发布了国内首份全域大数据报告——《2015全域互联网发展报告》。报告显示：2015年，我国网民线上浏览呈现明显上升趋势，约有740万个网站站点共生成PV量超2.91万亿，其中包含PC端与移动端网页。

2016-04-21 10:40:17

友盟+大数据全域大数据报告
阿里肖冰：如何实现分钟级别的HBase宕机恢复 原创
2016年4月14-15日，由51CTO传媒主办的WOT2016互联网运维与开发者大会在北京珠三角JW万豪酒店召开。秉承专注技术、服务技术 人员的理念，自2012年以来，WOT品牌大会已经成功举办九届，积累了大量的技术专家资源，获得了广大IT从业者和技术爱好者的一致认可，成为了业界重要的技术分享交流平台以及人脉拓展平台。

2016-04-19 18:20:29

阿里巴巴HBase宕机恢复
基于大数据技术的手机用户画像与征信研究
随着计算机网络技术的不断发展，“数据即资源”的大数据时代已经来临。用户画像是电信运营商为了避免管道化风险，实现“数据驱动业务与运营”的重要举措。用户画像与应用大数据技术对客户分类密切相关，是单个客户的众多属性标签的累积;另一方面，在运营商涉足的消费金融领域，对手机用户所进行的个人信用评价，是对手机用户画像中的诸多特征实施再组合与分类的应用过程。

2016-04-18 12:01:16

大数据用户画像征信
用户行为数据分析的三个层次，你真的了解吗？
在这样一个「数据驱动」的时代，很多产品团队都选择在产品早期就引入或搭建数据分析平台，并希望能够通过数据驱动产品的快速成长。对产品用户和行为数据的研究可以大致划分为宏观层、微观层和中间层三个层次，你真的都了解吗？

2016-04-18 11:47:18

数据分析用户留存数据驱动
LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具
Hadoop的专家们审查流程时发现几个常见的经常性的优化模式，并在此基础上，我们决定开始一个新的实验项目，同时优化Hadoop平台开发者和Hadoop使用者的时间。这就是Dr.Elephant的诞生过程。

2016-04-18 10:45:22

Dr. ElephanHadoop性能监控
大数据应用？你先搞定数据获取再说 译文
大数据不再像过去几年一样，受限于工具缺乏的问题。那时候搞大数据意味着团队里必须有数据科学家，还会被R和Hadoop之类的开源工具搞得心烦意乱。现在许多公司在大数据分析中最头疼的问题，其实是如何获取数据。

2016-04-13 11:31:32

数据分析数据获取大数据应用
美团机器学习中的数据清洗与特征挖掘实践
美团的团购系统中大量地应用到了机器学习和数据挖掘技术，例如个性化推荐、筛选 排序、搜索排序、用户建模等等，为公司创造了巨大的价值。本文主要介绍在美团的推荐与个性化团队实践中的数据清洗与特征挖掘方法。

2016-04-12 17:12:29

机器学习数据清洗美团
大咖话数据：技术热潮下的应用场景冷思考 原创
大数据热潮虽潮席卷已久，技术支撑困难、创新能力不足、专业人才缺乏等种种仍是大数据落地于企业实际应用的绊脚石。近日，51 CTO携手IBM,与典型的传统企业及一线互联网公司的技术专家汇聚一堂，以“大咖荟萃话数据，群策群力展未来”为主题，共话大数据驱动下的技术创新和商业变革。

2016-04-11 15:49:40

人工智能大数据应用IBM
如何利用机器学习进行海量数据挖掘
互联网的海量数据不可能靠人工一个个处理，只能依靠计算机批量处理。最初的做法是人为设定好一些规则，由机器来执行。但特征一多规则就很难制定，即使定下了规则也没法根据实际情况灵活变化。机器学习可以很好的解决以上问题，从一定程度上赋予了计算机以“学习”的能力，使得千人千面成为可能。

2016-04-11 14:35:59

机器学习数据挖掘数据模型
用户画像系统的技术架构和整体实现
本文主要从数据整理、数据平台、面向应用三个方面，一一探讨用户画像的技术架构和整体实现。

2016-04-11 14:24:08

用户画像技术架构数据分析
数据科学家需要的技能组合
尽管统计学家和其他研究数据分析的人士扮演着至关重要的角色，但是数据科学家的角色，一部分是分析师，一部分是艺术家，并且必定会为传统数据的分析和使用方式带来全新的变革。

2016-04-11 14:15:06

数据科学数据挖掘工具
RG-RBIS商业智能系统
RG-RBIS(Ruijie Business Intelligence Analysis System)， 是锐捷网络针对Wi-Fi场景下有人流量信息统计分析的场景开发的分析平台系统，利用无线定位引擎探测到终端位置信息，为各类型场所运营方提供人流量区域分布热图、平均的驻留时长，每个时段的人流变化趋势。例如商业场景，可利用商铺位置信息，分析出消费者的进店率、驻留率，以及挖掘出商铺的关联关系，提供的客流量分析数据，可为商场的运营决策提供重要的数据支撑、甚至盈利变现。

2016-04-09 17:37:57

锐捷网络商业智能系统无线
WOT2016黄慧攀：海量日志处理可以不用Hadoop或Spark 原创
4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的黄慧攀讲师，他分享的内容：海量日志处理系统架构。

2016-04-08 13:26:19

WOT2016又拍云海量日志处理
从挑水果看精度与查全率如何影响搜索性能 译文
精度与查全率是与搜精度与查全率索技术相关的两项根本性机制。二者有时看起来甚至有点是一回事——别急，下面我们就立足于实例对其加以讲解。通过这样的过程，大家也能够理解二者为什么在设计搜索应用时会扮演如此重要的角色。

2016-04-08 12:35:55

搜索精度查全率
如何实现基于内容和用户画像的个性化推荐
个性化推荐系统是一门由数据挖掘和机器学习综合的学科，它必须能够基于用户之前的口味和喜好提供相关的精确的推荐，而且这种口味和喜欢的收集必须尽量少的需要用户的劳动。本文主要介绍了如何基于内容和用呢画像实现一个个性化推荐化系统。

2016-04-08 11:39:49

用户画像个性化推荐标签
人工智能如何撩起下一波创业高潮？ 原创
大数据概念被热炒多年之后，我们是时候开始关注大数据与人工智能在具体领域中的应用问题。那么，目前大数据和人工智能领域还存在着哪些技术挑战？如何找到大数据和人工智能的创业入口，利用数据挖掘和机器学习的能力创造出更大的商业价值？

2016-04-07 17:01:46

大数据人工智能创业
北京大学人民医院刘帆：大数据时代医院信息化建设之机遇与挑战 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，就职北京大学人民医院院长助理、信息中心主任、医疗大数据研究中心副主任、骨关节科副主任医师的刘帆做了以《大数据时代医院信息化建设之机遇与挑战》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-04-05 18:09:19

北京大学大数据医院
Hadoop 如何推动现代数据仓库技术的变革
2006年雅虎等团队开始研发Hadoop技术至今已整整十年。在此之间技术发展迅速，Hadoop上的生态系统逐渐扩大。各个行业的用户逐渐开始基于这一新的技术来开发全新的应用，甚至将原先的应用向Hadoop之上进行迁移。

2016-04-05 10:59:59

Hadoop数据仓库架构设计
“大存储”将如何影响数据中心之外的行业? 译文
在过去十年左右的时间里，我们发现存储规模大了许多。这不仅对大数据分析、数据中心和融合基础设施方面带来改变,对其他行业的影响也同样引人深思。

2016-04-05 10:49:18

大存储数据中心物联网
大数据到底在用什么姿势塑造我们？
大数据绝不会止步在为决策仅仅提供帮助，它的终极形态就是可以用海量的数据描述我们一个个具体的个体。当达到这一步时，现在的市场调研、用户分析将会变得异常简单。

2016-04-05 10:21:25

大数据元数据数据分析
简单12招让Hive运行快一点，再快一点
这是一个很长的故事，但是我在工作周花了80多个小时亲自调整Hive。不用说，我不必再头疼了。因此，为了您的利益，这里有一些建议，让你的Hive项目比我的运行的快一点。

2016-04-05 10:12:58

HiveSQLHadoop
为什么企业IT部门必须要消除数据孤岛 译文
说到数据的重要性，炒作周期势必进入到全盛期。我们看到许多新闻标题声称数据是新的石油。我们听到分析师们谈论如何招聘到优秀的数据科学家。同行们的奚落在过道里回荡：“如果你不招聘首席数据官，肯定不是最新潮的公司之一!”

2016-04-01 11:12:26

企业IT数据孤岛商业智能
WOT2016杨大海：优酷土豆Hadoop集群挑战海量数据与高并发之道 原创
4月14-15日在北京珠三角JW万豪酒店，51CTO将举办WOT互联网运维与开发者峰会。WOT秉承专注技术，服务技术人群的理念，自 2012年首次举办以来，历经4届，积累了大量的技术资源，成为广大技术从业者和技术爱好者一致认可的技术分享大会、交流和人脉拓展平台。记者专访了本次大会大数据与运维专场的杨大海讲师，他分享的内容：《优酷土豆大数据平台的演化之路 》。

2016-04-01 09:23:55

优酷土豆大数据平台Hadoop
搞明白这些问题，再着手搭建你的数据产品
越来越多的产品都归入数据产品，包括硬件，可穿戴和其他任何收集和对用户有意义的数据。诚然，搭建大规模的数据产品真的很难。在这Belkin和Patil提供了一些有见地的战术，让大家更容易并可以大胆创造新产品。这将改变我们所看到的连接世界的方式。

2016-03-29 10:29:38

数据产品数据科学创业
大数据繁荣期可能犯下的那些错误
你知道我的意思，这段时间，我们比之前花了很多的时间和精力收集，分析，诠释和解释。事实上，与实际表达结果相比，员工把更多的精力投入到准备分析数据上。更糟糕的是，在某些情况下，组织者们正坐在大量数据的财富宝座下，这些数据本可以转变成新的收入机会，但是他们没有用它来做什么，因为他们根本就没有时间和资源来使用它。

2016-03-29 10:21:24

大数据数据分析数据管理
缓存技术比拼：Redis与Memcached的同与不同 译文
Redis在表面上看与Memcached存在诸多共同点，但二者却又有着很大区别。在今天的文章中，我们将共同探讨Redis。

2016-03-29 09:58:17

RedisMemcached缓存
开源大数据平台实施和使用中的难点
开源大数据技术是一种新一代技术和构架，它以成本较低、以快速的采集、处理和分析技术，从各种超大规模的数据中提取价值。然而庞大的开源大数据技术体系，使得大数据平台在实施和使用的过程中遇到很多难点。

2016-03-28 10:39:00

开源大数据平台技术架构
不同Hadoop上的SQL数据库引擎如何适配BI工作
Hadoop上的SQL引擎Impala是一种新型查询系统基准，发现Spark和Hive在BI的工作负载中有自己的优势与弱势。根据最新的基准，三个主要的SQL-on-Hadoop引擎，Apache Impala 2.3, Apache Spark 1.6 和Apache Hive 1.2，都有各自独特的优势和劣势，这令他们能很好的适应一些BI用例，而不是其他智能。

2016-03-28 10:32:36

Hadoop数据库引擎BI
认识数据湖——拥抱开源大数据技术的前提
随着人们对于数据湖的清晰定义、使用案例、最佳实践等信息的需求不断增长，IT专业人士需要一则明确的数据湖指南，回答以下问题：数据湖是什么?我们应该如何利用它?数据湖又将如何改变大数据呢?

2016-03-28 10:24:49

数据湖大数据技术开源
你的分析为何让你失望 ？
真正的挑战是洞察，利用大数据和分析法，以改善解决问题和决策的方式，会掩盖组织里一个现实情况，那就是新的分析法往往需要新的行为。讽刺的是，大数据和分析法的质量，不如分析的目的来得重要。

2016-03-28 09:39:54

数据分析大数据CIO
大道至简的数据治理方法论
数据分析师的角色犹如一位大厨，原料有问题，大厨肯定烹饪不出色香味俱佳的大菜，数据有问题，数据分析师得出的结论自然也就不可靠，再好的数据分析方法论也只是建立在失真的数据基础上，苦心构建的数据体系当然也被白白浪费了。

2016-03-25 15:37:18

数据治理数据分析BI
大数据应该成为一种基本的使用和操作能力 原创
“大数据”之“大”，不仅仅源于其体量的庞大，更表现在它的无处不在。数据充斥在我们生产生活的方方面面，从大数据分析中获得竞争优势，已不再是所谓的高精尖企业或是高大上的科研项目的专利。它与劳动力、资本一样，开始为企业提供重要的生产因素。

2016-03-25 10:33:44

大数据百分点BD-OS数据处理
腾讯刘黎春：社交数据在征信领域的应用探索 原创
由51CTO举办的WOT”互联网＋”时代大数据技术峰会上，来自腾讯数据挖掘高级工程师刘黎春做了以《社交数据在征信领域的应用探索》为主题的演讲。本文章是把本次分享干货亮点的整理成文字形式，呈献广大的用户。

2016-03-24 11:05:22

社交数据征信应用
WOT2016卢学裕：小团队如何玩转大数据 原创
大数据能为企业带来什么?更多的订单，更低的成本，更快捷的管理，更新的业务模式。然而在每轮技术变革中，中小企业似乎都是被最后照顾到的。在这场新变革的席卷下，我们不禁又要问小团队，你的大数据在哪里?

2016-03-22 10:02:23

WOT2016创业团队大数据
RDD、DataFrame和DataSet的区别是什么
RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同：DataFrame多了数据的结构信息，即schema。RDD是分布式的 Java对象的集合。DataFrame是分布式的Row对象的集合。

2016-03-21 10:40:53

RDDSpark SQL数据集
用“下馆子”来理解推荐系统的版本演进
然后经过了这么多年的发展，信息进一步丰富，因为很多信息，我们根本就不知道它的存在，这时搜索引擎也不适用了，出现了推荐系统，将你想要的信息主动的推送给你。推荐系统是推荐商品的，但是它如何推荐的呢?以饭馆吃饭来举一波例子。

2016-03-21 10:31:39

推荐系统用户推荐用户画像
借助 Redis ，让 Spark 提速 45 倍！
提速幅度有多大?如果Redis和Spark结合使用，结果证明，处理数据(以便分析下面描述的时间序列数据)的速度比Spark单单使用进程内存或堆外缓存来存储数据要快45倍――不是快45%，而是快整整45倍!

2016-03-21 10:16:06

RedisSpark大数据处理
共筑Spark大数据引擎的七大工具 译文
Apache Spark不仅仅让大数据处理起来更快，还让大数据处理起来更简单、功能更强大、更方便。Spark并非只是一项技术，它结合了诸多部分，新的功能和性能改进不断添加进来，每个部分都在不断完善之中。

2016-03-21 09:56:41

Spark大数据处理Apache
星环科技上榜Gartner 2016年数据仓库及数据管理解决方案魔力象限

2016-03-18 11:00:37

企业网D1Net
如何使用队列数据分析来留住你的用户 译文
在种种数据分析工具中，有一种工具经常不被人使用，那就是队列分析。虽然队列分析是一种非常强大的分析方式，但因为它看起来非常复杂而总是被人放在一边。然而，队列分析能够为我们提供大量的有效结果，今天就让我们深入浅出的了解一下它。

2016-03-18 09:44:05

队列分析应用留存用户行为
上一页 1 ··· 145146147148149 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服