51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9063内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9063 条
航运大数据的罗生门
写这样的一篇文章，并不是要为航运大数据泼一盆冷水，而是希望与所有正在关注、从事航运大数据的朋友们共勉，路漫漫其修远兮，不论今天大数据的概念如何风光，明天大数据的概念是否会被淡忘，只要我们坚信数据中蕴含着能让航运业变革的重要信息，我们就要踏踏实实的把大数据做成实事，真正做好，不忘初心、上下求索!

2016-11-15 14:31:31

大数据航运大数据
神策分析的技术选型与架构实现
很多朋友很想知道神策分析(Sensors Analytics)是如何实现在每天十亿级别数据的情况下可以做到秒级导入和秒级查询，是如何做到不需要预先指定指标和维度就能实现多维查询的。今天正好在这篇文章里面，和大家交流一下我们的技术选型与具体的架构实现，希望能够对大家有所启发。

2016-11-15 14:18:09

神策分析大数据数据分析
机器学习和数据挖掘的联系与区别
小编说：从数据分析的角度来看，数据挖掘与机器学习有很多相似之处，但不同之处也十分明显，例如，数据挖掘并没有机器学习探索人的学习机制这一科学发现任务，数据挖掘中的数据分析是针对海量数据进行的，等等。从某种意义上说，机器学习的科学成分更重一些，而数据挖掘的技术成分更重一些。

2016-11-15 14:08:02

机器学习数据挖掘
Apache Spark的Lambda架构示例应用
目前，市场上很多玩家都已经成功构建了MapReduce工作流程，每天可以处理TB级的历史数据，但是在MapReduce上跑数据分析真的太慢了。所以我们给大家介绍利用批处理和流处理方法的Lambda架构，本文中将利用Apache Spark(Core，SQL，Streaming)，Apache Parquet，Twitter Stream等实时流数据快速访问历史数据。

2016-11-15 14:07:28

Apache SparLambdaHadoop
商业智能如何破解大数据谜题？
近日，可视化分析企业 Qlik 和Forbes Insights 发布了来自全球商业智能调查的结果，表示商业智能正在为绝大多数接受调查的公司带来重要价值，并且未来还会带来更多价值。这意味着信息化的数据管理将为企业实现更多可能性。

2016-11-15 11:12:15

商业智能大数据数据库
微软为何将全部赌注押在人工智能技术身上？ 译文
微软已经将人工智能的地位提升至与Windows、Office以及云服务相对等的水平。

2016-11-15 11:10:11

微软人工智能
大数据为企业带来了竞争优势的4种方式
不久前，“大数据”只是一个时髦的词。如今，“大数据”已成为增长最快的技术之一。根据SNS研究公司的一个新的研究报告，目前全球大数据市场价值为460亿美元，而这个报告预测，到2020年底，全球各行业厂商将在大数据硬件上花费超过720亿美元。

2016-11-15 10:32:35

大数据
澳大利亚政府大数据应用六个方向
澳大利亚政府信息管理办公室发布公共服务大数据战略，该战略将以“数据属于国有资产，从设计着手保护隐私，数据完整性与程序透明度，技巧、资源共享，与业界和学界合作，强化开放数据”等六条大数据原则为支撑，旨在推动公共行业利用大数据分析进行服务改革，制定更好的公共政策，保护公民隐私，使澳大利亚在该领域跻身全球领先水平。

2016-11-15 09:54:19

澳大利亚政府大数据
医疗大数据盈利模式困难重重，“健康大数据+保险”相对更加可靠
应用市场上，值得关注的是健康保险。一些保险公司雄心勃勃，加上强大的资本势力，从去年开始，加快布局“健康管理+保险”，创新了险种、销售模式，开始从行业下游转到行业上游。

2016-11-15 09:50:47

大数据医疗盈利模式
数据中心何时能摆脱夜夜割，蓝瘦香菇
数据中心何时才能摆脱夜夜割的状态，将运维人员的压力释放出来?很多的数据中心已经发现了这个问题的严重性。过于频繁的夜夜割状态，不仅给数据中心带来运行风险，也增加了运维人员的极大工作负担。当然最好的方式是数据中心不出问题，可不出问题就算能做到，设备自然老化、新业务部署都是不可避免的，还是逃不过要做业务割接、变更。现在将数据中心放在了云上，就有了可能，所有的操作都是在云平台上完成。

2016-11-15 09:49:20

数据中心割接
大数据统一的批处理和流处理标准 Apache Beam
Apache Beam 的主要目标是统一批处理和流处理的编程范式，为无限，乱序，web-scale的数据集处理提供简单灵活，功能丰富以及表达能力十分强大的SDK。

2016-11-15 09:44:21

大数据批处理流处理
你们是不是真的很缺大数据工程师？
其实个人在大数据在大数据这个坑中，细细算来，时间也有3+年了，从一开始做大数据中心平台开发构建，到现在关注的数据上层应用挖掘。所以，基本上从数据收集->数据处理(离线实时，并且还勉强算是国内实时处理早期的实践者)->数据上层应用挖掘，这个链路都走了一遍。所以，有些东西、有些想法我还是愿意分享出来的，畅所欲言吧~~

2016-11-15 09:43:56

大数据数据工程师
Apache Kylin发布新版流处理引擎
新版流式构建是在Kylin v1.5的"可插拔 "架构下的一个完美实现︰ 将Kafka主题视为一种数据源，实现相应的适配器，将数据先抽取、转换和保存到 HDFS，接下来使用各种Kylin的构建引擎(MR/Spark等)对数据进行并行计算 。

2016-11-15 09:34:14

Apache Kyli流处理引擎
中国即将面临“大数据人才荒”
大数据是新一代科技浪潮中的核心科学技术。2015年国务院印发《促进大数据发展行动纲要》，高屋建瓴地为大数据在各个领域的应用和发展提供指导。

2016-11-15 09:29:04

大数据人才重视
利用大数据取得成功的7条建议
就在您认为大数据不可能再变大时，它还在不断变大。 无论其实际大小，大数据正在显示价值。 各个地方的组织都有各种形态与大小的大数据。 这些组织意识到其重要性、机遇以及给予关注的迫切需要。 很显然，无论忽略与否，大数据都会不断发展。

2016-11-14 18:30:32

大数据Hadoop
Apache Beam: 下一代的大数据处理标准
本文主要介绍Apache Beam的编程范式-Beam Model，以及通过Beam SDK如何方便灵活的编写分布式数据处理业务逻辑，希望读者能够通过本文对Apache Beam有初步的了解，同时对于分布式数据处理系统如何处理乱序无限数据流的能力有初步的认识。

2016-11-14 18:17:42

Apache Beam大数据
大数据新算法在个人信用风险评估模型中使用效果的评估
中国人民银行征信中心联合北京至信普林科技有限公司，选取了五种大数据新算法，分别为支持向量机(SVM)、决策树、随机森林、自适应提升(AdaBoost)和梯度提升决策树(GBDT)，全面评估和比较上述五种算法在个人信用风险评估模型中的效果，包括稳定性、准确性与可解释性，以进一步理解相关算法在评分上的优势与短板。

2016-11-14 15:04:35

大数据信用风险评估
如何更有价值采集数据、高效分析数据？
用户行为数据的意义和价值《为什么要进行用户行为分析?》，以及互联网产品用户模型的构建，这其中就包含了对数据的采集和分析两大块儿，本文将从数据采集的三大要点、如何让分析更有价值更高效、以及数据分析思维三部分展开聊。

2016-11-14 14:57:32

大数据采集数据分析数据
大数据是奢侈品 消费金融行业防欺诈难题待解
大数据是防治欺诈和老赖的最好手段，但在中国现阶段，大数据本身仍存在数据不全面问题，且大数据非常烧钱，目前还只是行业内巨头才能玩得起的奢侈品。应对欺诈和老赖的手段强弱，直接决定了消费金融企业的坏账率的高地。但就目前来看，这一问题仍有待解决。

2016-11-14 14:53:25

大数据奢侈品消费金融
如何立足Hadoop成功建立商务智能：七项必备诀窍

2016-11-14 14:45:00

Hadoop诀窍商务
Hadoop工具让数据仓库迁移更轻松
从高成本数据仓库将任务卸载有时被看做是Hadoop商用集群的首要目标。迁移提取、转换、加载(ETL)、查询以及报告工作并不能显著改变商业模式，但它可能会抑制数据仓库的增长和成本。

2016-11-14 10:23:08

Hadoop工具大数据数据仓库
为你解读数据中心的内部电源
现如今，尽管IT业界的各种新兴技术可能正发生着各种突飞猛进的快速变化，但每家数据中心仍然需要依赖电力资源的消耗来维持其运行能力。故而，数据中心运营商们仍然需要通过更新电源使用、冷却和电气设计方案，来提高数据中心的运营效率。

2016-11-14 10:17:41

数据中心冷却技术能源效率
数据分析流程这么长，产品经理如何一人搞定？
我2002年入行，那个时候还没有“产品经理”这个词，我的主要工作是为业务部门跑数据并且制作报表，就是传说中“跑数据”、“做报表”的那个苦逼数据仓库工程师。

2016-11-14 10:09:49

数据分析产品经理Growth
大数据处理问题及解决方法
大数据,就是指种类多、流量大、容量大、价值高、处理和分析速度快的真实数据汇聚的产物。

2016-11-14 10:06:04

大数据max位图
三位创业者解答：大数据创业的价值、模式和挑战
近几年来，大数据的应用场景扩展到几乎每一个垂直行业。在得到资本青睐的同时，也面临着如何将数据的价值最大化利用，如何面对信息监管等诸多问题。在日前IT桔子·腾讯云沙龙“对话垂直行业大数据×创业”活动中，三位大数据方向的创业者解读了大数据创业者的动力和迷茫，也回答了诸多大家关心的问题。

2016-11-14 10:04:22

大数据大数据创业大数据行业
初学hadoop的心路历程
在学习hadoop之前，我就明确了要致力于大数据行业,成为优秀的大数据研发工程师的目标，有了大目标之后要分几步走，然后每一步不断细分，采用大事化小的方法去学习hadoop。下面开始叙述我是如何初学hadoop的。

2016-11-14 10:00:29

hadooplinux大数据
Excel自服务式商业智能在企业运营分析中的应用
今天我们来看一下分析人员常常要面对的问题和如何通过使用Excel中的自服务式商业智能-Power BI系列组件进行相应改善。

2016-11-13 11:35:55

商业智能运营分析Excel
大数据行业图谱之（1）：底层基础平台公司能做多大？
大数据是企业服务市场中的新兴领域，短短几年时间，大数据概念从兴起到落地，开始在各行各业发挥作用，行业政策频出，技术飞速发展，受到资本追捧。

2016-11-11 20:58:19

数据行业底层基础平台Hadoop
2016数据科学从业者薪酬报告：你值多少钱?
O’Reilly 近日发布了数据科学从业者薪酬报告(2016 Data Science Salary Survey)，分析了来自45个国家的近千份调查报告后，针对数据科学从业者使用的工具、薪酬待遇等问题进行了详细分析解读，并从调查结果中得到一些有趣的结论。

2016-11-11 20:46:01

数据科学大数据Python
如何成为一名数据分析师：必备技能 TOP5
数据分析师指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。

2016-11-11 20:38:39

数据分析师大数据
给Hadoop初学者的一些建议
零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop并没有太大的困难。下面整理一下整个学习过程，给大家一个参考。

2016-11-11 20:33:53

Hadoop大数据云计算
数据倾斜是多么痛？spark作业调优秘籍
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。

2016-11-11 20:16:23

数据倾斜spark
大数据落地背后 是未来“数据主义”的前奏？
翻看科技发展史，当某些跨时代的技术转捩点来临之时，两种状况似乎同时出现：大众观念里的鸡同鸭讲，以及，从业者对于概念追逐的狂热。近几年一个好例子即是：大数据。

2016-11-11 20:12:46

大数据数据主义
数据中心安全防御大法大放送
数据中心是在不断变化的，尤其现在应用需求多种多样，数据中心需要不断地去变化，才能适应这些应用，和传统的数据中心不同，现在数据中心里应用最普及的就是虚拟化技术，数据中心虚拟化后，安全问题就已突显出来。那么新时期下，如何更好地做好数据中心安全防御呢。

2016-11-11 19:51:35

数据中心安全防御安全
关于工业物联网的8点小知识 译文
物联网这个术语用来描述这种做法：将日常物件连成网络，旨在收集和分析数据，以便简化流程，并使流程自动化。但是一旦你开始设计特定的物联网项目，就会开始认识到：物联网的好处和挑战大不一样，这取决于具体目标。如果你为工业环境设计物联网项目，差异来得还要明显。

2016-11-11 10:44:00

工业物联网
百度开放云联手可视化分析领导者Qlik，推动国内商业智能发展
近日，百度开放云和全球知名可视化分析公司Qlik签署合作协议，Qlik正式成为百度开放云在中国市场的数据分析合作伙伴。双方将在战略层面上进行合作，百度开放云的云服务结合Qlik优秀的可视化分析技术，为中国企业提供更完美的数据分析体验，推动国内商业智能发展。

2016-11-10 11:32:54

Qlik商业智能大数据
中国市场主流商业智能工具的对比
从2013年开始做单位的数据决策分析系统以来，接触了很多国内外的商业智能工具，向领导整理汇报了不少工具对比的报告，这里我再汇总并分享一下。

2016-11-10 11:20:07

商业智能商业智能工具分析平台
大数据和精准投放是广告行业的一场变革
互联网广告之所以有如此的发展态势，中国广告协会副秘书长周玉梅在出席上述峰会时表示，根本原因在于在数据跟踪基础之上的广告精准投放，对广告业的影响巨大。数据和精准投放是广告行业的一场变革，特别是关于大数据的采集、分析和应用，这是决定整个广告业下一步发展变化命运的大事。

2016-11-10 09:39:03

大数据精准投放广告
6个公司的大数据岗位的面试经验
本人住在有人间天堂之称的城市，6年多开发经验，最近2年主要在做大数据相关的开发，最近考虑换工作，基本也只考虑大数据相关岗位。

2016-11-10 09:26:18

大数据岗位面试
深度解析制约大数据发展的三大因素
大数据如浪潮般席卷全球。越来越多的国家开始从战略层面认识大数据，中国亦如此。然而任何发展都不应盲目跟从，而应该在发展中不断认识其发展的意义与遇到的困难挑战，要做到及时发现总结，才能更好的发展。

2016-11-10 09:19:59

大数据制约发展
四大银行的CIO们如何看待大数据
从十二五走到十三五期间，银行业面临的各方面的压力越来越大，从我们的年报数字可以看出去年四大行的利润增长基本上趋近于零增长。在这样的情况下，我们怎样通过IT的引领提升传统银行的竞争力，这是摆在我们面前的一个很重要的课题。

2016-11-10 09:03:27

CIO大数据银行
图文教程，8步教你变身数据科学家
现在你已经知道了数据科学家是干什么的了，接下来就可以培养自己成为一名数据科学家了。下面让我们用图文相结合的方式，8步教你变身数据科学家。

2016-11-10 08:44:45

数据挖掘分析
新时代：生态引领数据未来 原创
近日，海云数据产品发布会于北京正式开幕。此次发布会，不仅拉开了图易5.0正式上线的帷幕，同时，也为大数据的落地应用勾勒出新篇章——“图易大数据决策产品生态平台”。

2016-11-09 15:57:50

生态数据
透析国家安全视野中的大数据发展问题
有学者指出：“未来国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力，数字主权将成为继边防、海防、空防之后另一个大国博弈的空间。”[2]因此，在国家安全视野中的我国大数据发展，摆脱国外技术依赖、防范境外资本控制、警惕思想上对大数据安全的麻痹懈怠，这三件大事应当及早提到议事日程上来。

2016-11-09 15:52:04

大数据安全大数据互联网
简述数据中心四种数据备份方式 你get到了吗？
数据中心全年不休地运行，一旦发生不可预知的灾难，对数据中心来说将是一笔不小的损失。如果造成设备损坏等有形的损失，都还好，至少还能弥补修复，但如果是宝贵的数据丢失，造成的损失则是无法计算的，所以部署有效的数据备份系统尤为重要。万一发生一些故障造成了数据丢失，还可以从备份系统中将数据还原回来，这就要使用数据备份技术。

2016-11-09 15:46:43

数据中心大数据数据备份
带你了解超大规模数据中心究竟有何不同？
本文是作者Mary Branscombe在参观完微软公司位于华盛顿州昆西的超大规模数据中心之后所撰写的一篇手记，从文中，我们可以看出云数据中心在过去的十年中究竟走了多远。

2016-11-09 15:40:15

大数据数据中心云数据中心
教你如何设计公司内部的数据平台
何为数据产品?从广义上讲，一切以数据作为驱动或者核心的都叫数据产品(例如数据报表平台、DMP、搜索与精准化产品、风控产品等等)，从狭义上讲，就是公司的内部数据平台。今天和大家讨论的，主要是关于公司的内部数据平台的搭建。

2016-11-09 15:36:19

数据平台大数据
干货分享：企业大数据的实时分析之路
近日，“2016易观A10大数据应用峰会”主论坛“大数据基础框架设计-实时分析技术平台洞察与实践”上，易观CTO郭炜发表了“企业大数据的实时分析之路”的主题演讲，从技术角度给大家讲述如何用实时分析帮助企业进行数据运营。

2016-11-09 15:23:44

大数据数据分析
各有千秋的三大数据阵营
各有千秋的三大数据阵营：数据拥有者、数据应用、数据核心技术拥有者......

2016-11-09 15:18:04

大数据数据市场
深度解析制约大数据发展的三大因素
近来，大数据如浪潮般席卷全球。越来越多的国家开始从战略层面认识大数据，中国亦如此。然而任何发展都不应盲目跟从，而应该在发展中不断认识其发展的意义与遇到的困难挑战，要做到及时发现总结，才能更好的发展。

2016-11-09 15:13:57

大数据鄂维南大数据行业
上一页 1 ··· 134135136137138 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服