51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
给入门者，大数据分析工具的十条学习路径
虽然只有极少数人能够修炼成数据科学家这一21世纪最性感多金专业人士，但对于大多数非数据分析专业的IT人士来说，掌握对路的大数据工具同样意味着加薪和升值。鉴于市面上大数据分析工具琳琅满目日新月异，为了帮助大家少走弯路，我们为不同技术背景的IT专业人士整理了十条大数据分析工具的进修技术路径。

2016-12-26 15:27:13

大数据数据分析数据分析工具
人工智能的现状到底如何？ 译文
由于如今在人工智能和机器学习领域取得了种种进展，市面上似乎不断开始涌入充分利用认知功能的工具和解决方案。但是这些工具和解决方案是否真正体现了人工智能的含义呢?

2016-12-26 14:55:06

人工智能现状
【科普】搜索引擎的工作原理
今天写篇科普文，讲讲搜索引擎的技术机理和市场竞争的一些特点。当然，作为从事或有兴趣从事流量运营的朋友，是可以用另一个角度去理解本文。

2016-12-26 13:41:19

大数据搜索引擎工作原理
2016年“大数据”产业的“真实面目”
我们通过诸多神不知鬼不觉的走访、调查和分析，终于可以撕下“大数据”神秘的面纱，也确实搞明白了：数据处理技术如何才能服务于各个产业领域的技术升级和业态创新;同时也搞清楚了：为什么海内外相当一些所谓的“技术权威”及科研机构，能够靠玩概念、攒项目从政府和投资人那里攫取大把大把的资金，最后却没有实质性成果。而实实在在的大数据成果，却来自一流的IT企业内部。

2016-12-26 13:20:33

大数据真实面目动向
2016年大数据80篇爆款文章：这一年你追过的那些技术
2016年即将过去，各位大数据的程序员们，是否觉得这一年都不断的追着新技术跑?这个大数据公众号是今年一月底创立的，一年过去，我们积累了不少好内容。回过头来我们看看这一年的脚印，这里我按照文章内容做了一次汇总，分为：流处理、机器学习、用户画像、数据驱动、Hadoop、Apache Spark、Apache Kylin、Druid、推荐系统和大数据平台架构。

2016-12-26 13:03:13

大数据80篇爆款文章技术
解析2016年“大数据”产业的“真实面目”
数据处理技术如何才能服务于各个产业领域的技术升级和业态创新;同时也搞清楚了：为什么海内外相当一些所谓的“技术权威”及科研机构，能够靠玩概念、攒项目从政府和投资人那里攫取大把大把的资金，最后却没有实质性成果。而实实在在的大数据成果，却来自一流的IT企业内部。

2016-12-23 21:29:25

大数据解析动向
大数据将带来思维模式变化
所谓大数据，是信息化到一定阶段之后必然出现的一个现象，主要是由于信息技术的不断廉价化，以及互联网及其延伸所带来的无处不在的信息技术应用所带来的自然现象。基本上，大数据有四个驱动力，即摩尔定律所驱动的指数增长模式;技术低成本化驱动的万物的数字化;宽带移动泛在互联驱动的人机物广联连接;云计算模式驱动的数据大规模的汇聚。

2016-12-23 21:15:03

大数据思维模式变化
傅盛：深度学习是一种新的思维方式（上）
落后最怕的是思维方式的落后。深度学习绝不只是一场技术革命，或一种算法的改良。本质上，它是一种全新的理解用户和商业模式的思维方式。

2016-12-23 21:11:05

深度学习思维方式大数据
从商业视角理解数据：数据科学家的思维之路
在过去的几个月内，来自不同行业人不约而同问我能否提供一个端到端的视图，使他们了解成为一个数据科学家的思维过程。为这个问题寻找答案时，我想的不仅仅是提供一个端到端的视图过程，而是面对一个分析问题时我们应该更深入的了解他/她是怎么想的。

2016-12-23 14:56:49

数据科学商业视角思维
数据中心需要更加安全可靠的PDU电源
如今，传统电源分配单元(PDU)制造商不支持目前数据中心设施管理者所需的关键任务电源需求。他们以前的设计可能会继续对PDU维护人员带来不必要的危险。这些传统设备继续以低成本生产来进行创新，但是以安全为代价。为了确保企业投资最好的PDU产品，数据中心设施管理人员和工程师需要在PDU评估中分析一系列问题，以避免危险后果。

2016-12-23 14:51:49

数据中心PDU电源
数据中心开源网络现状及发展困惑
网络是数据中心里唯一一块未开放的处女地，网络协议实现具有私有属性，导致网络厂商之间的壁垒长期无法打破。早就有不少人看不惯这一点，尤其是数据中心用户，不同网络厂商的设备操作和配置风格不同，相同的协议实现上各有不同，很多还是自定义的私有协议，无法与其它厂商的设备互通，这给数据中心运维的工作带来了极大难度。

2016-12-23 14:47:44

数据中心开源网络
大数据平台技术发展脉络
作为集团“大数据平台技术”战略研究的准备工作，本文梳理了近年来作者观测到的大数据行业技术演进的路径，希望把握发展脉络，找到适合公司业务实际的方向。文章力求用通俗的方式描述概念，最大程度减少专业图表与细节，以便向公司管理层与业务部门同事介绍大数据平台技术的发展与趋势，这里分享给金融行业的朋友参考。

2016-12-23 14:43:37

大数据大数据技术大数据处理
数据科学家自曝工资单（1988-2016）
我想给大家讲讲从我读博士到今天，我的薪水历史和职位头衔以及职责的所有细节。

2016-12-23 14:36:24

数据科学大数据年薪
“大数据”产业的“真实面目”
“大数据”一词越来越火辣，煽情全球。出于一种职业精神和科学良知，我和我的团队，近几年来深入调研剖析“大数据”产业到底是怎么回事。从美国的SaaS、亚马逊、谷歌、苹果、思科到中国的华为、腾讯、浪潮及航天某某研究所;从美国北卡三角地、旧金山的硅谷、波士顿的哈佛及MIT到中国的北京中关村、深圳前海、清华大学及北大—-等等。

2016-12-23 14:29:41

大数据大数据思维大数据产业
海航生态科技舆情大数据平台容器化改造
本文介绍了海航生态科技舆情大数据平台的容器化改造经验，包括初期技术架构、应用容器化、架构迁移、持续发布与部署。

2016-12-23 14:20:10

海航大数据容器
盘点大数据:市场一片繁荣，未来发展空间更大
在2016年的中国大数据产业峰会上，专家预测，未来5年，中国大数据产业规模年均增长率将超过50%，到2020年中国的数据总量将占全球数据总量的20%，成为世界第一数据资源大国和全球数据中心，市场规模有望达到2万亿元。

2016-12-23 09:35:35

大数据预测经济
深度学习框架TensorFlow在Kubernetes上的实践
神经网络最早受到人类大脑工作原理的启发，我们知道人的大脑是很复杂的结构，它可以被分为很多区域，比如听觉中心、视觉中心，我在读研究中心的时候，做视频有计算机视觉研究室，做语言有语言所，语音有语音所，不同的功能在学科划分中已经分开了，这个和我们人类对大脑理解多多少少有一些关系。之后科学家发现人类大脑是一个通用的计算模型。

2016-12-23 09:09:54

TensorFlowKubernetes框架
大数据到底是不是“算命”？技术大牛们这样说
TBO(旅游商业观察)：“如果你只有一堆人的电话号码，这可能没多大意义。但像携程的数据，比如所有人提前预订、搜索、浏览、点评的信息等，这就是有价值的。

2016-12-23 09:04:56

大数据技术BAT
A/B 测试之前必须要了解的 10 件事
转化率优化(CRO)已是营销人员必须具备的技能，并且与 ROI 直接挂钩。但是在优化网页的转化率方面又有太多因素要考量，如果你已经不堪其忧，请专心做一件事—— A/B 测试。

2016-12-23 08:59:00

AB 测试CRO
大数据的未来掌控于数据集成
大数据，即用于数据分析帮助商业等方面决策的大数据集，已经发展成熟，然而它的发展速度却丝毫没有减慢的迹象。

2016-12-23 08:48:38

大数据集成分析
看行业观察家和技术专家对大数据在2017年的发展预测
又到了年终岁尾时，业界权威市场研究和咨询机构Ovum公司日前估计，大数据市场规模将从2016年的17亿美元增长到2020年的94亿美元。随着市场的增长，企业的挑战正在转变，对人们的技能需求正在改变，而大数据服务供应商的景观也在风云变幻。2017年将是大数据专业人士更为忙碌的时刻。以下是一些来自相关行业观察家和技术专家对大数据在2017年的发展预测。

2016-12-22 17:11:24

大数据大数据发展趋势Ovum
爬取知乎60万用户信息之后的数据分析
使用 Java+Elasticsearch+Kibana 爬取了知乎 60 万用户数据，做了简单的可视化分析。

2016-12-22 17:01:11

知乎数据分析大数据
2016大数据领域最有“钱”途的十大职业
小编精心整理了2016年大数据领域的十大高薪职业，大家可以为即将到来的2017定个小目标，想要到达什么样的高度?祝愿你能在职业生涯中有更多突破，早日走上人生巅峰!

2016-12-22 16:48:25

大数据数据科学家就业岗位
数据中心监控自动化中的两个常见问题
如今，数据中心越来越趋于自动化，并已成为数据中心良好运营的强大力量。以下列出在数据中心监控自动化中经常出现的两个主要问题。

2016-12-22 15:31:47

数据中心监控自动化警报
数据中心NFV技术可靠性研究
NFV是网络运营商主推的网络虚拟化技术，这有利于大幅降低网络运营商的设备采购成本。不过，运营商需要的是高可靠性的网络，对网络可靠性要求最高，但看看我们应用了虚拟化技术的表现，2015年十大云计算宕机的收入损失超过了31 Million美元，显然这样的技术无法满足运营商的可靠性要求。运营商当然不愿意放弃自己提出来的NFV，更何况还有SDN跃跃欲试，那该怎么办?本文给出了一些提升NFV可靠性的思路。

2016-12-22 15:27:22

数据中心NFV运营商
三剑齐发 蓄势出击：亚信新一代PaaS产品重磅发布 原创
亚信数据历经近3年的研发投入与项目实践，打造出了亚信分布式数据库系统ADB、高性能云计算平台HPS、大数据云平台DCP三款产品，旨在共同构建一套完整的PaaS平台解决方案。

2016-12-22 11:21:48

亚信PaaS
【干货】怎样用数据分析找对象
在工作中，经常利用多个数据指标对整体进行综合评价，需要把多个数据压缩成一个综合指标，这就是多指标综合评价方法。 专业术语的名称能吓死人，不用深究。实际内容很简单，一个案例你就可以完全掌握。

2016-12-22 10:44:30

数据分析找对象大数据
报表系统的雄心
这周有朋自远方来，聊了对报表工具的看法，因此专门写篇文章来谈谈报表系统的未来。

2016-12-22 10:30:45

报表系统大数据
挨踢部落第一期:Spark离线分析维度 原创
挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2016-12-22 10:26:16

大数据 spark
用KNIME建立客户流失模型
PMML是一种可以呈现预测分析模型的事实标准语言，用于呈现数据挖掘模型。预测分析模型采用定型过程中获取的知识来预测新数据中是否有已知模式。

2016-12-22 10:00:18

KNIME流失模型
Hadoop如何迎击大数据分析的挑战
大数据分析是现在十分火热的话题，从农业到工业、从金融到体育、从传统企业到初创公司，各行各业都在积极应用大数据分析，似乎你的企业不和大数据沾点边就会显得没有逼格一样。

2016-12-22 09:52:13

Hadoop大数据分析
烧钱圈地后，医疗大数据如何变现？
通过平台实现资源、流程和数据的整合后，我们建立了三大数据中心，即前台的临床数据中心(CDR)、后台的运营管理系统(人力资源、财务、固定资产、物流采购库存统一管理的系统)，以及医院的影像数据中心。

2016-12-22 09:42:35

医疗大数据变现
设计模块化数据中心
当数据中心业界的人们听到“模块化数据中心”(MDC)这个术语时，其实每个人对于MDC的真正感觉印象都是不同的。MDC的采用已经呈现出上升趋势：根据IDC的调研报告显示，表示在过去18个月中，已经对其数据中心进行了重大改造的74%的受访者，约有87%的受访者表示，他们所在的数据中心部署了模块化，预制或容器集装箱式的数据中心组件。但这一现状并没有减轻数据中心行业的大多数人(无论其是关注于IT还是基础设施)对于不同类型的模块化数据中心缺乏一致性的理解。

2016-12-21 17:02:35

数据中心MDC模块化
以备万一：创建数据中心关机程序
一份数据中心关机检查表能够帮助IT团队在关闭电源和损失全部有价值数据之前，集中进行备份、测试以及系统验证等事项。 尽管策略和流程是现代IT的关键，但每当需求提升时，数据中心管理员往往来不及关闭设备。需求就像接近中的暴风雨那样富有戏剧性，也可能市政电网升级那样司空见惯。

2016-12-21 16:58:50

数据中心备份发关闭程序
演讲干货丨大数据的“上半场”与“下半场”
当大数据被广泛应用并逐渐走到下半场的时候，对于公司或产品，我们面临怎样的机会和问题，我们又当如何科学的对待?

2016-12-21 16:53:51

大数据互联网阿里
如何通过TensorFlow实现深度学习算法并运用到企业实践中
本文根据才云科技首席大数据科学家郑泽宇在QCon2016全球软件开发大会(上海站)上的演讲整理而成，希望大家可以了解如何通过TensorFlow实现深度学习算法，并将深度学习运用到企业实践中。

2016-12-21 16:40:22

TensorFlow深度学习算法大数据
数据仓库中的SQL性能优化（Hive篇）
一个Hive查询生成多个map reduce job，一个map reduce job又有map，reduce，spill，shuffle，sort等多个阶段，所以针对hive查询的优化可以大致分为针对M/R中单个步骤的优化，针对M/R全局的优化，和针对整个查询（多M/R job）的优化，下文会分别阐述。

2016-12-21 12:46:47

数据仓库SQLHive
Hadoop大数据面试--Hadoop篇
本篇大部分内容参考网上，其中性能部分参考：http://blog.cloudera.com/blog/20 ... reduce-performance/、http://www.idryman.org/blog/2014 ... ing-best-practices/

2016-12-20 18:21:29

Hadoop大数据面试
Hadoop2.6.0自动化部署脚本（一）
最近自己写了一个Hadoop自动化部署脚本，包括Hadoop集群自动化部署脚本和Hadoop增加单节点自动化部署脚本。需要快速部署Hadoop集群的童鞋可以使用该脚本。这些脚本我在用5台虚拟机进行了测试，如果在使用中还有bug，欢迎指出。本文主要介绍Hadoop集群自动化部署脚本，安装的Hadoop版本为2.6.0。

2016-12-20 16:47:25

Hadoop部署脚本
iPhone步行数据分析教程
本文中我将展示如何利用 pandas 和 ggplot 来分析 iPhone 的步行数据，我主要利用 Rodeo(Yhat’s 的 IDE)来进行数据分析。

2016-12-20 16:42:57

iPhone数据分析
Apache CarbonData:大数据生态一种新的高性能数据格式
Apache CarbonData是一种新的高性能数据存储格式，针对当前大数据领域分析场景需求各异而导致的存储冗余问题，CarbonData提供了一种新的融合数据存储方案，以一份数据同时支持“任意维度组合的过滤查询、快速扫描、详单查询等”多种应用场景，并通过多级索引、字典编码、列存等特性提升了IO扫描和计算性能，实现百亿数据级秒级响应。CarbonData是由华为开源贡献到Apache基金会的大数据项目，致力于推动大数据开源生态技术的发展。

2016-12-20 16:40:13

CarbonData数据存储大数据
高速光模块在数据中心里应用时遇到的现实问题
数据中心对40G/100G的高速光模块需求旺盛，但是在实际应用中遇到的阻力却不少，这使得数据中心扩容的脚步被迫慢了下来。当然，这其中有多方面的综合因素：技术成熟度、成本、维护难度等等都影响了高速光模块在数据中心里的普及度。本文接下来就说一说高速光模块在数据中心里应用时，时常遇到的一些现实问题，存在哪些困境。

2016-12-20 16:28:49

数据中心高速光模块
数据中心的精密冷却散热：需要更高水平的专业服务
今天的数据中心正在快速的发生变化，而确保支持基础设施的每款组件都能够保持以最高的效率和可靠性运行显然比以往任何时候都更为重要。数据中心关键冷却系统发生故障可能会导致停机中断，并会导致企业服务、资金和客户商誉蒙受损失。

2016-12-20 16:24:53

数据中心冷却散热
从数据中获取价值(二)：多类型分析
很久很久以前，认真处理数据并对其进行分析是决定企业生死的关键要素。然而现在，情况却已经变了。

2016-12-20 16:21:18

大数据数据分析
从数据中获取价值(一)：数字化渠道及物联网
每时每刻，我们都在遇见新类型的数据;它们可能来源于业务单元中的数据集市，或者是来源于数字化渠道或物联网的粒度更细的数据。尽管数据调查的方式可能变得越来越困难了，这些新的数据来源(通常从未被获取过)为我们创造了机会去发现新的洞察。新型数据和数据来源的复杂性和数据的格式问题阻碍了我们对这些数据的利用。

2016-12-20 16:18:24

物联网大数据
利用Scikit Learn的Python数据预处理实战指南
简而言之，预处理是指在你将数据“喂给”算法之前进行的一系列转换操作。在Python中，scikit-learn库在sklearn.preprocessing下有预装的功能。有更多的选择来进行预处理，这将是我们要探索的。

2016-12-20 16:07:13

Python数据预处理
企业大数据分析实践指南、总结与展望
到2020年，全世界将有上百万大数据相关的就业机会产生。这些庞大的数据蕴藏了宝贵财富，企业可以使用最先进的分析技术，利用这些数据更好地了解客户的行为，识别商业机会，制定运营战略。

2016-12-20 16:03:08

大数据分析大数据
腾讯大数据宣布推出第三代高性能计算平台Angel 并于2017年全面开源
腾讯大数据宣布推出面向机器学习的第三代高性能计算平台——Angel，并预计于2017年一季度开放其源代码，鼓励业界工程师、学者和技术人员大规模学习使用，激发机器学习领域的更多创新应用与良好生态发展。

2016-12-20 15:59:05

腾讯大数据Angel
大数据行业图谱之(1)：底层基础平台公司能做多大？
整个大数据行业可大致分为三层，底层基础平台，中间层通用技术，上层行业应用。接下来，爱分析将按照上述分类，逐步介绍各细分领域的行业现状、未来前景。今天是大数据系列的第一篇——底层基础平台。

2016-12-20 15:56:57

大数据行业底层基础平台大数据技术
大数据行业图谱(2)：前有堵截，后有追兵，通用技术类公司如何突围
大数据技术逐步提升，对大数据产业划分也越来越细致。从基础设施到行业应用，各个赛道都涌现出大量创新公司，有些代表着最新的技术和应用，有些则是借助大数据概念炒作。如何识别有前景的赛道、找出有价值的公司，成为市场新的关注点，这也是爱分析大数据行业图谱系列报告的主旨所在。

2016-12-20 15:40:05

大数据技术大数据产业
上一页 1 ··· 129130131132133 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服