51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9063内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9063 条
大数据应用发展史：从搜索引擎到人工智能
你看，在数据仓库时代，只要有数据，几乎就一定要进行统计分析，如果数据规模比较大，我们就会想到要用Hadoop大数据技术，这也是Hadoop在这个时期发展特别快的一个原因。技术的发展同时又促进了技术应用，这也为接下来大数据应用走进数据挖掘时代埋下伏笔。

2018-11-06 12:58:43

大数据人工智能搜索引擎
数据湖对初创公司分析工作至关重要的五个原因
在大数据行业围绕数据湖的争议往往集中在他们认为的缺点上。数据湖非常没有结构化、太宽泛和太难管理。无论如何，数据湖具备了使其有独特价值的关键特征，尽管这些特征相对较新，但对初创公司尤其有用。

2018-11-06 12:16:10

数据湖初创公司大数据
苏宁数据仓库应对数据爆发式增长的技术演进 原创
随着公司业务不断发展，数据种类和存储呈现爆发式增长，繁多的业务数据如何被各业务中心分析和使用，如何有效组织和管理大量业务数据，减少大数据平台相近逻辑重复计算、相近数据重复存储，都将面临巨大挑战。

2018-11-06 09:30:38

数据仓库架构苏宁
如何进阶成为一名数据科学家？
数据科学家-21世纪最性感的工作-可以说是每个数据分析师的最终目标，既然拿到的Stack Overflow调查问卷中含有数据分析师和数据科学家的数据，那本次报告的任务就是横向对比一下数据分析师与数据科学家，让大家对自己的未来的技能树选择能有多一点的数据支持。

2018-11-05 17:33:34

数据科学家数据分析数据
纵观30年5000多部国产电视剧，豆瓣评分最低的演员原来是……
今天我们通过爬取豆瓣上近5000部有评分的国产电视剧(不包括港台剧)，对比一下剧集以及参演演员的评分情况。本次我们爬取的数据来源主要分为三个部分：分别是有评分的剧集列表、剧集评分及其他信息、演员信息。

2018-11-05 16:18:28

数据电视剧演员
大数据分析在新型智慧能源建设中的应用
智慧能源已经是我国重要的战略方向。国家在近年发布了一系列相关政策，明确提出提高可再生能源的利用率，都在指向新型、更智慧化的能源体系建设。大数据、人工智能在行业转型过程中至关重要，值得深入研究、重点把握。截至去年底，我国能源行业大数据应用市场规模已达8.29亿元人民币，近5年投资规模都有较大增长。

2018-11-05 15:24:20

数据分析智能能源生产端
什么是流式大数据，处理技术、平台及应用
大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术。根据数据处理的时效性，大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。

2018-11-05 15:15:38

大数据流式数据互联网
海量数据条件下，企业自定义数据分析需求的实现 原创
本文我们设计出了一套可以快速响应苏宁各业务部门数据需求分析的工具，不仅支持多维度的自由组合、个性化的设置，而且还能快速统计出用户随机指定的相关维度、指标数据。高效实现了用户的个性化需求，达到创新!

2018-11-05 09:00:13

苏宁易购数据分析
为什么说大数据会从ABC里先掉队
人工智能(AI)，大数据(big data)和云计算(cloud computing)三大技术被认为是当今互联网争夺的关键点。而三大技术中中争议最多的在于大数据技术，被夸大的效果和局限性的应用，很可能会让大数据成为ABC三大技术中最先掉队的一个。

2018-11-03 16:49:22

大数据互了网人工智能
值得推荐的5种数据科学工具
最近我们采访了各个行业中经验丰富的数据科学家，询问他们最常使用的工具。下面是我们从中精心挑选的5个工具。

2018-11-01 08:49:28

数据科学数据科学工具数据分析
Splunk 助力Trek-Segafredo车队发挥数据价值
致力于将数据转化为行动和价值的Splunk公司（NASDAQ：SPLK）宣布与Trek-Segafredo男子和女子自行车队建立全球合作伙伴关系，这两支车队均属于制造和销售自行车以及骑行装备的跨国公司Trek。

2018-10-31 16:31:00

SplunkTrek-Segafr数据
未来互联网+大数据时代，DT革命互联网大数据应用简析
未来应该是移动互联网+大数据并存的时代，未来企业之间的竞争是数据的竞争。本文从互联网大数据发展现状、市场规模、需求分析、商业大数据价值、信息安全性、企业发展形态等方面简要分析在DT时代下互联网大数据应用。

2018-10-31 11:06:48

互联风大数据DT时代
数据科学家应当了解的五个统计基本概念
本文讲述了数据科学家应当了解的五个统计基本概念：统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计。从高的角度来看，统计学是一种利用数学理论来进行数据分析的技术。

2018-10-31 11:00:06

数据科学统计贝叶斯
新型僵尸网络目标锁定Hadoop服务器，利用“肉鸡”发动DDoS攻击
一个最新被发现的僵尸网络正在将Hadoop集群作为其感染目标，试图利用它们的计算能力发动分布式拒绝服务(DDoS)攻击。

2018-10-31 10:53:51

Hadoop服务器DDoS攻击
为何我国大数据市场规模不敌小龙虾？
今年以来，根据中国信息通信研究院《中国大数据发展调查报告2018》数据显示，2017年我国大数据市场规模为236亿元(该统计口径是大数据核心产业，包括大数据软件、硬件和服务的直接产值，不包括附加值)。而同年，我国小龙虾产业连年快速增长，市场规模超千亿元。

2018-10-30 15:09:13

大数据市场规模问题
一文读懂Apache Flink技术
Flink是一款分布式的计算引擎，它可以用来做批处理，即处理静态的数据集、历史的数据集;也可以用来做流处理，即实时地处理一些实时数据流，实时地产生数据的结果;也可以用来做一些基于事件的应用，比如说滴滴通过Flink CEP实现实时监测用户及司机的行为流来判断用户或司机的行为是否正当。

2018-10-30 11:10:05

Flink数据集计算
数据科学项目管理中的“黄金标准”
我想大多数人至少承认这一点：“你的研究需要让其他人能够轻松地理解你在项目中做了什么，并能复制这些结果”。此外，你还得对文件的命名方式多加注意，具体做法如何，我们一起来看看吧。

2018-10-28 18:30:51

数据科学数据项目管理
数据挖掘领域十大经典算法之—CART算法（附代码）
CART与C4.5类似，是决策树算法的一种。此外，常见的决策树算法还有ID3，这三者的不同之处在于特征的划分：ID3：特征划分基于信息增益、C4.5：特征划分基于信息增益比、CART：特征划分基于基尼指数。

2018-10-27 15:47:35

CART算法决策树
Commvault助力山东省立医院搭建一体化数据管理平台
2018年是医疗支付转型和医疗IT转型的拐点之年，新兴医疗健康服务体系、新的医疗IT系统得到了空前充足的发展动力和全新的发展空间。

2018-10-26 15:49:06

Commvault一体化数据管理
GrowingIO B轮融资3000万美元 打造更懂用户和增长的行为分析产品
在数据分析行业布局三年后，GrowingIO 正在用产品和服务影响更多的用户，通过打造基于用户行为的分析产品和增长整体解决方案，帮助产品经理、运营、增长负责人等落地增长，逐步成为行业的领军者。

2018-10-25 16:04:48

GrowingIO数据分析数据洞察
九个经典有趣的数据挖掘案例
全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今，“啤酒+尿布”的数据分析成果早已成了大数据技术应用的经典案例，被人津津乐道。

2018-10-25 14:47:53

分析消费数据挖掘
大数据技术在金融行业中的应用
大数据涉及的行业过于广泛，除金融外，还包括政治、教育、传媒、医学、商业、工业、农业、互联网等多个方面。根据国际知名咨询公司麦肯锡的报告显示：在大数据应用综合价值潜力方面，信息技术、金融保险、政府及批发贸易四大行业潜力最高高。

2018-10-24 14:36:59

大数据金融保险
详细解读：大数据分析的学习
以大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境。

2018-10-24 14:32:15

数据分析数据科学算法
Apache Kafka与Spark Streaming的两种整合方法及其优缺点 译文
我们在将Apache Kafka与Spark Streaming整合的实战过程中，一般可以选用两种方面来配置Spark Streaming，并接收来自Kafka的数据。第一种是利用接收器和Kafka的高级API;而第二种新的方法则并不使用接收器。这两种方法在性能特征和语义保持上，有着不同的编程模式。

2018-10-24 09:00:26

KafkaSpark数据
Adaptive Execution 让 Spark SQL 更智能更高效
本文介绍的 Adaptive Execution 将可以根据执行过程中的中间数据优化后续执行，从而提高整体执行效率。核心在于两点,执行计划可动态调整、调整的依据是中间结果的精确统计信息。

2018-10-23 15:20:29

SparkShuffleSpark SQL
如何将kafka中的数据快速导入Hadoop？
Kafka是一个分布式发布—订阅系统，由于其强大的分布式和性能特性，迅速成为数据管道的关键部分。它可完成许多工作，例如消息传递、指标收集、流处理和日志聚合。Kafka的另一个有效用途是将数据导入Hadoop。

2018-10-22 14:48:39

KafkaHadoop代码
从面试官的角度谈谈大数据面试
关于传授面试经验的文章太多了，眼花缭乱，我这里就不谈了，点进来想获取几吨面试学习资料的同学，抱歉让你失望了。(我是真的找不到那么多资料...)。所以，今天我们只聊面试官。

2018-10-22 14:28:26

面试官数据公司
没有完美的数据插补法，只有最适合的
数据缺失是数据科学家在处理数据时经常遇到的问题，本文作者基于不同的情境提供了相应的数据插补解决办法。没有完美的数据插补法，但总有一款更适合当下情况。

2018-10-22 14:00:12

数据数据插补数据科学
用Python分析北京二手房房价
用Python分析北京二手房房价，首先导入要使用的科学计算包numpy,pandas,可视化matplotlib,seaborn,以及机器学习包sklearn。

2018-10-22 13:10:43

分析Python房价
5个原因告诉你：为什么在成为数据科学家之前，“逻辑回归”是第一个需要学习的
本文将要列出5条原因来说明为什么最开始学习逻辑回归是入门最好的选择。当然，这只是我个人的看法，对于其他人可能有更快捷的学习方式。

2018-10-21 16:10:54

数据科学算法逻辑回归
美团点评基于 Flink 的实时数仓建设实践
近些年，企业对数据服务实时化服务的需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景，介绍了美团如何通过 Flink 引擎构建实时数据仓库，从而提供高效、稳健的实时数据服务。本文主要阐述使用 Flink 在实际数据生产上的经验。

2018-10-19 14:16:09

Flink数据仓库数据系统
全球调研报告：分析洞察依旧受制于技术复杂和人才瓶颈
全球独家无处不在数据智能技术供应商Teradata天睿公司(纽交所：TDC)宣布，委托独立科技市场调研公司Vanson Bourne面向全球企业高级管理人员开展调研显示，企业想在各部门全面使用智能化技术时严重受阻。

2018-10-18 13:42:06

技术人才数据
大数据和人工智能的未来可以归结为一件事
就大数据、分析和人工智能而言，价值不是来自收集数据(甚至也不是来自于从中获取的一些洞察)，价值来只有一个来源：行动。

2018-10-18 12:47:09

大数据人工智能分析
张峰：工信部将落实四方面战略 推动大数据产业发展
张峰透露下一步工信部将以习近平四新时代中国特色社会主义思想为思想，深入贯彻党的十九大和十九届二中、三中全会精神，充分把握大数据面临的新趋势、新特点，扎实推进国家大数据战略，全面提升我国大数据应用能力。

2018-10-18 12:16:28

大数据张峰工信部
分享：数据可视化专家的七个秘密
数据可视化是数据探索以及数据表现的重要方式， 然而， 对于数据可视化的开发者来说， 依然有很多挑战要去面对。 这些迎接这些挑战的方法， 则是很多专业的数据可视化开发者不愿意让别人知道的秘密。

2018-10-18 11:03:06

数据可视化数据数据集
大数据的阴暗面
数据无疑是企业创新的关键，为企业做出明智商业决策提供了巨大的机会。但是，当企业采用大数据时，他们也应该考虑大数据的阴暗面。

2018-10-18 09:55:15

大数据数据大数据安全
Hadoop，Zookeeper这些名字都是怎么来的呢？
Hadoop这个名字是Hadoop项目创建者Doug Cutting 的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为 Hadoop 。这刚好满足Cutting 的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是 Hadoop 就诞生了。

2018-10-17 18:53:20

HadoopSparkZookeeper
掌握这25条小贴士，快速提升数据可视化能力！
可视化不是单纯的数据展示，其真正价值是设计出可以被读者轻松理解的数据展示。设计过程中的每一个选择，最终都应落地于读者的体验，而非设计者个人。本文提到了一些常见错误，也是我们团队总结出的一些技巧。这25条小贴士能够快速提升和巩固你的数据可视化设计。

2018-10-17 12:03:45

可视化设计图表
高德地图联手达摩院推出车载AR导航 颠覆传统驾车体验
高德地图今日宣布与达摩院达成合作，共同推出车载AR导航。该产品借助高德地图专业的交通大数据和车道级导航引擎，以及双方合作共建的图像识别AI技术能力，将真实的道路场景与虚拟的导航指引有机结合，给驾驶员带来更直观的实景导航体验。

2018-10-17 11:41:55

高德AR导航
2018UBDC全域大数据峰会成功举办：重磅发布U-App AI版
10月16日，友盟+主办的2018UBDC全域大数据峰会（以下简称“峰会”）在北京拉开帷幕。峰会以“DI•进化”为主题，旨在让更多企业“会用数据，用好数据”——8小时，10余家黑科技企业，超40位国内顶级专家主题分享，近3500位数据从业者共同见证，从数据、技术、应用、意识各维度对因数据带来的进化加以演绎，重现各行各业的数据变革场景。

2018-10-16 17:37:40

全域大数据AIUBDC
5个系统管理员常用的警报和可视化工具
这些开源工具帮助用户了解系统行为和输出，并为潜在问题提供警报。你可能使用警报和可视化工具，为什么我要将它们作为可观察性工具进行讨论，特别是某些系统将可视化作为特征?

2018-10-16 15:30:49

可视化警报工具
分享 : 数据可视化专家的七个秘密
数据可视化的道路上充满了不可见的陷阱和迷宫，最近ClearStory Data的两位数据可视化开发人员分享了他们总结出来的数据可视化开发的7个不宣之秘，普通开发者了解这些方法能提升视野，少走弯路。

2018-10-16 15:12:48

数据可视化数据集工具
真的缺数据科学家吗? 如今到底有多少数据科学家？
LinkedIn公司在2018年8月发布的美国劳动力报告中提到：“对数据科学家的需求空前高涨……具有数据科学技能的人才短缺问题几乎存在于美国的所有大城市。在全美国范围内，共缺少151717名具有数据科学技能的人，其中纽约市(34032人)、旧金山湾区(31798人)和洛杉矶(12251人)的人才短缺尤为严重。”

2018-10-16 14:37:34

数据科学家数据分析数据科学
几十行代码让你知道朋友圈都是什么样的朋友
微信是一个神奇的存在，它是一个国民级别的全民APP，所以，微信的产品设计一直都是一个有趣的现象，从最初底部Tab的数目、每个Tab的名称、“发现页面的定制、小程序入口、朋友圈入口到朋友圈评论等等一系列的设计细节，都是值得我们透过人性和心理去研究的。

2018-10-16 14:30:22

Python微信朋友圈
做不到那么优秀?那来看看成为一名糟糕的大数据平台工程师有哪些表现?
要想成为一名优秀的大数据平台开发工程师，只要做到深度与广度并重，钻研技术、理解产品、能搭架构、能解Bug，那就妥妥的了。优秀的人都是类似的，说起来就太过无聊了。所以，本文换一个角度，聊聊如何做到不那么优秀，要想成为一名糟糕的开发工程师都需要有哪些表现。

2018-10-16 14:18:14

大数据工程师糟糕
谁“杀死”了大数据创业者？
“这两年在大数据领域，纯粹讲概念没有技术的公司都死完了。融资过很多的钱的企业虽然还存活着，但大多过的也很难受。”一位大数据领域的资深创业者，对创界网说出了整个业内的真实现状。

2018-10-16 11:02:03

大数据寒冬创业
Kafka集群内复制功能深入剖析
Kafka是一个分布式发布订阅消息系统。由LinkedIn开发并已经在2011年7月成为apache顶级项目。kafka在LinkedIn, Twitte等许多公司都得到广泛使用，主要用于：日志聚合，消息队列，实时监控等。

2018-10-15 17:24:31

Kafka分布式数据
比拼生态和未来，Spark和Flink哪家强？
Spark 和 Flink 都是通用的开源大规模处理引擎，目标是在一个系统中支持所有的数据处理以带来效能的提升。两者都有相对比较成熟的生态系统。是下一代大数据引擎最有力的竞争者。

2018-10-15 15:12:12

SpakrFlink大数据
如何将传统关系数据库的数据导入Hadoop？
大多数企业的关键数据存在于OLTP数据库中，存储在这些数据库中的数据包含有关用户，产品和其他有用信息。如果要分析此数据，传统方法是定期将该数据复制到OLAP数据仓库中。

2018-10-15 13:57:38

Hadoop数据库MySQL
Teradata天睿公司推出无处不在数据智能平台Teradata Vantage助力企业随时分析所有数据
全球独家无处不在数据智能技术供应商Teradata天睿公司(纽交所：TDC)宣布面向所有客户推出下一代分析平台Teradata Vantage。

2018-10-12 16:14:42

Teradata天睿公司数据
上一页 1 ··· 9091929394 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服