51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9080内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9080 条
数据流时代，Teads如何做到每天赋予1000亿事件价值？
在这篇文章中，我们描述了如何协调Kafka，Dataflow和BigQuery共同采集和转换大数据流。当增加了模式和延时的约束时，调优和重新排序成了很大的挑战，下面展示了我们是如何解决它的。

2018-04-24 10:53:28

数据流Kafka数据处理
3月份Github上最热门的数据科学和机器学习项目
Analytics Vidhya 近日发布了GitHub上3月份最热门的5个数据科学和机器学习项目，本月的名单从Google Brain的AstroNet到人造神经网络可视化工具，这都是非常棒的项目，相信一定可以扩展你的机器学习视野。

2018-04-23 14:01:04

数据科学机器学习开发
【WOT2018】黄东旭：如何运用HTAP数据库帮到你?来听听TiDB的故事 原创
PingCAP是国内首家开源的新型分布式数据库公司，其独立研发的分布式数据库产品TiDB是一款定位于HTAP(Hybrid Transactional/Analytical Processing)混合事务/分析处理数据库的融合、创新型数据库产品。为了实现这一目标，TiDB在架构上将计算和存储层进行高度的抽象和分离，对混合负载的场景通过IO优先级队列，智能副本调度，行列混合存储等技术使其变为可能。

2018-04-23 13:49:03

大数据数据库HTAP
【报告观点】2018年大数据领域的十大趋势 译文
众多企业正在慢慢将大数据迁移到云端，但仍然没有克服与孤岛、员工技能短缺和数据治理有关的挑战。本文为您带来《2018年大数据成熟度调查报告》中所包含十大要点，着重表明了大数据领域的几大趋势。

2018-04-23 13:38:35

大数据数据分析企业
Python数据挖掘与机器学习技术入门实战
什么是数据挖掘?什么是机器学习?又如何进行Python数据预处理?本文将带领大家一同了解数据挖掘和机器学习技术，通过淘宝商品案例进行数据预处理实战，通过鸢尾花案例介绍各种分类算法。

2018-04-23 11:11:52

数据挖掘机器学习Python
泼冷水：为什么如此多的数据科学家正在抛弃他们的工作？
在你的印象中数据科学是21世纪最性感的工作，他不仅能够带来满意的薪酬，而且领域内大量高技能的“极客” 会帮你享受到思想碰撞的乐趣。那么，为什么有这么多的数据科学家在寻找新的工作呢?

2018-04-22 07:36:04

数据科学家数据科学工作
详解：大数据分析的学习之路
随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的?具体是做什么工作的?需要哪些技能?让我们一起来看看吧。

2018-04-20 12:12:18

数据分析可视化数据挖掘
干货整理：处理不平衡数据的技巧总结
在银行欺诈检测，市场实时竞价或网络入侵检测等领域通常是什么样的数据集呢?在这些领域使用的数据通常有不到1%少量但“有趣的”事件，例如欺诈者利用信用卡，用户点击广告或者损坏的服务器扫描网络。

2018-04-20 11:33:22

不平衡数据数据集模型
如何选择正确的数据集成工具
为了满足各类业务需求，我们必须将数据与其他数据源的记录系统相集成，从而支持分析、面向客户的应用程序或者内部工作流。而这又带来了新的问题——我们该如何选择正确的数据集成工具，从而对各类数据加以归纳?今天的文章将就此展开探讨。

2018-04-20 10:54:52

数据集成数据科学工具
本周六京东、闪闪泛娱技术大咖进行区块链应用场景解读

2018-04-20 09:01:06

TechNeo／沙龙／
资源控制在大数据和云计算平台中的应用
本文针对大数据平台中资源控制这个层面来详细介绍资源控制在不同操作系统上的具体技术实现，以及大数据平台和资源控制的集成。

2018-04-19 10:39:45

大数据资源控制大数据平台
UMStor Hadapter：大数据与对象存储的柳暗花明
计算机技术领域，何尝不是一个江湖。往具体了说，比如有 Windows 和 Linux 系统级别的缠斗;往抽象了说，有私有云和IOE的概念对垒等。虽说技术不像侠客论剑般交手那么直接，但是背后的暗潮涌动还是能让人嗅到一丝火花的气息。今天我们要讨论的当然不是江湖，而是要掰扯掰扯“数据湖data lake”。

2018-04-19 10:13:43

Hadapter大数据数据湖
Spark streaming中持久保存的RDD/有状态的内存
以spark streaming为例，就是希望有个数据集能够在当前批次中更新，再下个批次后又可以继续访问。一个最简单的实现是在driver的内存中，我们可以自行保存一个大的内存结构。这种hack的方式就是我们无法利用spark提供的分布式计算的能力。

2018-04-18 08:54:28

RDD内存Spark
Hadoop 3中的磁盘管理大招解密
DataNode 使用基于轮询的策略写入新块。但是，在长期运行的集群中，由于 HDFS 中大规模文件删除或通过磁盘热交换特性添加新 DataNode 磁盘等事件，DataNode 仍然可能创建了显著不平衡的卷。

2018-04-18 08:24:24

磁盘管理解密
12个顶级大数据工具
许多大数据分析工具最初像大数据软件框架Hadoop一样都是开源项目，但商业实体迅速涌现，为开源产品提供了新工具或商业的支持和开发。根据这个行业领域的专家顾问的建议，以下列出一系列主要的大数据分析工具，并列出三个主​​要类别。

2018-04-17 12:58:52

大数据工具大数据数据可视化
世界顶尖战略咨询公司常用数据分析模型
波特的五种竞争力分析模型被广泛应用于很多行业的战略制定。这五种竞争力就是企业间的竞争、潜在新竞争者的进入、潜在替代品的开发、供应商的议价能力、购买者的议价能力。这五种竞争力量决定了企业的盈利能力和水平。

2018-04-17 11:43:59

竞争分析波士顿
预计2021年中国大数据市场规模将达到898亿元
随着移动互联网、智能终端和数据传感器的出现，数据正以超出想象的速度快速增长。据相关数据报告显示，2014年全球数据总量为6.2ZB(万亿GB)，2015年全球数据总量达8.6ZB。目前全球数据的增长速度在每年40%左右，预计到2020年全球的数据总量将达到40ZB。

2018-04-17 10:56:10

大数据互联网规模
大数据之谜Spark基础篇，核心RDD特征分析讲解
RDD(Resilient Distributed Datasets)弹性分布式数据集，是分布式内存的一个抽象概念。我们可以抽象的代表对应一个HDFS上的文件，但是他实际上是被分区的，分为多个分区撒落在Spark集群中的不同节点上。

2018-04-17 09:03:01

SparkRDD大数据
DataHunter打造数据协作平台，加速驱动企业数字化转型
DataHunter是一家专注于业务数据可视化分析展示的科技公司，该公司近日宣布，已完成千万级A轮融资，投资方为Ventech China(银泰资本)。

2018-04-16 16:25:18

DataHunter数字化转型数据
大数据工程师面试题集锦：互联网公司篇！
大数据工程师是近几年异常火爆的职位，市场需求旺盛，众多互联网公司都打出了高薪招聘的广告，本文整理了网络上部分技术人员分享的各大互联网公司大数据类(Hadoop、Spark等)面试题以及面试时需要注意的一些问题，希望对各位技术人员有所帮助。

2018-04-16 12:38:37

大数据工程师面试
数据科学简介：通过对数据分类进行预测（二）
机器学习已成功应用于许多预测和分类问题，包括航班晚点、信用评分和股票价格。在这里，我将探讨两种重要算法：概率神经网络和基于密度的聚类 (DBSCAN)。

2018-04-16 12:14:34

数据科学机器学习神经网络
数据科学简介：分数据、结构和数据科学管道（一）
本文探讨了一种用于机器学习的通用数据管道，其中涵盖了数据工程、模型学习和操作。本系列的下一篇文章将探讨使用公有数据集进行预测的两种机器学习模型。

2018-04-16 11:11:56

数据科学管道数据分析数据整理
深入理解HBase的系统架构
物理上来说，HBase是由三种类型的服务器以主从模式构成的。这三种服务器分别是：Region server，HBase HMaster，ZooKeeper。其中Region server负责数据的读写服务。用户通过沟通Region server来实现对数据的访问。

2018-04-16 11:04:23

HBaseRegion Serv数据库
做大数据项目最头痛的是什么
启动项目前至少要落实五个问题。其实我个人并不是正儿八经的大数据开发，然而这些年太多项目都挂个“大数据”的头衔，以至于我也被拖下水了。所以处理具体需求时会格外谨慎。这两年大数据淡了，人工智能又开始喧嚣了，各位同仁继续打起精神警惕起来哇。

2018-04-15 21:39:04

大数据项目应用
数据分析技术给商业模式带来颠覆的五种方式
近年来，越来越多大型企业开始投资数据分析技术，希望借此证明“我可以做得更好”。而云计算的兴起，也使得规模有限的初创企业也可拥有将大数据技术与高级数据分析加以结合的能力。在今天的文章中，我们将共同探讨数据分析技术给商业模式带来颠覆的五种方式。

2018-04-15 15:27:26

数据分析大数据技术云计算
【WOT2018】易观智库CTO郭炜：Lambda架构已死，新一代去ETL化的IOTA架构 原创
2018WOT全球软件与运维技术峰会重量级嘉宾，拥有13年大数据工作经验的资深专家——易观智库CTO郭炜将在5月18日的2018WOT峰会上分享他的最新观点，那就是Lambda架构已死，新一代去ETL化的IOTA架构才是未来，郭炜将就Lambda与Kappa架构的发展及优缺点展开，分享IOTA大数据架构的思路及优缺点，以及易观在IOTA架构领域的实践经验，以下为郭炜先生整理出的实践心得，供大家先睹为快。

2018-04-13 15:34:50

大数据架构WOT2018
OpenStack如何在大数据用例中扮演关键角色
OpenStack 控制计算、存储和网络资源池。本文主要关注 OpenStack 如何在大数据用例中扮演关键角色。现在，数据随处生成，数据量呈指数增长。来自 Web 服务器、应用程序服务器、数据库服务器的数据以用户信息、日志文件和系统状态信息的形式提供。

2018-04-12 18:00:43

OpenStack大数据容器
大数据、人工智能与云计算的融合与应用
人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值

2018-04-12 16:58:15

大数据人工智能云计算
DataHunter完成千万级A轮融资 加速拓展行业布局
4月11日，国内领先的业务数据协作平台DataHunter正式宣布，已完成千万级A轮融资，投资方为Ventech China。本次融资将帮助DataHunter进一步加强在数据可视化分析展示领域的市场布局，并为公司产品研发和行业拓展提供重要驱动力。

2018-04-12 12:28:56

DataHunter融资数据
大数据领域的12大工具，试试看哪个更好用 译文
为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

2018-04-12 10:02:57

大数据领域工具
大数据与区块链：一对桴鼓相应的搭档
大数据能够对海量信息资产通过高效的处理模式来进行捕捉、管理和处理，而区块链本身作为分布式计算的一种，还有去中心化以及不可篡改等特性，两者之间，似乎天然就有合作的可能性。

2018-04-11 15:33:59

大数据块链去中心化
常用的几种大数据架构剖析
数据分析工作虽然隐藏在业务系统背后，但是具有非常重要的作用，数据分析的结果对决策、业务发展有着举足轻重的作用。总的来说，目前围绕Hadoop体系的大数据架构大概有以下几种。

2018-04-11 06:31:24

大数据架构数据分析Hadoop
中国邮政大数据平台建设之总体架构与实现
人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值。

2018-04-10 14:49:03

大数据平台云架构人工智能
大数据创新应用:高速公路的数据存储及处理
随着经济社会的发展，城市人口持续增长，数量持续增长的车辆给交通基础设施通行能力带来极大压力。交通拥堵、交通事故、环境污染及能源短缺已成为目前面临的重要问题，尤其在高速公路交通管理尤其变得更加明显。

2018-04-10 14:25:30

大数据高速公路数据存储
高端大气的“数据科学家”，竟然成了离职率最高的职位之一
每一份工作都很有趣。但是做到优秀却很难，因为这不仅关于技术本身，也关乎职场的复杂性。本文作者Jonny Brooks-Bartlett在“Here’s why so many data scientists are leaving their jobs”一文中讲述了数据科学家遭遇挫败的4大原因。

2018-04-10 13:42:47

数据科学家离职大数据
“你中有我，我中有你”，人工智能想和大数据谈一场恋爱！
如今，没有什么流行词比大数据和人工智能更常见了。很多数据分析表示将从根本上重塑人类的日常生活。事实上，对于围绕人工智能和大数据的讨论，很少有人提到这两种新兴技术的融合，尤其是在解释人工智能为什么迫切需要大数据以取得成功的时候。

2018-04-10 13:32:24

人工智能大数据数据分析
如何避免HBase写入过快引起的各种问题
整个写入流程从客户端调用API开始，数据会通过protobuf编码成一个请求，通过scoket实现的IPC模块被送达server的RPC队列中。最后由负责处理RPC的handler取出请求完成写入操作。

2018-04-10 13:02:51

HBase写入流程数据
数据分析秘籍在这里：Kaggle六大比赛最全面解析（上）
本文将以 Kaggle 上 6 个不同的比赛为例，介绍常见的三类数据(结构化数据，NLP 数据，图像数据)分析经验，以助力大家提升数据分析能力。此文为上篇，主要介绍结构化数据和 NLP 数据，包含 Titanic 比赛，房价预测比赛，恶意评论分类，恐怖小说家身份识别。

2018-04-10 12:51:09

大数据Kaggle可视化
Tech Neo技术沙龙第19期专题回顾 ——容器技术实践（含视频、PPT）

2018-04-10 10:22:07

TechNeo／沙龙／
如何将分析用于有效的内容营销
企业研究数字营销活动是否成功，其最有效方法之一是简单衡量自己的定性和定量结果。本文来分析为什么在评估企业的营销活动时应该将定性和定量分析结合在一起的原因。

2018-04-09 13:02:03

分析数字营销企业
Spark及Spark Streaming核心原理及实践
本文依次从spark生态，原理，基本概念，spark streaming原理及实践，还有spark调优以及环境搭建等方面进行介绍，希望对大家有所帮助。

2018-04-09 12:25:11

SparkSpark Strea大数据
多平台被质疑大数据杀熟 新技术不应跨越伦理界限
习惯了用App预订酒店、演出票的你，有没有想过会被某些“比你更懂你”的网络平台“杀熟”而无知无觉?近期，网络平台“大数据杀熟”的问题日益引起消费者关注。不少网友发现，自己经常购物的网站、App，消费越多、得到的优惠越少，甚至价格越贵。

2018-04-09 12:00:44

大数据杀熟消费
数据科学项目失败最常见的4个原因
大多数失败可以追溯到四个主要的陷阱：从错误的问题开始;使用错误的数据;缺乏利益相关者的认同;以及缺乏多样化的专业知识。预先认识到这些常见的危害，会让首席信息官和IT主管更好地领导数据科学项目，这些项目将推动有价值的洞察力，并为组织的全面成功的数字变革做出贡献。

2018-04-09 11:20:40

数据科学项目数据
Hadoop将死？Cloudera CEO怒怼Gartner
大数据已经过了炒作阶段，但即使是现在，提到大数据很多人首先会想到hadoop，但最近多份分析报告和趋势预测的文章所传递出的声音，让Hadoop再度成为了争议的焦点。年初的调查，Hadoop被列为2018年大数据领域的“渐冻”趋势之一，不少人将Hadoop称作“倒下的大象”，比如Lucidworks首席执行官Will Hayes。

2018-04-08 15:32:47

Hadoop大数据Gartner
精英数据科学家应该具备这些能力和特质
成为数据科学家需要具备哪些条件呢?下面就是我们根据IT领导者、行业分析师、数据科学家的看法，总结出的一些重要属性和技能。

2018-04-08 14:50:31

数据科学家企业技能
数据的本质和核心是什么？
几千年来，人类习惯了生存在信息稀缺的年代，大数据与人工智能则为人们带来了曙光，同时也引发了担忧。暂且撇开我们会不会被机器人侵略这个问题，人类真的已经充分利用了自己的潜能了吗?数据是一种信仰, 我们应该善用这个宝藏, 为人类创造更美好的世界。

2018-04-04 14:29:33

大数据人工智能数据
Hadoop中理论与工程的错位
Hadoop是当前重要的大数据计算平台，它试图摒弃传统数据库的理念，重新构建一套新的大数据体系。但是，这并不是件很容易的事，在Hadoop的设计和实现中能看到一些先天不足的地方，其中一点就是把理论问题和工程问题给搞拧了。

2018-04-04 13:24:08

HadoopMapReduce大数据
航空大数据告诉你如何挑选航班
提到“航班”一词，首先会想到的便是航班延误，航班准点率是影响旅客舒适度评价的重要标准。与此同时，越来越多的旅客也渐渐开始关注航空出行的时间、机型、座位、航司服务等指标。本期汪瑞，他将从航班延误、座椅舒适度、接机时间等方面出发，分享航班挑选的秘密。

2018-04-04 12:54:51

航空大数据航班延误
大数据和Hadoop的培训计划能产生多大的影响?
大数据通常被描述为大量的数据。然而，数据量实际上并不重要，而是可以在数据上执行的分析，以便做出更好的决定和其他商业活动。Hadoop是另一种为大数据更好地处理而开发的技术。由于Hadoop开发人员能够以更好的方式执行分析，因此企业对Hadoop开发人员的需求也正在增长。

2018-04-03 14:32:00

大数据Hadoop课程
结构化数据 vs. 非结构化数据
结构化数据 vs. 非结构化数据：结构化数据由明确定义的数据类型组成，其模式可以使其易于搜索。而非结构化数据通常由不容易搜索的数据组成，其中包括音频、视频和社交媒体发布等格式。

2018-04-03 14:00:03

结构化数据非结构化数据数据库
上一页 1 ··· 100101102103104 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服