51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9090内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9090 条
8大工业大数据应用场景，看清物联网时代的工业生产！
工业大数据的典型应用包括产品创新、产品故障诊断与预测、工业生产线物联网分析、工业企业供应链优化和产品精准营销等诸多方面。本文将对工业大数据在制造企业的应用场景进行逐一梳理。

2018-05-14 00:17:21

物联网工业大数据大数据应用
从概念到应用：一文搞定数据科学和机器学习的最常见面试题
机器学习方向的面试可以说是非常恐怖了。你觉得自己什么都知道，但面试的时候却很容易陷入窘境。其实很多问题可以事先准备，本文搜集了一些机器学习方向面试时常见的题目，希望能在求职路上助你一臂之力。

2018-05-13 16:06:55

数据科学机器学习面试
大数据告诉你，母亲节送妈妈什么礼物会让她更开心
又到母亲节，据说，“母亲节给妈妈送什么礼物”是世界第2大难题，仅次于第1难的“今天吃什么?”那么这第2大难题应该如何解决呢?显然它不会有一个万能的标准答案，但我们可以给你提供一些线索，希望能帮助你开开脑洞，找到属于你自己的标准答案。

2018-05-13 15:43:37

大数据母亲节礼物
在现实世界中使用数据科学的专家提示
许多企业正在采用和部署大数据应用程序以获得竞争优势，但其中许多企业正在“在工作中学习”，尽其所能地反复试验，但所获得的结果不一。为了提供行业指导，行业媒体记者James Maguire与两位数据科学领域的专家进行了探讨与交流，讨论如何将这种快速发展的技术用于当今的业务。

2018-05-11 15:36:43

数据科学算法数据分析
想挑战智商？10大机器学习算法，看懂你就是数据科学家
想成为数据科学家?你得是个博闻强识，又对新鲜事物保持好奇心的人。正因为如此，数据科学家会掌握几乎所有的常见算法，并精通其中一门，这样可以快速适应新领域的问题。

2018-05-11 14:44:30

机器学习数据科学家算法
中大奖的秘密！彩票的数学知识
2005年2月，美国的一个彩票品种，就出现了漏洞，被麻省理工学院的学生发现了。随后的七年，这个学生反复购买这个品种，一共赚到了300万美元。本文介绍他怎么做的，以及其中的数学原理。我依据的材料，主要来自数学教授 Jordan Ellenberg 在斯坦福大学的一次演讲(Youtube)。

2018-05-11 09:43:55

彩票算法抽奖
工业互联网必须走出的第一步是什么？
众所周知，以太网已经成为家庭、企业及数据中心网络连接和互通的最广泛的通信协议标准。然而因为其确定性、实时性、可靠性等因素，传统以太网并不适用于工业数据通讯。

2018-05-10 22:04:27

工业互联网互联网大数据
报告:连续六年调研大企业数据变革,结果如何
围绕“数据”话题，NewVantage Partners已连续六年对全球各领域的大型企业高管如何看待数据进行调研。每年，调查回复率都在增长，而且据调查结果显示，如何有效数据利用的紧迫性在逐年增加。

2018-05-10 14:22:49

大数据AI人工智能
基于Hadoop的大数据平台实施——整体架构设计
大数据的热度在持续的升温，继云计算之后大数据成为又一大众所追捧的新星。我们暂不去讨论大数据到底是否适用于您的公司或组织，至少在互联网上已经被吹嘘成无所不能的超级战舰。

2018-05-10 13:42:11

Hadoop架构大数据
大数据对比分析，技术面试里的那些门道
众所周知，技术能力的评价是技术求职者的重要的一项指标。但是，求职者的面试表现到底是如何被判定的呢?怎样的面试分数统计才能更加靠谱地衡量求职者的真实水平呢?美国的在线技术面试平台 interviewing.io 通过分析海量数据，给出了自己的答案。

2018-05-10 12:55:51

大数据对比分析面试
Spark的误解-不仅Spark是内存计算，Hadoop也是内存计算
市面上有一些初学者的误解，他们拿Spark和Hadoop比较时就会说，Spark是内存计算，内存计算是Spark的特性。请问在计算机领域，MySQL,Redis,SSH框架等等他们不是内存计算吗？依据冯诺依曼体系结构，有什么技术的程序不是在内存中运行，需要数据从硬盘中拉取，然后供CPU进行执行？

2018-05-10 09:51:39

Spark内存Hadoop
spark 自己的分布式存储系统 - BlockManager
BlockManager 是 spark 中至关重要的一个组件， 在 spark的的运行过程中到处都有 BlockManager 的身影， 只有搞清楚 BlockManager 的原理和机制，你才能更加深入的理解 spark。 今天我们来揭开 BlockaManager 的底层原理和设计思路，

2018-05-10 09:34:21

spark存储系统
2018年7款最佳免费数据分析工具 译文
数据分析软件不一定价格高昂才有效果。这些免费工具可以帮助公司发掘新的洞察力，从各个数据源得出宝贵的预测。希望这七款分析工具(按首字母顺序排列)，能帮助你找到最适合自己的解决方案。

2018-05-10 09:00:57

数据分析工具可视化
100+个自然语言处理数据集大放送，再不愁找不到数据！
奉上100多个按字母顺序排列的开源自然语言处理文本数据集列表（原始未结构化的文本数据），快去按图索骥下载数据自己研究吧！

2018-05-10 08:20:23

自然语言数据集数据
做了这么多年Java程序员，我想转大数据了
对于Java程序员，大数据的主流平台hadoop是基于Java开发的，所以Java程序员往大数据开发方向转行从语言环境上更为顺畅，另外很多基于大数据的应用框架也是Java的，所以在很多大数据项目里掌握Java语言是有一定优势的。

2018-05-09 11:04:35

Java程序员大数据
我国大数据交易的发展现状、面临困难及政策建议
在国家政策的积极推动、地方政府和产业界的带动下，贵州、武汉等地开始率先探索大数据交易机制。本文梳理了我国大数据交易现状及存在问题，针对性地提出了促进我国数据资源开放、推动数据应用和释放数据价值的政策建议。

2018-05-08 15:07:02

大数据国家政策大数据交易
中小型企业大数据体系建设的核心技术选型
本文分享的主题是中小型企业基于大数据技术的项目实践，笔者将从大数据技术栈开始说起，并在后文分享自己在工程实践中的一些具体经验。

2018-05-08 14:35:03

大数据数据处理存储
Hadoop 3.0版本测试，终将计算与存储解耦！
2018年，关于大数据基础设施的讨论不再围绕使用高质量的数据布局算法减少网络流量的方法展开。相反，现在有更多关于如何可靠地降低分布式存储成本的讨论。

2018-05-08 10:46:31

Hadoop大数据存储
创建有效的大数据模型的6个技巧
数据建模是一门复杂的科学，涉及组织企业的数据以适应业务流程的需求。它需要设计逻辑关系，以便数据可以相互关联，并支持业务。然后将逻辑设计转换成物理模型，该物理模型由存储数据的存储设备、数据库和文件组成。

2018-05-08 10:00:00

大数据模型技巧
为什么数据分析计划总是失败?
报告发现，近40%的响应组织没有单独的数据治理预算，约46%的组织没有正式的数据治理策略。有专家表示，许多企业数据项目中存在弱点并不意外，下面是7个此类问题的数据实践。

2018-05-07 15:30:13

数据治理分析数据集
如何利用散点图矩阵进行数据可视化
本文，我们将介绍如何使用 Seaborn 可视化库(https://seaborn.pydata.org/)在 Python 中启动和运行散点图矩阵。我们将看到如何为快速检查数据而创建默认散点图矩阵，以及如何为了更深入的分析定制可视化方案。

2018-05-07 14:50:27

可视化数据散点图
数据增强：数据有限时如何使用深度学习 ？ （下）
你精通机器学习的相关概念，并能将其应用于机器学习模型。打开浏览器搜索相关数据，很可能会找到一系列数据以及上百幅相关照片。

2018-05-07 14:38:23

数据机器学习人工智能
NanoNets :数据有限时如何应用深度学习？(上)
我觉得人工智能就像是去建造一艘火箭飞船。你需要一个巨大的引擎和许多燃料。如果你有了一个大引擎，但燃料不够，那么肯定不能把火箭送上轨道;如果你有一个小引擎，但燃料充足，那么说不定根本就无法成功起飞。所以，构建火箭船，你必须要一个巨大的引擎和许多燃料。

2018-05-07 14:32:28

人工智能深度学习数据
Kafka的存储机制以及可靠性
kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始。

2018-05-07 10:20:38

Kafka存储机制
Accordion :一种HBase内存压缩算法
人们对基于HBase的产品的读写速度要求越来越高。在理想情况下，人们希望HBase 可以在保证其可靠的持久存储的前提下能并拥有内存数据读写的速度。为此，在HBase2.0中引入Accordion算法。

2018-05-07 09:48:49

AccordionHBase内存
从术语到Spark，10篇必读大数据学习资源
本文给想进入大数据领域的朋友提供了一系列的资源，由浅入深，比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。

2018-05-06 16:59:14

大数据python数据可视化
3分钟了解“关联规则”推荐
“把啤酒放在尿布旁，有助于提升啤酒销售量”是关联规则推荐的经典案例，今天，和大家聊聊“关联规则推荐”，正文不含任何公式，保证PM弄懂。

2018-05-06 16:26:03

关联规则数据分析关联规则推荐
原来Java大数据才是真正的高富帅！
国内大多数大型互联网公司的程序员被称作研发工程师，但实际上国内几乎没有研发项目，只能叫做开发。开发程序员的工作大多是重复性劳动，容易产生疲惫感，薪资在工作2-5年内就达到了一个峰值，再要提升就比较困难，这样就导致了很多程序员最终转行做了其他行业。

2018-05-05 15:35:47

大数据互联网程序员
将大数据转化为大价值的10种途径
现如今，现代化的商务智能解决方案可以通过用户友好的解决方案来降低企业进入的大数据项目的壁垒，并进一步的提升大数据的价值。这允许企业组织内的更多的相关人员(不仅仅只有数据科学家)能够就您企业所收集的数据进行访问、分析和协作。

2018-05-05 14:53:11

大数据价值项目
让你挂掉数据科学家面试的4宗罪
新手需要不断的学习，才能成长为一名具有创造力的数据科学家。另外，作为小白的你可能急切想得到一份数据科学的职位。但你在面试的时候，面试官让你“挂掉”的原因可能有数百种。

2018-05-05 07:46:39

数据科学面试大数据
企业主数据的管理和实施
企业主数据是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。本文将针对主数据管理的概念以及主数据管理解决方案的实施等方面跟大家作一个探讨。

2018-05-04 15:14:42

主数据数据管理数据仓库
让你挂掉数据科学家面试的4宗罪
对于立志在数据科学领域有一定作为的新手来说，“数据科学家”可不仅仅是一个光彩照人的代名词。新手需要不断的学习，才能成长为一名具有创造力的数据科学家。

2018-05-04 15:09:25

数据科学面试数据科学家
建立物联网和大数据之间的联系
关于什么是大数据及其可带来的价值的热烈讨论已经开始消退。然而，当专家们开始大量使用大数据和物联网的技术组合时，人们又再一次试图定义物联网与大数据连接的方式。

2018-05-04 14:01:19

物联网大数据互联网
Facebook利用hashtag解决训练数据难题
人工标注数据需要耗费大量人力成本和时间，对模型训练数据集的规模扩大带来限制。Facebook 在图像识别方面的最新研究利用带有 hashtag 的大规模公共图像数据集解决了该问题，其最佳模型的性能超越了之前最优的模型。

2018-05-04 13:51:14

Facebookhashtag数据集
大数据挖掘机器学习人工智能的维恩图战争
大数据也是一个宽泛的概念。机器学习和深度学习则是内涵外延比较明确的概念，公认有包含关系。人工智能则是更大的范畴，但是人工智能和大数据、数据科学都不是一回事情。

2018-05-04 11:10:41

数据科学人工智能大数据
甲骨文提供全方位云服务 助海能达致胜全球专网通信市场
随着我国国民经济快速发展、大型展览活动增加，以及在我国具有自主知识产权的PDT标准的驱动下，专网通信衍生出百亿蓝海市场。专网是指在特定的区域进行信号覆盖的专业网络，它以极强的安全性和稳定性，满足特定行业进行组织管理、安全生产、指挥调度的通信需求，有效弥补了公网通信所无法涉及的领域，成为我国信息化建设的重要一环。

2018-05-03 14:02:03

甲骨文通信市场
HBase运维基础——元数据逆向修复原理
本文不打算着重编写一个工具怎么使用，而是从HBase的运维基础知识介绍开始讲解。为了能帮助大部分读者提高HBase运维能力，后续会写个“HBase运维系列” 专题系列文章，欢迎持续交流。

2018-05-03 10:00:23

HBase运维数据
数据挖掘领域十大经典算法之C4.5算法（超详细附代码）
C4.5是决策树算法的一种。决策树算法作为一种分类算法，目标就是将具有p维特征的n个样本分到c个类别中去。常见的决策树算法有ID3,C4.5,CART。

2018-05-03 09:36:53

算法数据挖掘C4.5
优秀数据科学家的基本技能和特征
如今，数据科学家就是王者。那么，成为数据科学专家需要什么素质呢?据IT主管、行业分析师、数据科学家和其他人士称，以下特征和技能非常重要。

2018-05-03 09:11:51

数据科学家职业数据科学
成为大数据顶尖程序员，先过了下面问题！（附答案解析）
在过去的2017年有不少大数据学成准备参加工作，在参加工作前最重要的一轮就是大数据的面试，小编收集了一些2018春招大数据面试题及答案，希望可以帮到准备或者正在参加大数据面试的朋友们。

2018-05-03 08:49:24

大数据程序员面试
十大最受欢迎的机器学习和数据科学Python库
在数据科学方面，Python的语法与数学语法最为接近，因此是数学家或经济学家等专业人士最容易理解和学习的语言。本文将罗列机器学习和数据科学应用程序中最有用的十大Python工具

2018-05-03 06:49:51

机器学习数据科学Python
大数据的8个最佳实践
大数据如果应用不当可能很容易失控，并可能消耗企业资源和预算。在这里将介绍避免混乱的一些大数据的最佳实践。

2018-05-02 13:59:01

大数据数据收集数据科学
大数据发展到现在，面临的主要挑战是什么？
大数据越来越火，大数据发展到现在，有了一定的技术和商业积累，但是发展到至今，还有很多难题等待我们解决，最主要的挑战，属于成本、实时性、安全等三方面的挑战。

2018-04-27 22:59:10

大数据数据运营
企业大数据工作的任务、工具及挑战
大数据的核心是数据，与大小无关，数据已经成为战略资产。数据是人类活动在网络空间的映射，蕴含人类生产、生活的规律，挖掘数据潜在价值，对国家治理、社会管理、企业决策和个人生活影响深远。

2018-04-27 13:21:29

大数据IT企业数据分析
如何选择数据平台的建设方案
业务跑的好好的，各系统稳定运行，为何还要搭建企业的数据平台?这样的问题，心里想想就可以了，不要大声问出来。我来直接回答一下，公司一般在什么情况下需要搭建数据平台，对各种数据进行重新架构。

2018-04-27 13:11:02

数据平台分析数据整合
数据危机再起！外卖平台信息泄露拷问企业数据资产管理
前不久刚发生了Facebook数据泄露事件，Facebook首席执行官马克·扎克伯格在长达10个小时里接受了近百名美国议员的拷问，回答了关于数据隐私、虚假信息、监管等共计600个问题。

2018-04-27 12:06:59

数据泄露数据管理安全
华为发布新一代企业级分布式数据仓库FusionInsight LibrA
在华为全球金融峰会上，华为发布了新一代企业级分布式数据仓库FusionInsight LibrA 解决方案，旨在为各行业客户提供统一的、可扩展的、高性能的数据分析平台。LibrA支持全并行计算、行列混存、向量化执行、弹性伸缩资源等技术，实现万亿数据关联分析秒级响应和全文检索，从而帮助客户快速分析、挖掘数据价值。

2018-04-26 18:23:37

华为
观点:Gartner只是否定Hadoop一体化平台模式
很多Hadoop忠实使用者对这篇报告进行了大量抨击，一个比一个理由丰富，言辞激烈。但是，很多人都错误得或者没有完全理解这篇报告。

2018-04-26 14:49:25

Hadoop数据基础架构
在算法交易中使用大数据分析
随着大数据的蓬勃发展及其在股票市场上的应用，特别是算法交易，使得投资者获得了良好的回报。认识到在大数据领域的潜力，Intellipaat正在提供关于大数据和数据科学的课程。

2018-04-26 14:11:44

算法大数据分析投资银行
数据科学家的离职潮背后，有怎样的扎心真相？
提到数据科学家，大多数人的印象一定是“精通算法”、“全栈开发能力”、“行业理解独到”、“领导力超群”......但事实上，这群全能的独角兽也有着自己的职业焦虑。今天这位来自英国的数据侠，即将扑灭我们心中对这个职业“憧憬的小火苗”，谈谈现实中的数据科学家。

2018-04-26 14:08:27

数据科学家程序员大数据
上一页 1 ··· 99100101102103 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服