51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
Hadoop架构已凋谢吗 ？
坦率地说，Hadoop走下坡路似乎找不到一个最根本的理由。相反，Hadoop架构人气下滑可能归咎于几个不同的因素。一些IT专业人员对于自己无法在Hadoop集群上执行任何有意义的数据分析颇为沮丧。

2018-11-19 15:14:46

Hadoop架构公共云
大数据方向的安全技术研究
近年来，随着大数据应用的爆发性增长，大数据衍生出独特架构，并推动存储、网络及计算机技术的发展，同时也引发了新的安全问题。国际社会已经将大数据安全列入国家信息网络安全战略，国内学术界、信息安全界、产业界也正逐步关注大数据的发展。

2018-11-19 13:44:39

大数据信息安全数据安全
公安大数据的下一个风口： 数据分析报告应用探析
本文从三个方面对公安数据分析报告的含义和应用进行探讨，第一部分介绍其内涵，第二、三部分别分取两个方向的应用进行分析。

2018-11-19 13:00:56

公安大数据数据分析安全
大数据相关的十大技术
大数据技术指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2018-11-19 12:58:47

大数据技术Java
这8个Python小细节，让你在大数据领域如鱼得水
学习数据科学的过程，从来就不是一帆风顺的。在写代码的时候，你是否也经常不得不反复搜索同一个问题，同一个概念，甚至同一个语法结构的特性呢?对，你不是一个人在战斗。

2018-11-19 11:43:13

Python数据函数
用大白话告诉你小白都能看懂的Hadoop架构原理
Hadoop 是目前大数据领域最主流的一套技术体系，包含了多种技术，例如 HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统）等等。

2018-11-19 08:34:22

Hadoop架构HDFS
我，一个数据科学家的三大弱点
通过定位我在数据科学方面的弱点——软件工程，扩展分析/模型，深度学习——我的目标是高自己，鼓励他人思考自己的弱点，并向你展示想成为成功的数据科学家并不必要学习所有知识。

2018-11-19 06:00:32

数据科学家数据科学数据科学
用Spark 来做大规模图形挖掘：第一部分
对于数据科学家，图形是一个非常令人着迷的研究课题，标记数据的方法在处理机器学习问题并不总是有效。图形在无监督上下文中非常强大，因为它们通过利用数据的基础子结构来充分利用您拥有的数据。

2018-11-15 14:52:15

Spark数据机器学习
MapReduce运行原理
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。

2018-11-14 14:33:33

MapReduce数据集计算
没有数学和编程基础，这几个数据科学项目了解一下
今天，文摘菌给大家介绍几个比较有特色的数据科学模块，这些模块原本是一些教师用来进行教学使用，帮助学生有机会使用与其课程相关的数据集，并指导学生进行数据分析以及帮助理解统计和计算机原理。

2018-11-14 13:59:53

数据科学数据集数据科学项目
Apache Flink在唯品会的实践
目前在唯品会实时平台并不是一个统一的计算框架，而是包括Storm，Spark，Flink在内的三个主要计算框架。由于历史原因，当前在Storm平台上的job数量是最多的，但是从去年开始，业务重心逐渐切换到Flink上面，所以今年在Flink上面的应用数量有了大幅增加。

2018-11-14 13:49:16

Apache Flin唯品会架构
预测！未来五年，北美将依旧占据大数据领域主导地位！
近日，全球Hadoop and Big Data Analytics Market 提供了一份2018年的市场行业分析报告，该报告预测了未来五年内(2018-2026)的大数据领域市场增长、份额变化、规模和需求，以及Hadoop和大数据分析市场的未来。

2018-11-14 13:43:46

大数据数据中心数据分析
Top 7大开源数据可视化分析工具！
目前，我们可以在市场上找到很多用于网络分析和数据可视化的开源工具，例如NetworkX，R和Gephi中的iGraph包等。

2018-11-14 10:15:58

开源技术 数据
大数据生态圈及其衍生物
大数据这个概念本身就太大而且太宽，如果一定要严格定义是非常困难的一件事，不过Hadoop生态圈或者由其延伸的泛生态系统，基本上都是为了处理大量数据诞生的——一般而言，这种数据依赖单机很难完成。

2018-11-13 15:05:33

大数据MapReduce机器
10个苗头表明你不是当系统分析员的料 译文
美国劳工统计局预测，由于企业组织继续构建和实施日益复杂的技术，系统分析员的就业机会将以每年9%的速度增加，持续到2026年。如果你一直想知道自己是否适合当系统分析员，不妨看看本文。如果你发现自己符合其中的几点，也许应该考虑另谋职路。

2018-11-13 12:00:58

分析员管理应用程序
数据技能从哪学起？看看这张矩阵分析图
撒网式招聘对于很多初创公司过于昂贵，本文提供了一个分析矩阵，帮你正确评估对针对你投入产出比最高的数据技能。

2018-11-12 14:21:35

数据科学矩阵数据
三大方法保护Hadoop集群免遭攻击！
自今年以来，不少恶意软件开始频繁向Hadoop集群服务器下手，受影响最大的莫过于连接到互联网且没有启用安全防护的Hadoop集群。

2018-11-12 13:45:05

Hadoop攻击互联网
工业大数据：构建制造型企业新型能力
工信部的数据显示：“中国制造业约占整个世界制造业20%的份额，在500余种主要产品中，我国有220多种产量位居世界第一。2014年，我国共有100家企业入选‘财富世界500强’，其中制造业企业占56家”。

2018-11-12 13:34:17

工业大数据制造业结构化数据
恶意软件日均进攻百万次！三大方法保护Hadoop集群免遭攻击！
大约在两年前，开源数据库解决方案MongoDB以及Hadoop曾遭受过大量恶意攻击，这些攻击后被统称为“勒索软件”，因为其攻击者会擦除或加密数据，然后向被攻击者索要资金以恢复数据。自今年以来，不少恶意软件开始频繁向Hadoop集群服务器下手，受影响最大的莫过于连接到互联网且没有启用安全防护的Hadoop集群。

2018-11-12 10:32:25

恶意软件Hadoop集群
十分钟了解大数据处理的五大关键技术及其应用
数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。

2018-11-11 16:38:41

大数据数据分析数据挖掘
如何选择大数据的编程语言
没有什么阻止得了你使用其他机制(比如XSLT转换)来处理大数据工作。但通常来说，如今大数据方面有三种语言可以选择：R、Python和Scala，外加一直以来屹立于企业界的Java。那么，你该选择哪种语言?为何要选择它，或者说何时选择它?

2018-11-11 15:29:13

大数据语言Java
大数据分析的4个核心概念
在应用该算法进行数据分析时，首先应输入包含M个对象的数据集A以及簇的数目N。从A中任意选择N个对象作为初始簇中心并且不断重复，随后计算出簇中对象的均值，将每个对象分配到最相似的簇并且不断更新簇均值，最后计算准则函数直到其不再发生变化为止。

2018-11-08 15:12:16

数据分析算法决策树
同样是用Excel，为什么别人那么优秀？
“为什么同样是用Excel工作，新来的小李竟能比我这资深表哥快这么多”。对自己多年练就的“神速做表手”充满信心的老王怎么也想不明白，为什么自己最快也要两天才能做好的数据报表，到新来的小李手里只用半天就搞定了。

2018-11-08 14:39:50

Excel表结构数据
开源工具 | Python数据科学入门
无论你是一个具有数学或计算机科学背景的资深数据科学爱好者，还是一个其它领域的专家，数据科学提供的可能性都在你力所能及的范围内，而且你不需要昂贵的，高度专业化的企业级软件。本文中讨论的开源工具就是你入门时所需的全部内容。

2018-11-06 20:30:23

Python开源工具机器学习
用Python告诉你深圳房租有多高
最近各大一二线城市的房租都有上涨，究竟整体上涨到什么程度呢?我们也不得而知，于是乎 zone 为了一探究竟，便用 Python 爬取了房某下的深圳的租房数据，以下是本次的样本数据。

2018-11-06 13:24:27

爬虫分析房租
大数据应用发展史：从搜索引擎到人工智能
你看，在数据仓库时代，只要有数据，几乎就一定要进行统计分析，如果数据规模比较大，我们就会想到要用Hadoop大数据技术，这也是Hadoop在这个时期发展特别快的一个原因。技术的发展同时又促进了技术应用，这也为接下来大数据应用走进数据挖掘时代埋下伏笔。

2018-11-06 12:58:43

大数据人工智能搜索引擎
数据湖对初创公司分析工作至关重要的五个原因
在大数据行业围绕数据湖的争议往往集中在他们认为的缺点上。数据湖非常没有结构化、太宽泛和太难管理。无论如何，数据湖具备了使其有独特价值的关键特征，尽管这些特征相对较新，但对初创公司尤其有用。

2018-11-06 12:16:10

数据湖初创公司大数据
苏宁数据仓库应对数据爆发式增长的技术演进 原创
随着公司业务不断发展，数据种类和存储呈现爆发式增长，繁多的业务数据如何被各业务中心分析和使用，如何有效组织和管理大量业务数据，减少大数据平台相近逻辑重复计算、相近数据重复存储，都将面临巨大挑战。

2018-11-06 09:30:38

数据仓库架构苏宁
如何进阶成为一名数据科学家？
数据科学家-21世纪最性感的工作-可以说是每个数据分析师的最终目标，既然拿到的Stack Overflow调查问卷中含有数据分析师和数据科学家的数据，那本次报告的任务就是横向对比一下数据分析师与数据科学家，让大家对自己的未来的技能树选择能有多一点的数据支持。

2018-11-05 17:33:34

数据科学家数据分析数据
纵观30年5000多部国产电视剧，豆瓣评分最低的演员原来是……
今天我们通过爬取豆瓣上近5000部有评分的国产电视剧(不包括港台剧)，对比一下剧集以及参演演员的评分情况。本次我们爬取的数据来源主要分为三个部分：分别是有评分的剧集列表、剧集评分及其他信息、演员信息。

2018-11-05 16:18:28

数据电视剧演员
大数据分析在新型智慧能源建设中的应用
智慧能源已经是我国重要的战略方向。国家在近年发布了一系列相关政策，明确提出提高可再生能源的利用率，都在指向新型、更智慧化的能源体系建设。大数据、人工智能在行业转型过程中至关重要，值得深入研究、重点把握。截至去年底，我国能源行业大数据应用市场规模已达8.29亿元人民币，近5年投资规模都有较大增长。

2018-11-05 15:24:20

数据分析智能能源生产端
什么是流式大数据，处理技术、平台及应用
大数据技术的广泛应用使其成为引领众多行业技术进步、促进效益增长的关键支撑技术。根据数据处理的时效性，大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。

2018-11-05 15:15:38

大数据流式数据互联网
海量数据条件下，企业自定义数据分析需求的实现 原创
本文我们设计出了一套可以快速响应苏宁各业务部门数据需求分析的工具，不仅支持多维度的自由组合、个性化的设置，而且还能快速统计出用户随机指定的相关维度、指标数据。高效实现了用户的个性化需求，达到创新!

2018-11-05 09:00:13

苏宁易购数据分析
为什么说大数据会从ABC里先掉队
人工智能(AI)，大数据(big data)和云计算(cloud computing)三大技术被认为是当今互联网争夺的关键点。而三大技术中中争议最多的在于大数据技术，被夸大的效果和局限性的应用，很可能会让大数据成为ABC三大技术中最先掉队的一个。

2018-11-03 16:49:22

大数据互了网人工智能
值得推荐的5种数据科学工具
最近我们采访了各个行业中经验丰富的数据科学家，询问他们最常使用的工具。下面是我们从中精心挑选的5个工具。

2018-11-01 08:49:28

数据科学数据科学工具数据分析
Splunk 助力Trek-Segafredo车队发挥数据价值
致力于将数据转化为行动和价值的Splunk公司（NASDAQ：SPLK）宣布与Trek-Segafredo男子和女子自行车队建立全球合作伙伴关系，这两支车队均属于制造和销售自行车以及骑行装备的跨国公司Trek。

2018-10-31 16:31:00

SplunkTrek-Segafr数据
未来互联网+大数据时代，DT革命互联网大数据应用简析
未来应该是移动互联网+大数据并存的时代，未来企业之间的竞争是数据的竞争。本文从互联网大数据发展现状、市场规模、需求分析、商业大数据价值、信息安全性、企业发展形态等方面简要分析在DT时代下互联网大数据应用。

2018-10-31 11:06:48

互联风大数据DT时代
数据科学家应当了解的五个统计基本概念
本文讲述了数据科学家应当了解的五个统计基本概念：统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计。从高的角度来看，统计学是一种利用数学理论来进行数据分析的技术。

2018-10-31 11:00:06

数据科学统计贝叶斯
新型僵尸网络目标锁定Hadoop服务器，利用“肉鸡”发动DDoS攻击
一个最新被发现的僵尸网络正在将Hadoop集群作为其感染目标，试图利用它们的计算能力发动分布式拒绝服务(DDoS)攻击。

2018-10-31 10:53:51

Hadoop服务器DDoS攻击
为何我国大数据市场规模不敌小龙虾？
今年以来，根据中国信息通信研究院《中国大数据发展调查报告2018》数据显示，2017年我国大数据市场规模为236亿元(该统计口径是大数据核心产业，包括大数据软件、硬件和服务的直接产值，不包括附加值)。而同年，我国小龙虾产业连年快速增长，市场规模超千亿元。

2018-10-30 15:09:13

大数据市场规模问题
一文读懂Apache Flink技术
Flink是一款分布式的计算引擎，它可以用来做批处理，即处理静态的数据集、历史的数据集;也可以用来做流处理，即实时地处理一些实时数据流，实时地产生数据的结果;也可以用来做一些基于事件的应用，比如说滴滴通过Flink CEP实现实时监测用户及司机的行为流来判断用户或司机的行为是否正当。

2018-10-30 11:10:05

Flink数据集计算
数据科学项目管理中的“黄金标准”
我想大多数人至少承认这一点：“你的研究需要让其他人能够轻松地理解你在项目中做了什么，并能复制这些结果”。此外，你还得对文件的命名方式多加注意，具体做法如何，我们一起来看看吧。

2018-10-28 18:30:51

数据科学数据项目管理
数据挖掘领域十大经典算法之—CART算法（附代码）
CART与C4.5类似，是决策树算法的一种。此外，常见的决策树算法还有ID3，这三者的不同之处在于特征的划分：ID3：特征划分基于信息增益、C4.5：特征划分基于信息增益比、CART：特征划分基于基尼指数。

2018-10-27 15:47:35

CART算法决策树
Commvault助力山东省立医院搭建一体化数据管理平台
2018年是医疗支付转型和医疗IT转型的拐点之年，新兴医疗健康服务体系、新的医疗IT系统得到了空前充足的发展动力和全新的发展空间。

2018-10-26 15:49:06

Commvault一体化数据管理
GrowingIO B轮融资3000万美元 打造更懂用户和增长的行为分析产品
在数据分析行业布局三年后，GrowingIO 正在用产品和服务影响更多的用户，通过打造基于用户行为的分析产品和增长整体解决方案，帮助产品经理、运营、增长负责人等落地增长，逐步成为行业的领军者。

2018-10-25 16:04:48

GrowingIO数据分析数据洞察
九个经典有趣的数据挖掘案例
全球零售业巨头沃尔玛在对消费者购物行为分析时发现，男性顾客在购买婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布和啤酒的销量都大幅增加了。如今，“啤酒+尿布”的数据分析成果早已成了大数据技术应用的经典案例，被人津津乐道。

2018-10-25 14:47:53

分析消费数据挖掘
大数据技术在金融行业中的应用
大数据涉及的行业过于广泛，除金融外，还包括政治、教育、传媒、医学、商业、工业、农业、互联网等多个方面。根据国际知名咨询公司麦肯锡的报告显示：在大数据应用综合价值潜力方面，信息技术、金融保险、政府及批发贸易四大行业潜力最高高。

2018-10-24 14:36:59

大数据金融保险
详细解读：大数据分析的学习
以大数据分析师为目标，从数据分析基础、JAVA语言入门和linux操作系统入门知识学起，系统介绍Hadoop、HDFS、MapReduce和Hbase等理论知识和hadoop的生态环境。

2018-10-24 14:32:15

数据分析数据科学算法
Apache Kafka与Spark Streaming的两种整合方法及其优缺点 译文
我们在将Apache Kafka与Spark Streaming整合的实战过程中，一般可以选用两种方面来配置Spark Streaming，并接收来自Kafka的数据。第一种是利用接收器和Kafka的高级API;而第二种新的方法则并不使用接收器。这两种方法在性能特征和语义保持上，有着不同的编程模式。

2018-10-24 09:00:26

KafkaSpark数据
Adaptive Execution 让 Spark SQL 更智能更高效
本文介绍的 Adaptive Execution 将可以根据执行过程中的中间数据优化后续执行，从而提高整体执行效率。核心在于两点,执行计划可动态调整、调整的依据是中间结果的精确统计信息。

2018-10-23 15:20:29

SparkShuffleSpark SQL
上一页 1 ··· 9091929394 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服