51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9065内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9065 条
新一代大数据与人工智能基础架构技术的发展与趋势
2018年是开源软件历史上最精彩的一年，2个IPO加上5个并购，开源技术到达新的高度。回溯过去大数据时代的15年，开源技术的创新潮流，包括集群技术，流计算，数据库，容器技术和机器学习，可谓一波接着一波。

2018-12-03 16:52:22

大数据IT人工智能
Python数据可视化：浅谈数据分析岗
本次通过对BOSS直聘，拉勾网数据分析岗数据分析，了解数据分析岗的行业情况，也以此来了解从事数据分析所需要的技能。

2018-12-03 16:50:23

数据可视化数据分析薪水
Splunk宣布与全新的Amazon Web Services Security Hub集成
致力于将数据转化为行动和价值的 Splunk公司(NASDAQ：SPLK)今天宣布与新推出的Amazon Web Services(AWS)Security Hub集成。AWS Security Hub提供全面的视图来管理安全警报并为AWS客户自动处理合规检查。

2018-12-03 15:03:39

Splunk安全监控
高手总结的15个技巧，让你轻松玩转数据可视化！
大数据时代，数据驱动决策。处理不好庞大、复杂的数据，其价值将大打折扣。那如何缩短数据与用户的距离?让用户一眼抓到重点?让老板为你的汇报方案鼓掌?本文通过连环15关，层层深入，传你数据匹配图形神功，让数据可视化更高效。

2018-11-30 15:44:49

可视化图表数据
高德一站式智能出行解决方案A+Box发布 奥迪成为首个合作品牌
11月30日，高德在2018汽车客户大会上发布了智行战略，高德将从智能出行、智能驾驶、共享出行三个方面助力合作伙伴智能化升级。针对智能出行，高德地图汽车事业部总裁韦东宣布推出一站式解决方案——A+Box。

2018-11-30 11:07:11

高德智能出行奥迪
Python数据可视化：Python大佬有哪些？
之前讲了代理池以及Cookies的相关知识，这里针对搜狗搜索微信公众号文章的爬取，将它俩实践一下。在崔大的书里面，他是用代理IP来应对搜狗的反爬措施，因为同一IP访问网页过于频繁，就会跳转验证码页面。

2018-11-30 10:28:44

Python反爬网页
想成为数据科学家？先做到这6点吧！
《未来简史》中说道“未来，数据为王，谁掌握了数据，谁就处于领先。”2018年即将过去，2019年即将到来。如果你想成为一名数据科学家，本文提出6点建议，希望你在新的一年里能够尽量完成。

2018-11-29 13:30:15

数据科学家项目数据
深入大数据平台心脏：饿了么调度系统全解
随着饿了么在大数据应用的不断深入，需要解决任务数量增长快、任务多样化、任务关系复杂、任务执行效率低及任务失败不可控等问题。

2018-11-29 09:36:56

大数据调度系统
解读|华为云DWS入选Forrester云数据仓库报告
近期，权威IT咨询机构Forrester发布了"The Forrester WaveTM: Cloud Data Warehouse Q4 2018"研究报告，华为云企业级数据仓库成功上榜。

2018-11-28 17:25:47

华为云
Commvault荣膺2018年Gartner Peer Insights“数据中心备份和恢复解决方案”客户最佳选择奖
全球公认的混合环境数据备份、恢复、云和数据管理领导者Commvault(纳斯达克代码：CVLT)今日宣布荣膺2018年Gartner Peer Insights数据中心备份和恢复解决方案客户最佳选择奖。

2018-11-28 16:20:15

数据中心备份恢复
安防AI大数据全流程解析
对于安防AI，看上去是AI，实际上最后是大数据，大数据才是智能化的基础。人工智能、深度学习、机器学习、大数据应用在安防AI中， 说到底都是对大数据的采集、建模和应用。本文大致说一下安防AI中，对于大数据的运用过程与环节，让大家有个大致的印象。

2018-11-28 15:15:52

大数据AI安防
爬取点评成都数据，只为告诉你哪家火锅好吃
冬天到了，天气越来越冷，小编起床越来越困难了，每一天都想吃辣辣的火锅。那么如何选择火锅店呢?最简单的肯定是在美团、大众点评上找一找啊。所以，本文就从大众点评上爬取了成都的火锅数据，来进行了分析。

2018-11-28 13:16:39

火锅数据爬虫
全国41611个景点，用Python告诉你哪些地方更值得一游！
都知道中国地广人不稀，旅游资源非常丰富，古文化遗址、抗战遗址、山川、河流等等，在选择目的地的时候，不少人都会非常纠结，不知道去哪更好。为了以后不再纠结，笔者打算深度解析全国的旅游景点分布。

2018-11-28 10:23:01

Python旅游景点数据
从6730个微信用户中分析出大家的手机使用习惯
今天给大家分享一篇从小程序用户使用网络/微信版本/手机型号/屏幕样式/微信字体大小等方面来分析大家的手机使用习惯。

2018-11-28 09:54:04

微信数据手机
公交车总迟到？你大概掉进了“等待时间悖论”
在等待平均10分钟一班的公交车时，你的平均等待时间将为10分钟。这就叫等待时间悖论。

2018-11-27 05:46:10

等待时间悖论公交车数据分析
100行代码爬取全国所有必胜客餐厅信息
数据分析的前提是有数据可分析。如果没有数据怎么办?一是可以去一些数据网站下载相关的数据，不过数据内容可能不是自己想要的。二是自己爬取一些网站数据。今天，我就爬取全国各地所有的必胜客餐厅信息，以便后续做数据分析。

2018-11-26 18:57:58

Python数据分析爬取
Python数据可视化的四种简易方法
数据可视化是任何数据科学或机器学习项目的一个重要组成部分。人们常常会从探索数据分析(EDA)开始，来深入了解数据，并且创建可视化确实有助于让问题更清晰和更容易理解，尤其是对于那些较大的高维度数据集。本文讲述了热图、二维密度图、蜘蛛图、树形图这四种Python数据可视化方法。

2018-11-26 18:45:22

数据可视化绘图可视化
如何与医生更有效地进行数据沟通？
近期，有团队在开展了一项深入研究，旨在观察医生们对临床诊断差异的认知以及哪些因素会影响医生们对药物和诊治手段的选择。

2018-11-26 07:23:08

数据数据数据分析
HBase在人工智能场景的使用
近几年来，人工智能逐渐火热起来，特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据，处理完的数据一般都需要存储起来，这些数据的特点主要有如下几点。

2018-11-22 13:37:49

HBase人工智能数据
以内部视角来观察10个数据分析的成功案例
如果把数据看成是一种新的石油，那么知道如何将其提炼成可操作的情报则是释放其潜力的关键。为此，首席信息官们正在利用预测分析、精心设计的机器学习算法和久经考验的分析解决方案来追求提升业务效率和服务客户的新方法。

2018-11-22 12:51:43

大数据首席信息官数据分析
现代数据架构的7个关键技术
企业IT基础设施平台的重新构建是一项复杂的任务。重新构建平台通常由一系列变化的关键业务驱动因素引发，现在情况正是如此。简而言之，主导企业IT技术的近30年的平台无法再满足推动业务发展所需的工作负载的需求。

2018-11-21 14:44:33

数据库容器数据架构
Python数据可视化：2018年电影分析
双11已经过去，双12即将来临，离2018年的结束也就2个月不到，还记得年初立下的flag吗?完成了多少?相信很多人和我一样，抱头痛哭...本次利用猫眼电影，实现对2018年的电影大数据进行分析。

2018-11-21 14:38:09

分析在数据电影
Python数据可视化：2018年北上广深空气质量分析（附完整代码）
就在这周偶然看到一个学弟吐槽天津的空气，不禁想起那段厚德载雾，自强不吸的日子。这回先对2017年天津的空气质量情况进行分析，然后再是北上广深。

2018-11-21 14:09:31

可视化天气雾霾
从睫毛膏到太空垃圾，2018年度值得推荐的数据可视化作品都在这了！
为了致敬世界各地为数据可视化作出贡献的艺术家和设计师们，我们收集了2018年最优秀的一批数据可视化作品。当然，其中也包含了一些2017年以及更早些的，因为它们真的赏心悦目，不容错过。

2018-11-21 11:01:01

数据可视化数据分析数据
入门数据分析的一些建议
最近经常被问到怎么入门数据分析，可能很多同学对怎么开始学习还是比较困惑的。我回想自己学习数据分析的经历，总结了一些建议，希望能给到大家帮助。

2018-11-20 14:24:46

数据分析数据库统计
为什么你不应该成为一名数据科学通才
似乎，数据科学家涉及的领域越广，越能突出数据科学这份职业的价值。但是，情况恰恰相反！有着丰富的数据科学经验的SharpestMinds联合创始人Jeremie Harris告诉你，千万不要成为一个数据科学通才！

2018-11-20 14:03:17

数据科学数据分析数据科学家
Hadoop架构已凋谢吗 ？
坦率地说，Hadoop走下坡路似乎找不到一个最根本的理由。相反，Hadoop架构人气下滑可能归咎于几个不同的因素。一些IT专业人员对于自己无法在Hadoop集群上执行任何有意义的数据分析颇为沮丧。

2018-11-19 15:14:46

Hadoop架构公共云
大数据方向的安全技术研究
近年来，随着大数据应用的爆发性增长，大数据衍生出独特架构，并推动存储、网络及计算机技术的发展，同时也引发了新的安全问题。国际社会已经将大数据安全列入国家信息网络安全战略，国内学术界、信息安全界、产业界也正逐步关注大数据的发展。

2018-11-19 13:44:39

大数据信息安全数据安全
公安大数据的下一个风口： 数据分析报告应用探析
本文从三个方面对公安数据分析报告的含义和应用进行探讨，第一部分介绍其内涵，第二、三部分别分取两个方向的应用进行分析。

2018-11-19 13:00:56

公安大数据数据分析安全
大数据相关的十大技术
大数据技术指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2018-11-19 12:58:47

大数据技术Java
这8个Python小细节，让你在大数据领域如鱼得水
学习数据科学的过程，从来就不是一帆风顺的。在写代码的时候，你是否也经常不得不反复搜索同一个问题，同一个概念，甚至同一个语法结构的特性呢?对，你不是一个人在战斗。

2018-11-19 11:43:13

Python数据函数
用大白话告诉你小白都能看懂的Hadoop架构原理
Hadoop 是目前大数据领域最主流的一套技术体系，包含了多种技术，例如 HDFS（分布式文件系统），YARN（分布式资源调度系统），MapReduce（分布式计算系统）等等。

2018-11-19 08:34:22

Hadoop架构HDFS
我，一个数据科学家的三大弱点
通过定位我在数据科学方面的弱点——软件工程，扩展分析/模型，深度学习——我的目标是高自己，鼓励他人思考自己的弱点，并向你展示想成为成功的数据科学家并不必要学习所有知识。

2018-11-19 06:00:32

数据科学家数据科学数据科学
用Spark 来做大规模图形挖掘：第一部分
对于数据科学家，图形是一个非常令人着迷的研究课题，标记数据的方法在处理机器学习问题并不总是有效。图形在无监督上下文中非常强大，因为它们通过利用数据的基础子结构来充分利用您拥有的数据。

2018-11-15 14:52:15

Spark数据机器学习
MapReduce运行原理
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。

2018-11-14 14:33:33

MapReduce数据集计算
没有数学和编程基础，这几个数据科学项目了解一下
今天，文摘菌给大家介绍几个比较有特色的数据科学模块，这些模块原本是一些教师用来进行教学使用，帮助学生有机会使用与其课程相关的数据集，并指导学生进行数据分析以及帮助理解统计和计算机原理。

2018-11-14 13:59:53

数据科学数据集数据科学项目
Apache Flink在唯品会的实践
目前在唯品会实时平台并不是一个统一的计算框架，而是包括Storm，Spark，Flink在内的三个主要计算框架。由于历史原因，当前在Storm平台上的job数量是最多的，但是从去年开始，业务重心逐渐切换到Flink上面，所以今年在Flink上面的应用数量有了大幅增加。

2018-11-14 13:49:16

Apache Flin唯品会架构
预测！未来五年，北美将依旧占据大数据领域主导地位！
近日，全球Hadoop and Big Data Analytics Market 提供了一份2018年的市场行业分析报告，该报告预测了未来五年内(2018-2026)的大数据领域市场增长、份额变化、规模和需求，以及Hadoop和大数据分析市场的未来。

2018-11-14 13:43:46

大数据数据中心数据分析
Top 7大开源数据可视化分析工具！
目前，我们可以在市场上找到很多用于网络分析和数据可视化的开源工具，例如NetworkX，R和Gephi中的iGraph包等。

2018-11-14 10:15:58

开源技术 数据
大数据生态圈及其衍生物
大数据这个概念本身就太大而且太宽，如果一定要严格定义是非常困难的一件事，不过Hadoop生态圈或者由其延伸的泛生态系统，基本上都是为了处理大量数据诞生的——一般而言，这种数据依赖单机很难完成。

2018-11-13 15:05:33

大数据MapReduce机器
10个苗头表明你不是当系统分析员的料 译文
美国劳工统计局预测，由于企业组织继续构建和实施日益复杂的技术，系统分析员的就业机会将以每年9%的速度增加，持续到2026年。如果你一直想知道自己是否适合当系统分析员，不妨看看本文。如果你发现自己符合其中的几点，也许应该考虑另谋职路。

2018-11-13 12:00:58

分析员管理应用程序
数据技能从哪学起？看看这张矩阵分析图
撒网式招聘对于很多初创公司过于昂贵，本文提供了一个分析矩阵，帮你正确评估对针对你投入产出比最高的数据技能。

2018-11-12 14:21:35

数据科学矩阵数据
三大方法保护Hadoop集群免遭攻击！
自今年以来，不少恶意软件开始频繁向Hadoop集群服务器下手，受影响最大的莫过于连接到互联网且没有启用安全防护的Hadoop集群。

2018-11-12 13:45:05

Hadoop攻击互联网
工业大数据：构建制造型企业新型能力
工信部的数据显示：“中国制造业约占整个世界制造业20%的份额，在500余种主要产品中，我国有220多种产量位居世界第一。2014年，我国共有100家企业入选‘财富世界500强’，其中制造业企业占56家”。

2018-11-12 13:34:17

工业大数据制造业结构化数据
恶意软件日均进攻百万次！三大方法保护Hadoop集群免遭攻击！
大约在两年前，开源数据库解决方案MongoDB以及Hadoop曾遭受过大量恶意攻击，这些攻击后被统称为“勒索软件”，因为其攻击者会擦除或加密数据，然后向被攻击者索要资金以恢复数据。自今年以来，不少恶意软件开始频繁向Hadoop集群服务器下手，受影响最大的莫过于连接到互联网且没有启用安全防护的Hadoop集群。

2018-11-12 10:32:25

恶意软件Hadoop集群
十分钟了解大数据处理的五大关键技术及其应用
数据处理是对纷繁复杂的海量数据价值的提炼，而其中最有价值的地方在于预测性分析，即可以通过数据可视化、统计模式识别、数据描述等数据挖掘形式帮助数据科学家更好的理解数据，根据数据挖掘的结果得出预测性决策。

2018-11-11 16:38:41

大数据数据分析数据挖掘
如何选择大数据的编程语言
没有什么阻止得了你使用其他机制(比如XSLT转换)来处理大数据工作。但通常来说，如今大数据方面有三种语言可以选择：R、Python和Scala，外加一直以来屹立于企业界的Java。那么，你该选择哪种语言?为何要选择它，或者说何时选择它?

2018-11-11 15:29:13

大数据语言Java
大数据分析的4个核心概念
在应用该算法进行数据分析时，首先应输入包含M个对象的数据集A以及簇的数目N。从A中任意选择N个对象作为初始簇中心并且不断重复，随后计算出簇中对象的均值，将每个对象分配到最相似的簇并且不断更新簇均值，最后计算准则函数直到其不再发生变化为止。

2018-11-08 15:12:16

数据分析算法决策树
同样是用Excel，为什么别人那么优秀？
“为什么同样是用Excel工作，新来的小李竟能比我这资深表哥快这么多”。对自己多年练就的“神速做表手”充满信心的老王怎么也想不明白，为什么自己最快也要两天才能做好的数据报表，到新来的小李手里只用半天就搞定了。

2018-11-08 14:39:50

Excel表结构数据
开源工具 | Python数据科学入门
无论你是一个具有数学或计算机科学背景的资深数据科学爱好者，还是一个其它领域的专家，数据科学提供的可能性都在你力所能及的范围内，而且你不需要昂贵的，高度专业化的企业级软件。本文中讨论的开源工具就是你入门时所需的全部内容。

2018-11-06 20:30:23

Python开源工具机器学习
上一页 1 ··· 8990919293 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服