51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9090内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9090 条
为什么说 Java 程序员到了必须掌握 Spring Boot 的时候？
说起 Spring Boot 我们不得不先了解一下 Spring 这个企业，不仅因为 Spring Boot 来源于 Spirng 大家族，而且 Spring Boot 的诞生和 Sping 框架的发展息息相关。

2018-06-13 16:08:34

Java Spring Boo程序员
2018年值得关注的5个大数据趋势
据调研机构Forrester Research最近发布的营销报告，随着组织的领导者开始意识到大量使用大数据技术所需的工作量，人工智能(AI)正在超越其流行术语的阶段。研究报告指出，实施人工智能来实现目标需要精确的部署、规划和治理。尽管如此，该报告预测随着大数据趋势进一步倾向于人工智能，该技术将有巨大的改进。

2018-06-13 15:04:43

大数据趋势人工智能
2018年世界杯冠军竟然被大数据算出来了，还要比吗？
2018年俄罗斯世界杯快来了，今年的大力神杯又将花落谁家?想必每个球迷心中都有自己的答案。但是对于那些银行家、投资商们来说，想要预测冠军，光靠一片热诚之心、以及对足球技术的理解，是不够的。他们要的是数据。

2018-06-13 14:59:11

大数据世界杯冠军
3D打印与大数据会碰撞出什么样的火花？
现如今，投资界纷纷将目光聚焦在移动互联网应用、互联网金融以及智能穿戴设备等项目，似乎它们将是一批风口上的“猪”。而小编将要阐述和挖掘的这座金矿，就是一头能真正能飞起来的“猪”——以3D打印和大数据为基础的分布式制造。这种制造模式将彻底打通互联网业和制造业，给人类带来深刻的社会变革。

2018-06-13 13:25:01

3D打印大数据工业革命
大数据+人工智能 双擎驱动企业数字化转型 原创
数字化时代，大数据及人工智能成为驱动企业业务增长的技术引擎，数字化转型也已成为企业生存和发展的必修课。全球领先的数据和分析解决方案供应商Teradata天睿公司，也在加速其在大数据及人工智能领域的布局，适时推出了Teradata Everywhere及AI战略，强化Teradata分析平台(Teradata Analytics Platform)，助力客户加速数字化转型。

2018-06-13 10:55:55

大数据人工智能Teradata
Airbnb首席架构师李聪：IT系统架构设计应充分考虑用户隐私 原创
针对当前信息安全问题频发的现状，李聪认为原因有三：一是隐私相关的法律法规不够健全，尚未引起足够重视;二是中小型企业没有花费太多的人力、物力和财力去做这件事，导致了一些隐私事件的发生;三是有了健全的隐私机制后，仍然会有一部分人利用隐私漏洞去做一些不好的事情。

2018-06-13 09:25:27

IT系统架构隐私李聪
Hadoop HBase存储原理结构学习
hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。

2018-06-13 08:53:39

HadoopHBase存储
2018数据科学和机器学习调查:Hadoop被抛弃!
近日，著名数据科学网站 KDnuggets 发布了 2018 年数据科学和机器学习工具调查结果。超过 2000 人对自己「过去 12 个月内在项目开发中使用过的数据挖掘/机器学习工具和编程语言」进行了投票。该统计还对过去三年来的排名进行了对比分析。

2018-06-12 16:27:45

数据科学机器学习Hadoop
HBase从入门到精通系列：误删数据如何抢救？
有时候我们操作数据库的时候不小心误删数据，这时候如何找回？mysql里有binlog可以帮助我们恢复数据，但是没有开binlog也没有备份就尴尬了。如果是HBase，你没有做备份误删了又如何恢复呢？

2018-06-12 11:01:55

HBase误删数据
教机器遗忘或许比学习更重要：让AI健忘的三种方式
现在，数据科学家们正在尝试应用神经科学原理来改进机器学习，并且坚信人类大脑能够解锁图灵完备的人工智能。

2018-06-12 00:33:20

AI机器学习人工智能
上海人才大数据：上下班1小时，年薪30万
近日，一部电视剧《上海女子图鉴》将“上海中高端人才”推上了热议话题，也引起了很多人对上海中高端人才的关注。为了满足公众对这个群体的好奇心，5月25日，我们发布了《2018年上海中高端人才及沪漂大数据报告》(以下简称“报告”)。报告发现，上海中高端人才净流入率位居全国城市第11名。

2018-06-11 16:26:09

上海高端人才报告
三招提升数据不平衡模型的性能（附python代码）
针对数据不平衡问题有相应的处理办法，比如对多数样本进行采样使得其样本数量级与少样本数相近，或者是对少数样本重复使用等。最近恰好在面试中遇到一个数据不平衡问题，这也是面试中经常会出现的问题之一，现向读者分享此次解决问题的心得。

2018-06-11 16:20:22

数据不平衡数据集算法
从人脸识别到情感分析，这有50个机器学习实用API！
还在为找不到机器学习的API而烦恼吗?本篇文章将介绍一个包含50+关于人脸和图像识别，文本分析，NLP，情感分析，语言翻译，机器学习和预测的API列表。

2018-06-10 08:35:30

机器学习API脸识别
10本必读的机器学习和数据科学免费在线电子书
KDnuggets 网站编辑 Matthew Mayo 挑选了一些机器学习和数据科学相关的书籍。是时候让你的书架上新增几本机器学习和数据科学书籍了，最重要的是这些书籍全部有免费的电子版!!!

2018-06-08 16:39:53

机器学习数据科学书籍
Kaggle 20G数据集强势分析“绝地求生”，科学吃鸡攻略拿走不谢！
在吃鸡的过程中你是否捧着手机战战兢兢，一会儿激动得起飞、一会儿手抖得厉害;是否有过落地3分钟就被毙、跑不过毒倒在半路上失血致死、站在草丛中被不明方向的子弹狙击而亡、出门舔箱被猪队友当作敌人干掉……想游戏里活得更久怎么办，大数据分析来帮你。

2018-06-08 16:33:34

大数据游戏吃鸡
数据解读：中国高校招生如何不平等？
根据清华大学校内论坛的信息，我抓取了2006到2013年间各省(即各考区)就读清华的人数。由于清华在中国高等教育中占据特殊地位，这份数据不失为探索中国高校招生地域不平等问题的起点。

2018-06-08 16:28:23

高校招生清华北大
大数据存储平台之异构存储实践深度解读
在数据被视为公司资产的时代，每个公司基本都会保存最近数年的数据，而这些数据尤其是冷数据的累积也给存储平台带来了甜蜜的负担。下面就来分享下如何解决这些“负担”。

2018-06-07 16:33:31

大数据冷热数据存储平台
如何克服数据湖与客户互动分析之间的瓶颈
创建客户的完整视图，并通过最佳渠道实时互动。当今在商业领域的竞争就是了解你的客户。消费者期待个性化的服务和令人满意的体验，而与他们互动品牌无关的东西都可能导致客户选择其他品牌。

2018-06-07 16:10:08

数据湖客户互动互动分析
Python数据预处理：使用Dask和Numba并行化加速
作为旧金山大学的一名数据科学硕士，会经常跟数据打交道。使用Apply函数是我用来创建新特征或清理数据的众多技巧之一。现在，我只是一名数据科学家，而不是计算机科学方面的专家，但我是一个喜欢捣鼓并使得代码运行更快的程序员。现在，我将会分享我在并行应用上的经验。

2018-06-07 15:58:52

Python函数数据
人工智能与大数据的区别
人工智能和大数据是人们耳熟能详的流行术语，但也可能会有一些混淆。人工智能和大数据有什么相似之处和不同之处?它们有什么共同点吗?它们是否相似?能进行有效的比较吗?

2018-06-07 15:22:58

人工智能大数据比较
有些决策不能，也永远不该委托给机器
由于数据偏差、系统内置偏见，不了解统计数据以及过度信任机器的决策者，还有其他众多的挑战，算法永远不会给我们“完美”的结果。那么，在算法和你的判断产生出入时，你将在多大程度上依赖算法？

2018-06-07 07:59:40

算法机器数据分析
腾云大学与美世咨询联合发布会圆满举行，全面明确行业定义
《专业数据人才教育行业生态报告》发布会今日举行，美世咨询中国区副总裁兼战略客户部总经理乔鲁诺先生对专业数据人才市场规模与现状做出介绍；TalkingData CEO助理、腾云大学（TalkingData University）执行校长杨慧女士则对专业数据人才定义、专业数据人才教育行业生态结构等问题做出明确回答。

2018-06-06 19:14:09

TalkingData腾云大学美世咨询
当开源技术遇上大数据创新
大数据新兴技术不断涌现，让我们更容易更精准的从海量繁杂的数据中提取有用价值。开源作为一种推动大数据技术创新的新模式，正广受技术开发人员的热爱。

2018-06-06 15:00:27

开源大数据大数据项目
全球十大数据治理解决方案提供商
数据治理主要是企业内部部署的解决方案，该领域的大多数领导者都是一些传统的软件公司，其中大部分的企业已经在某种程度上向云端过渡。而Gartner公司认为，未来几年，数据治理也将转向云计算。

2018-06-06 14:39:04

大数据数据中心云环境
人工智能与大数据的完美结合
人工智能(AI)已经存在几十年了。然而，最近随着“大数据”的出现，它得到了越来越多的关注。那么，大数据为什么会引起对人工智能的关注呢?答案很简单，人工智能可以用传统人类无法处理的方式来处理大数据集。

2018-06-06 14:21:36

人工智能大数据数据处理
干货 ：基于用户画像的聚类分析
聚类(Clustering)，顾名思义就是“物以类聚，人以群分”，其主要思想是按照特定标准把数据集聚合成不同的簇，使同一簇内的数据对象的相似性尽可能大，同时，使不在同一簇内的数据对象的差异性尽可能大。通俗地说，就是把相似的对象分到同一组。

2018-06-06 14:17:44

聚类分析算法大数据
避免数据备份中的7大风险
如今，全球各地的组织和个人所存储和传输的数据量激增。数据已经无处不在，随着文件规模的增加，其倍增的速率正在快速增长，需要备份的数据比以往更多。

2018-06-06 14:15:12

数据备份勒索软件数据
Kafka解惑之时间轮 (TimingWheel)
Kafka中存在大量的延迟操作，比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器(SystemTimer)。

2018-06-06 10:14:32

Kafka时间轮任务
开源模式下的云计算和大数据现状
开源云计算带来的好处很多，其中最吸引人的就是可以帮助企业降低成本。另外，开源模式消除了供应商的限制和壁垒，并且可让技术变得更加协作，合作者会不断更新开源软件，使该技术得到持续的完善和发展。

2018-06-06 10:06:05

云计算大数据开源
还不收藏？Spark动态内存管理源码解析！
Spark有两种内存管理模式，静态内存管理(Static MemoryManager)和动态（统一）内存管理（Unified MemoryManager）。动态内存管理从Spark1.6开始引入，在SparkEnv.scala中的源码可以看到，Spark目前默认采用动态内存管理模式，若将spark.memory.useLegacyMode设置为true，则会改为采用静态内存管理。

2018-06-06 08:28:37

Spark内存管理
数据开启基础设施现代化之门
实现数字化转型的致胜点在于业务和技术的完美结合，而云在其中扮演着一个至关重要的角色——数字化转型的基石。目前，大多数企业正处于传统架构和新型IT架构并存的状态，在上云的道路上，众多企业采用了多云部署的策略，即采用超过一家的云服务商来构建和提供云服务。

2018-06-05 13:43:49

数据基础设施
大数据分析系统Hadoop的13个开源工具
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。

2018-06-05 12:06:20

Hadoop开源工具
数据科学“内战”：统计vs.机器学习
和武侠世界里有少林和武当两大门派一样，数据科学领域也有两个不同的学派：以统计分析为基础的统计学派，以及以机器学习为基础的人工智能派。而本文将从数据科学的研究目标和挑战聊起，用几个简单的例子，对比数据科学圈这两大门派之争。

2018-06-05 11:30:22

数据科学机器学习统计学
零售业强竞争，大数据如何帮助弱者角逐
大数据时代，数据分析已经渗透到各行各业，这里也包括零售行业。目前，各大中小型零售商都在努力为客户提供更好的购物体验，用有限的预算为顾客提供满意的服务。零售商业内存在很强的竞争压力，不断的技术创新使得行业景观变化迅速。

2018-06-05 11:20:33

大数据人工智能零售
当大数据满足数据可视化时，如何使数据变得可操作
如今，数据科学家可以使用数据可视化来使他们的信息更具可操作性插图、图表、图表和电子表格可以把枯燥的报告变成有启发性的内容，更容易收集洞察力和可操作的结果。

2018-06-05 10:47:37

数据可视化数据分析
深度:Hadoop对Spark五大维度正面比拼报告！
为了增加混淆，Spark和Hadoop经常与位于HDFS，Hadoop文件系统中的Spark处理数据一起工作。但是，它们都是独立个体，每一个体都有自己的优点和缺点以及特定的商业案例。本文将从以下几个角度对Spark和Hadoop进行对比：体系结构，性能，成本，安全性和机器学习。

2018-06-04 11:28:49

HadoopSpark数据
伯克利发布迄今为止最大驾驶数据集BDD100K，含10万段视频
日前，伯克利发布了迄今最大、最多样化的带有丰富注释的驾驶视频数据集 BDD100K。大家可以访问 http://bdd-data.berkeley.edu 获取该数据集。同时，他们也在 arXiv 上发布了关于该数据集的报告，大家也可以利用该数据集参加他们主办的的 CVPR 2018 挑战赛。

2018-06-04 11:09:04

数据集自动驾驶道路区域
用Python将数据写到CSV文件
我们从网上爬取数据，最后一步会考虑如何存储数据。如果数据量不大，往往不会选择存储到数据库，而是选择存储到文件中，例如文本文件、CSV 文件、xls 文件等。因为文件具备携带方便、查阅直观。

2018-06-04 10:04:48

Python数据语言
你的数据化经营为何屡战屡败，118位CTO给出的7个管理经验
成功的企业数字化案例显然有自己的共同点：重视数据质量、重视数据上下文、以及建立有效的数据管理体制。而失败的企业则各有各的问题。

2018-06-03 15:45:33

数据分析数据数据科学
如何在万亿级别规模的数据量上使用 Spark？
Spark 作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于 Spark 的理解，希望能给读者一些学习的思路。

2018-06-01 09:42:43

数据Spark规模
什么是预测分析技术?将数据转化为对未来的见解
根据Zion Market Research 市场研究机构2017年发布的报告，预测分析技术已获得众多组织的支持，预计到2022年全球市场将达到约109.5亿美元，2016年至2022年期间的复合年增长率(CAGR)约为21%。

2018-05-31 21:57:13

预测分析技术传统分析算法
Facebook科学家：别给算法模型喂垃圾数据了…
在最近的一次谈话中，Facebook人工智能研究科学家Moustapha Cissé告诉我，“你吃什么你就是什么，而我们正在给算法模型喂垃圾食品。”如果你不知道食物中有什么，你就很难合理饮食。同理，如果你不理解训练数据的原理，就不能训练出偏差更小的模型。

2018-05-31 21:41:57

数据手册人工智能数据集
Amas：基于大数据平台技术开发的统一监控平台
Amas是基于大数据平台技术开发的统一监控平台，其特点包括：全维度监控指标，覆盖从操作系统、中间件、大数据平台(Hadoop/Spark/HBase/Kakfa等)到代码级别、可扩展、自定义的采集框架，支持不同语言(Python/Perl/Shell/...)开发的采集器等

2018-05-31 21:14:49

Amas大数据监控平台
短视频现状如何？大数据告诉你抖音较火，快手较赚钱！
近年来，“短视频”的热度一直高居不下。截止2018年2月，短视频综合平台与短视频聚合平台活跃用户规模分别达到4.035亿人与1.655亿人。短视频对用户的生活方式正带来深刻的变革。

2018-05-31 21:11:24

短视频抖音快手
一文理清Apache Spark内存管理脉络
本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuffle、JVM 等相关概念。

2018-05-31 20:49:50

Spark堆内内存优化机制
WOT干货大放送：大数据架构发展趋势及探索实践分享 原创
WOT大数据处理技术分会场，PingCAP CTO黄东旭、易观智库CTO郭炜、Mob开发者服务平台技术副总监林荣波、宜信技术研发中心高级架构师王东及商助科技(99Click)顾问总监郑泉五位讲师，分别针对时下热门的HTAP数据库TiDB、去ETL化的IOTA架构、数据工厂架构、实时敏捷大数据理念实践、基于场景的大数据营销等话题，展开实践分享。

2018-05-31 16:13:12

大数据架构趋势
页面可视化搭建工具的前生今世
页面可视化搭建, 是一个历久弥新的话题. 更广义上讲, 页面是 GUI 的一部分, GUI 的拖拉生成在各种开发工具上很常见, 如 Android Studio, Xcode, Visual Studio 等. 前端页面早在十几年前就能用 Dreamweaver, Frontpage 等工具可视化搭建出来.

2018-05-31 12:12:12

页面可视化工具
2018年数据科学和机器学习调查:Python完胜R语言，Hadoop被抛弃！
近日，数据科学网站KDnuggets发布 2018年数据科学和机器学习工具调查结果。

2018-05-31 09:40:55

数据机器学习Python
可视化的三大误区，哪些可视化工具受欢迎？
数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息。为了有效地传达思想概念，美学形式与功能需要齐头并进，通过直观地传达关键的方面与特征，从而实现对于相当稀疏而又复杂的数据集的深入洞察。

2018-05-31 08:25:13

误区工具可视化
大数据的4大宏观趋势
一系列不同的趋势正在影响大数据举措，但四个总体主题正在成为2018年影响大数据的关键因素：云计算、机器学习、数据治理，以及对速度的需求。

2018-05-30 11:53:27

大数据数据分析数据
上一页 1 ··· 979899100101 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服