51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
大数据新人应该了解的Hadoop中的各种文件格式
几周前，我写了一篇有关Hadoop的文章，并谈到了它的不同部分。 以及它如何在数据工程中扮演重要角色。 在本文中，我将总结Hadoop中不同的文件格式。 本主题将是一个简短而快速的主题。

2020-04-26 10:49:37

大数据Hadoop文件格式
大数据正在从根本上改变文件传输安全
大数据如今正在改变文件传输技术的性质。大数据既带来了新的挑战，也创造了新的机遇。

2020-04-26 10:00:48

大数据文件传输
客户数据挖掘对中小企业的重要性与日俱增
中小企业都需要获得最有价值的客户数据。他们发现这将显著提高他们的营销活动的投资回报率。

2020-04-26 09:39:43

数据挖掘大数据大数据应用
只会柱状图、饼状图、折线图怎么行，来用Python画个热力图
花花世界迷人眼，东西太多不知选?万物存在即合理，不知根本，难得善法。术业有专攻，凡事不能蛮干，不知怎么画热力图，请往下看。

2020-04-25 20:11:23

Python热力图代码
国有企业信息化绕不开的话题，我们为什么要搞大数据？
国有企业信息化绕不开的话题——我们为什么要搞大数据？——我认为，企业的“小数据”一样可以发挥大作用。以下都是个人拙见，不当之处望大家批评指正。

2020-04-24 11:24:13

大数据信息化技术
在大数据面前，每个人都是赤裸的
「我的女儿还是高中生，你们却给她邮寄婴儿服和婴儿床的优惠券，这是在鼓励她怀孕吗?」一个男子冲进一家商店，要求经理出来见他，并怒不可遏地说出了上述这句话。

2020-04-23 10:22:16

大数据数据集硬盘
我从新冠数据里学到的四个数据科学基础知识
现在，让我们一起来看看COVID-19的报告数据，感受一下如果不提前检查数据就开始构建模型，我们将会出现哪些错误。

2020-04-22 14:58:13

数据科学数据数据分析
大数据系列之Hadoop的资源管理模块YARN
在之前文章中介绍过hadoop1与hadoop2架构的区别是hadoop2将资源管理功能从MapReduce框架中独立出来，也就是现在的YARN模块。

2020-04-22 14:34:42

大数据Hadoop技术
大数据在农业农村大有可为
农业农村大数据包括种植、养殖、农业科技、装备机械、病虫害防治、生态保护、水利、农资、市场、食品安全等环节，根据农业农村的产业链条划分，农业农村大数据主要集中在宏观决策、农业管理、农业环境与资源、农业生产和农业市场等环节。

2020-04-22 14:21:35

大数据农业技术
数据结构是噩梦？想要通过面试，你应该掌握它
想要通过编程面试，必须求解算法，这就离不开数据结构。别害怕，一旦了解了数据结构，就会发现它们其实没有看上去那么难了。本文将会简化和总结这些最基本的数据结构，帮你搞定数据结构。

2020-04-22 13:41:33

数据结构大数据数据
一篇文章读懂数据分析框架
本文主要介绍分析业务的一般流程，分为两个部分：分析是怎样一个过程?分析解决业务问题的框架是什么?

2020-04-22 13:27:20

数据分析模块解决
大数据时代催生城市变革 ，数字科技助力智慧城市建设
“推进国家治理体系和治理能力现代化，必须抓好城市治理体系和治理能力现代化”，领导人近日在浙江省进行了考察调研，对推动城市治理现代化尤其是智慧城市的建设提出了明确要求。

2020-04-22 10:45:23

大数据智慧城市技术
大数据与人工智能应用的7个常见误区
大数据和人工智能技术总是结合在一起是很自然的，但是在这一过程中，人们对人工智能和大数据如何协同工作产生了一些误解，导致潜在的混乱，IT领导者应在采用数据驱动型策略时进行澄清。

2020-04-22 10:03:39

大数据人工智能AI
大数据除了预测还能干啥？
今天随便聊聊一个Susan在2017年发在Science上文章：Beyond prediction: Using big data for policy problems。Susan Athey是美国著名的经济学家，现在是斯坦福大学商学院的教授。在平台和大数据方面的研究方面，她大概是经济学界林朝英这样的角色。

2020-04-22 09:42:17

大数据机器学习技术
隔离太无聊？每天一个数据科学项目，数据集都准备好了！
对于那些对数据，数据分析或数据科学感兴趣的人，我提供了一份可以利用业余时间完成的数据科学项目清单，一共14个!

2020-04-21 15:42:26

数据科学数据集数据
数据收集对客户服务的重要性与日俱增
这是深入研究这个主题的文章之一。越来越多的行业专家开始提到使用大数据来提高客户满意度和忠诚度的重要性。

2020-04-21 10:51:30

大数据客户服务数据
运用大数据提升疫情防控网络谣言治理能力
新冠肺炎疫情是新中国成立以来在我国发生的传播速度最快、感染范围最广、防控难度最大的一次重大突发公共卫生事件。疫情期间，高科技成为疫情防控的一支特殊而又关键的力量，这其中我们尤其要发挥好大数据、人工智能、云计算等数字技术优势，为疫情防控工作提供支撑。

2020-04-21 10:32:38

大数据疫情网络
Python数据分析，必须要求掌握Pandas大熊猫
pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为强大而高效的数据分析环境的重要因素之一。

2020-04-21 10:11:03

Python数据分析Pandas
数据缺失、混乱、重复怎么办？最全数据清洗指南让你所向披靡
要获得优秀的模型，首先需要清洗数据。这是一篇如何在 Python 中执行数据清洗的分步指南。

2020-04-20 15:10:12

数据清洗方法
你是否适应数据正在“看”着你？
从最近针对AI技术发展与影响进行的调查、研究、预测以及其他量化评估结果来看，消费者对于数据隐私、AI给工作带来的影响以及AI优先层面的竞争，普遍抱有困惑且矛盾的态度。

2020-04-20 13:48:21

大数据数据隐私AI
AI 时代，还不了解大数据？
如果要问最近几年，IT行业哪个技术方向最火？一定属于ABC，即AI + Big Data + Cloud，也就是人工智能、大数据和云计算。

2020-04-20 10:55:57

大数据人工智能技术
利用大数据进行客户互动的5种方法
企业可以通过多种方式使用大数据来提高客户参与度，人们需要了解其内容以及如何做到这一点。

2020-04-20 10:47:54

大数据客户互动大数据分析
中国大数据应用市场研究
中国大数据市场行业投资结构中，金融、通信、零售为前三大行业，投资占比分别为16.0%、15.6%和13.9%。政府、医疗、旅游投资比例分别为12.7%、9.0%和4.1%。六大行业累计占比71.3%。其他行业包括教育、制造、能源、媒体、互联网等，累计占比28.7%。

2020-04-20 10:14:42

大数据零售业行业
这么全面的Python数据科学小抄，赶紧收藏吧！
这几天意外地在Github上发现一份非常棒的数据科学备忘小抄，作者将python、pandas、matplotlib、sklearn、keras等工具的使用方法、函数都汇总在一张表上，简洁易懂。

2020-04-20 10:10:52

Python数据可视化数据科学
Python数据分析实战，简单快速制作餐饮行业商业化报告
前些天有个朋友向我求救，他们公司最近要针对餐饮行业做数据分析，并为某些商家做出线上营销方案。但是他一头雾水。我提醒他，是否先从商家的线上评价作为数据分析的入口例如美团、大众点评、饿了么等等。朋友点头称是：”是个好主意，但具体怎么做呢?“于是我花了点时间用Python帮他做了一个基于线上商家评价的数据分析演示。

2020-04-20 09:48:27

Python数据分析代码
“大数据”应有大信用
近日，有网友反映某电商平台存在“杀熟”现象，很多老用户甚至是会员用户购买同款商品的购买价格要高于新注册用户。对此，该电商平台却回应称，新注册用户享受“新人价”。

2020-04-20 09:44:29

大数据电商技术
读了十本书丨Hadoop大数据分析及数据挖掘读书笔记，一文总结
个人看完这一章，对于数据挖掘的落地有了一个大概得了解，我们选择、使用、学习这些大数据的技术应该是结果导向的，这里会让人更清晰去选择技术，使用技术。

2020-04-17 15:23:21

Hadoop数据挖掘数据分析
由浅到深学习Kafka：生产者消息分区机制原理
在使用Apache Kafka生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用Kafka收集应用服务器的日志数据，这种数据都是很多的，特别是对于那种大批量机器组成的集群环境，每分钟产生的日志量都能以GB数，因此如何将这么大的数据量均匀地分配到Kafka的各个Broker上，就成为一个非常重要的问题。

2020-04-17 14:49:34

Kafka分区数据
基于工业互联网的智慧物流建设探讨
随着中国人口红利的慢慢减退，依赖人力的物流行业，也正努力从劳动密集型向技术密集型转变，大数据和工业互联网技术的应用已经把物流业从肩扛手提的传统模式，带入了科技驱动的新物流时代。

2020-04-17 14:37:09

大数据工业互联网技术
Hive任务执行很慢，但是导入数据非常的快？
Hive使用Hadoop来执行查询，其查询执行速度是很慢的，但是使用load data向Hive中导入数据却非常快，这是因为Hive采取的是读时模式(Schema On Read)。

2020-04-17 14:23:12

HiveHadoop数据
进阶必备！写给设计师的数据分析基础指南
本篇文章主要介绍设计师在支持业务的过程中，可能会遇到的数据分析场景及应对的思路、方法，希望能给大家带来启发。

2020-04-17 10:51:26

数据分析设计师数据
数据科学家和软件工程师都在用的Pandas函数有哪些?
软件工程师该像是索引，而不是教科书。你无法记住所有内容，但得知道如何快速查找它们。能够快速查找和使用函数让我们在编写代码时可以达到一定的流畅程度。因此笔者创建了这份自己每天都在使用的、用于构建网络应用程序和机器学习模型的函数备忘清单。

2020-04-16 18:09:10

Pandas函数开发
26道数据科学技能测试题，你能做完几题？
以下是26个数据科学的问题和供参考的答案。这些问题的难度和主题各不相同，但都与机器学习和数据科学相关。不管是大学生还是专业人士，都可以来测试(或更新)一下自己的技能!

2020-04-16 16:52:29

数据科学测试数据
大学里的大数据专业，应该都教什么？
对于大数据相关本科专业的学生，教师首先应让其系统掌握数据分析的相关理论，包括高等数学、线性代数、数据统计、应用统计、数据分析、自然语言处理以及编程这些理论知识。

2020-04-16 15:19:22

大数据学校课程
数据科学技能测试：快来看看你能通关吗？
以下是26个数据科学的问题和供参考的答案。这些问题的难度和主题各不相同，但都与机器学习和数据科学相关。不管是大学生还是专业人士，都可以来测试(或更新)一下自己的技能!

2020-04-16 09:35:53

数据科学机器学习数据分析
一篇文章说清楚如何提升大数据质量
正如大家所知，大数据建设的目标是为了融合组织数据，增加组织的洞察力和竞争力，实现业务创新和产业升级。而提高数据质量是为了巩固大数据建设成果，解决大数据建设成果不能满足业务要求的问题。

2020-04-15 16:34:48

大数据质量标准
大数据在企业中的4个主要竞争优势
控制企业拥有的数据不仅可以提高其内部信息可访问性，而且还可以提供一系列好处，这些好处可能是在其市场中获得竞争优势的驱动力。以下将探讨大数据可以为企业业务提供的一些主要竞争优势。

2020-04-15 10:43:43

大数据企业数据
用Python画中国地图，实现各省份数据可视化
用Python画中国地图，实现各省份数据可视化，pyecharts是一款将python与echarts结合的强大的数据可视化工具，本文使用了0.1.9.4版本

2020-04-15 10:34:05

数据Excel地图
508个人工智能抗疫案例数据分析 各地AI抗疫表现如何
经过数据汇总统计，目前已收集到的AI抗疫产品案例的生产企业所在地区(基于企业工商注册地)共覆盖18个省份，主要集中在北上广和江浙地区。总体来看呈梯队效应，一线城市、新一线城市凭借在经济、政策、人才、产业链等方面的天赋资源要素优势，各项数据遥遥领先。

2020-04-14 16:32:21

人工智能数据分析疫情
大数据可视化技术面临的挑战及应对措施
本文从大数据本身的特点及其应用需求出发，结合数据可视化的研究现状，介绍了适用于大数据的数据可视化技术;分析在大数据条件下数据可视化所要解决的8个关键问题;讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用。

2020-04-14 16:13:13

数据可视化大数据数据
对全球大流行新冠肺炎数据的深度分析揭示出重要发现
世界上每天都会产生大量关于这种全球大流行疾病的数据。尽管世界卫生组织(WHO)、美国疾病控制中心(CDC)、约翰.霍普金斯大学(Johns Hopkins University)和Worldometers之类的组织每天都在公布重要的统计数据，但是这些数据并没有以有效的方式进行分析，因此无法提供见解。

2020-04-14 15:54:02

COVID-19分析流行病
Flink为什么比Spark快？大数据流处理的框架比较
大数据处理的新趋势，流处理和批处理是非常重要的两个概念，而基于流处理和批处理的大数据处理框架，Flink和Spark，也是常常被大家拿来做比较的对象。而在实时流数据处理上，Flink性能似乎更加强劲，那么Flink为什么比Spark快呢，今天我们就来聊聊这个话题。

2020-04-14 15:18:16

SparkFlink框架
大数据可视化技术面临的挑战及应对措施
本文从大数据本身的特点及其应用需求出发，结合数据可视化的研究现状，介绍了适用于大数据的数据可视化技术；分析在大数据条件下数据可视化所要解决的8个关键问题；讨论了针对大数据可视化应用需求自主研发的交互式可视化设计平台AutoVis及其应用。

2020-04-14 11:18:11

大数据IT技术
用户留存分析真的不难，只要能搞清楚这3个模型
多长时间算留存，怎么样才算留存，这个因业务类型而异。就拿滴滴来说，他的用户分为B/C两端。对于B端用户，也就是司机，开车是职业，所以是一个高频的行为。

2020-04-11 11:21:22

留存分析模型分析
AI+咨询：数据科学家会成为顾问吗？
咨询公司未来将会是怎样?受科技巨头威胁的咨询行业该何去何从?数据科学家会成为顾问吗?不如来听听笔者的看法。

2020-04-10 11:58:56

AI咨询数据科学
为何Spark在编程界越来越吃香？Spark将成为数据科学家的统一平台
统计科学家使用交互式的统计工具(比如R)来回答数据中的问题，获得全景的认识。与之相比，数据工程师则更像一名程序员，他们在服务器上编写代码，创建和应用机器学习模型，熟悉C++和Java等系统级语言，经常需要和企业级数据中心的某些组件打交道,比如Hadoop。

2020-04-10 11:53:03

Spark数据科学工具
一场HBase2.x的写入性能优化之旅
对每一个RegionServer进程，我们正常的线上配置是50GB堆内内存和50GB堆外内存(RS合计占用100GB内存)，其中堆内内存主要用于Memstore(~36GB)，堆外内存主要用于BucketCache(~36GB)。

2020-04-10 09:37:47

HBase2.x集群CPU
AutoML 2.0：数据科学家过时了吗？
业界现在推出的各种新平台(https://dotdata.com)都具有更多的自动化功能。人工智能现在可以驱动所谓的要素工程(Feature Engineering)，允许用户自动发现和创建数据科学处理功能。这种做法开启了一种全新的数据科学方法，似乎会威胁到数据科学家的作用。

2020-04-09 15:32:20

数据科学AutoML代智能
被仰望和遗忘过的Cloudera是否能王者归来？
Hadoop曾经是大数据的代名词，然而经过了时间的洗礼，以Hadoop为核心的企业也开始走向下坡路。Cloudera经过了被仰望，被遗忘，如今在混合多云时代，能否王者归来呢？

2020-04-09 11:03:29

ClouderaHadoopCDP
大数据分析系统Hadoop的13个开源工具，你知道几个？
本次为大家分享Hadoop生态系统中最常用的13个开源工具，其中包括资源调度、流计算及各种业务针对应用场景。首先，我们看资源管理相关。

2020-04-08 16:41:18

大数据Hadoop工具
上一页 1 ··· 6970717273 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服