51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术25年5月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9088内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9088 条
用一周时间体验Python数据分析
对于成人学习者来说，编程知识领域可能是完全分散的，但是情况可能是就业、学术或急需工作。从拼音等基础学习中学习Python是不合适的。教师的作用是避免大量无意识的搜索时间，快速了解建立必要的知识体系，分阶段完成实际项目，启发初学者了解应用场景，从而减少进入放弃的可能性。

2018-09-26 16:07:15

Python数据分析编程
高德地图发布智慧景区开放平台 四大能力向景区免费开放
9月25日，在第二届十一全民出行节启动发布会上，高德地图发布智慧景区开放平台，为景区提供一张地图游中国、大数据中心、地图管家、全域营销等四大能力，赋能景区管理。相比已有的智慧景区解决方案，高德智慧景区开放平台的最大的特点是，以服务游客为中心，能力向景区免费开放。

2018-09-25 18:12:04

高德地图智慧景区
高德地图与支付宝达成深度合作 打造一站式可信赖出行平台
9月25日，高德地图在北京举行的第二届“十一全民出行节”发布会上，与支付宝联合宣布达成深度合作，双方将在产品、技术、生态等方面深度融合，借助彼此在移动支付、信用风控等方面的平台优势，共同为用户提供一站式、可信赖的移动出行体验。

2018-09-25 18:07:14

高德地图支付宝
听我说，大数据需要学什么?
大数据需要学习什么?很多人问过我这个问题。每一次回答完都觉得自己讲得太片面了，总是没有一个合适的契机去好好总结这些内容，直到开始写这篇东西。大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。

2018-09-25 16:07:53

大数据语言分布式
TalkingData林逸飞：以数据智能探索业务突破 企业需正视数字化三大短板 原创
以“突破”为主题的T11 2018暨TalkingData数据智能峰会上，TalkingData合伙人兼执行副总裁林逸飞发表了“以数据智能探索业务突破”的精彩分享。他表示，企业进行数字化转型，信数据是前提，但不同企业在进行数字化时往往存在三大主要短板。

2018-09-25 13:22:10

TalkingData数据智能数据中台
憋瞎说，大数据不是你想的那样
学生党以及很多没设计过大数据开发的小伙伴呢，都对大数据这么一个领域感到非常非常的好奇非常非常的神秘，我今天就非要戳穿给你们看。

2018-09-25 11:58:10

大数据机器学习Spark
你的数据仓库还在为企业业务拖后腿吗? 原创
数据仓库系统长期以来一直是企业IT架构的重要组成部分。随着开源技术的不断发展以及云端部署方式的不断深入，传统数据仓库的局限性日益凸显，难以适应新技术带来的市场变革，如何面向大数据技术进行数据仓库的优化、转型是企业IT管理者面临的重要挑战。处于不同阶段的企业如何应用大数据技术?如何面向大数据技术进行数据仓库转型?如何对现有数据仓库进行优化?如何在Hadoop中进行性能优化?这些已成为困扰IT管理者的主要问题。

2018-09-24 09:15:12

数据仓库大数据
工博会在沪启幕，联想大数据LeapAI.com助力企业“跨越式”前进
全球领先的开源解决方案供应商红帽公司（纽交所代码：RHT）日前宣布推出红帽Ansible Tower 3.3，这是目前实现IT运营自动化及编排能力的企业级框架最新版本。

2018-09-22 07:01:20

联想大数据LeapAI.com
写作比写代码难多了？给数据科学家的写作指南
数据科学家有好的写作技巧能够提高沟通效率。但我们常常会因为写作能力不足感到困扰。下面一套体系可以突破这些障碍，可以帮你掌握一些数据科学写作的通用准则。

2018-09-21 14:20:01

代码数据科学家数据科学
小议Lambda与Kappa架构，不可变数据的计算探索
Lambda架构说起来也很简单，就是通过分布式系统的组件搭建，设计出一个具有鲁棒性，可扩展，低延时的分布式计算系统。之所以称之为Lambda架构，就是它最为核心的点就是理由了数据处理过程之中的不可变性与无依赖性。

2018-09-21 11:19:30

Lambda架构函数数据系统
深度挖掘，大数据不是事儿
技术型的高科技创业公司都喜欢闪闪发光的新东西，而“大数据”跟3年前火热程度相比反而有些凄惨。虽然Hadoop创建于2006年，在“大数据”的概念兴起到达白热化是在2011年至2014年期间，当时在媒体和行业面前，大数据就是“黑金石油”。但是现在有了某种高原感。

2018-09-21 10:53:26

大数据AIHadoop
2018年值得拥有的十大大数据挖掘工具 译文
数据挖掘是指这个过程：在庞大数据集当中发现模式，将它转换成有效的信息。该技术利用特定的算法、统计分析、人工智能和数据库系统，从庞大数据集中提取信息，并转换成易于理解的形式。本文介绍了广泛用于大数据行业的10种综合数据挖掘工具。

2018-09-20 09:00:41

大数据数据科学数据可视化
BigData：值得了解的十大数据发展趋势
本文总结了大数据技术领域中的十大发展趋势，涵盖人工智能、量子计算、智能机器人等多个领域。

2018-09-19 22:35:25

大数据数据大数据技术
成都房价现在多少？和北京差距很大吗？Python爬取了四万套房源！
作为一家技术人员，决定用技术解决这个疑问。我们用Python爬取了贝壳网上4万多套的成都在售房源，告诉你最真实的成都房价。

2018-09-19 14:03:00

Python房价cookie
Hadoop中Hive原理及安装
Apache Hive™数据仓库软件有助于使用SQL读取，写入和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据上。提供命令行工具和JDBC驱动程序，用于将用户连接到Hive。

2018-09-18 15:21:47

Hive数据仓库程序
数据行业职业薪资“钱景”：平均薪资轻松过万，到5万也不是不可能
近年来，大数据越来越火，相关产业也在各项利好政策下蓬勃发展。越来越多的人开始考虑网大数据方向发展，这其中，高薪资是主要原因。据数联寻英发布《大数据人才报告》显示，目前全国的大数据人才仅46万，未来3-5年内大数据人才的缺口将高达150万。而在BAT企业招聘的职位里，60%以上都在招大数据人才。

2018-09-18 14:49:34

大数据工程师数据挖掘
HBase相对Hive查询速度快的对比
HBase的机制是将数据先写入到内存中(缓存Buffer中)，当数据量达到一定的量(如128M)，产生溢写磁盘操作，在内存中，是不进行数据的更新或合并操作的，只增加数据，这使得用户的写操作只要进入内存中就可以立即返回，保证了HBaseI/O的高性能。

2018-09-18 14:43:30

HBase查询数据
MapReuce中对大数据处理最合适的数据格式是什么？
在本章的第一章节介绍中，我们简单了解了Mapreduce数据序列化的概念，以及其对于XML和JSON格式并不友好。本节作为《Hadoop从入门到精通》大型专题的第三章第二节将教大家如何在Mapreduce中使用XML和JSON两大常见格式，并分析比较最适合Mapreduce大数据处理的数据格式。

2018-09-18 11:16:11

MapReduceXML大数据
高德与吉利强强联手 高精地图商业化再下一城
9月17日，在阿里巴巴2018全球投资者大会上，阿里巴巴合伙人、高德地图总裁刘振飞透露，高德与吉利在高精地图领域达成全面合作。这也是继凯迪拉克之后，高德在高精地图领域的第二个商业订单。

2018-09-17 17:48:40

高德吉利底图
推荐 ：一小时建立数据分析平台
今天教大家如何搭建一套数据分析平台。它可能是最简单的搭建教程，有一点Python基础都能完成。比起动辄研发数月的成熟系统，借助开源工具，整个时间能压缩在一小时内完成。

2018-09-17 12:42:34

数据分析分析平台数据
曹永寿：大数据及AI技术 构建衡量艺人商业价值的标尺 原创
艾漫数据总裁曹永寿介绍，“艾漫数据成立以来，一直致力于构建娱乐产业全方位的大数据服务平台，以数据构建和连接泛娱乐产业链上下游。艾漫成立近七年来有两大标签，那就是‘脱水’和‘商业价值’。”

2018-09-17 10:49:17

大数据人工智能AI
什么样的大数据平台架构，才是更适合你的？
大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，后来还是觉得体现一个“能用”原则，清晰且容易理解，能指导建设，这里将大数据平台划分为“五横一纵”。

2018-09-16 15:40:06

大数据平台数据仓库架构
10个最令人垂涎的大数据职位 数据科学家增长率最高
TechGenix日前刊发了Benjamin Roussey撰写的一个报道，作者对市场上10个最受欢迎的大数据岗位进行了梳理。不知道中国大数据工程师的薪酬有没有达到这个水准呢?

2018-09-15 23:38:56

大数据职位数据科学家
从京东618数据井喷看大数据平台峰值处理制胜关键
随着DT(数据技术)时代的到来，人们能比以往更容易地获取更丰富的数据。数据作为一种新的能源形式，正在源源不断地发挥其巨大的价值，帮助我们激发更多的技术驱动力，提供更优质的服务。

2018-09-14 17:22:43

大数据平台京东日志
人工智能和大数据的开发过程中需要注意这12点
人工智能是近年来科技发展的重要方向，在大数据时代，对数据采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据的开发过程中，有哪些特别需要注意的要点?

2018-09-14 08:50:12

人工智能大数据
你应该了解的6个大数据区块链项目
如今，区块链已证明了它的价值存在，那么它将如何帮助大数据，以及大数据如何促进区块链技术的应用和发展?让我们了解一下将这两种技术结合起来的六个大数据区块链项目。

2018-09-13 15:21:54

大数据区块链区块链项目
Hadoop生态系统各组件与Yarn的兼容性如何？
本文作为《Hadoop从入门到精通》大型专题的第二章第三节，主要介绍了Yarn如何与Hadoop生态系统中其他组件配合，这也是本专题有关Yarn概念的最后一节，如果你想了解更多关于Yarn的具体信息，可以访问本专题的其他文章，详见文末。

2018-09-13 13:05:41

HadoopYarn数据处理
数据挖掘领域十大经典算法之—朴素贝叶斯算法（附代码）
NaïveBayes算法，又叫朴素贝叶斯算法，朴素：特征条件独立;贝叶斯：基于贝叶斯定理。属于监督学习的生成模型，实现简单，没有迭代，并有坚实的数学理论(即贝叶斯定理)作为支撑。在大量样本下会有较好的表现，不适用于输入向量的特征条件有关联的场景。

2018-09-13 12:51:58

数据挖掘算法朴素贝叶斯
零基础学习大数据挖掘的33个知识点整理
下面是一些关于大数据挖掘的知识点，笔者和大家一起来学习一下。 包括：主要知识模式类型、Web挖掘研究的主要流派、数据库中的知识发处理过程模型等等。

2018-09-13 12:21:54

数据挖掘数据库算法
力压 R，Python 在数据科学领域风生水起
随着 IT 行业的增长，对有经验的数据科学家的需求也水涨船高，而 Python 也一跃而成最受欢迎的语言。本文旨在介绍分析数据的基本知识，并利用 Python 创建一些漂亮的数据可视化。

2018-09-12 21:13:40

Python数据科学语言
【大数据分析】纷繁复杂的数据越多越好
执迷于精确性是信息缺乏时代和模拟时代的产物。在那个信息贫乏的时代，任意一个数据点的测量情况都对结果至关重要。所以，我们需要确保每个数据的精确性，才不会导致分析结果的偏差。

2018-09-12 21:06:08

大数据统计学家分析
C轮融资5000万美元 PingCAP做真正落地的融合型通用数据库
新型分布式关系型数据库公司 PingCAP 宣布完成 5000 万美元 C 轮融资，这是目前为止新型分布式关系型数据库领域的最大笔融资。本轮融资由复星、晨兴资本领投，华创资本、云启资本、经纬中国等多家投资机构跟投，将主要用于技术研发和全球化生态系统建设。

2018-09-12 11:57:40

PingCAP数据库大数据
以数据驱动突破，TalkingData T11 2018数据智能峰会成功举办
以“突破”为主题的T11 2018暨TalkingData数据智能峰会于9月11日在北京成功举办。大会设置“数创未来”智慧城市峰会、“智变金融”新金融峰会、“数聚零售”新零售峰会以及智胜营销暨Best Audience Buying颁奖盛典，吸引数千名相关行业从业者到场参会，探讨以数据驱动突破发展的新模式、新路径

2018-09-11 22:03:38

数据TalkingData数据智能峰会
技术分享：数据不平衡问题
在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布是均匀的。当我们把这些算法直接应用于实际数据时，大多数情况下都无法取得理想的结果。因为实际数据往往分布得很不均匀，都会存在“长尾现象”，也就是数据不平衡”。

2018-09-11 13:47:35

数据不平衡数据分布数据集
Hadoop发行版本之间的区别
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera，hortonworks，mapR,华为,DKhadoop等都提供了自己的商业版本。本文就各发行版做简单对比介绍。

2018-09-11 13:15:40

Hadoop大数据发行版
BAT大数据的面试题 快收藏！
一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成。header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。

2018-09-11 12:54:53

面试HadoopKafka
Hadoop体系结构中的服务角色介绍
翻了一下最近一段时间写的分享，DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细，个人理解水平有限还请见谅吧!

2018-09-11 12:41:42

HadoopJava工具
云计算如何保障大数据安全？
借助云计算实现数据分析与挖掘，安全保护水平高。数据在云上，又规避了安全风险，降低了泄漏用户的隐私概率。云端存储的数据，大量丢失和被篡改的可能性更低，云技术是企业信息安全的一次飞跃。

2018-09-10 21:14:48

云计算大数据信息安全
一文了解数据库高可用容灾方案的设计与实现
本文将通过介绍一些业界主流的数据库高可用架构、每种方案的特性和优缺点，以及数据库高可用架构的自动化运维实现，讲讲数据库高可用容灾方案设计与实现，希望抛砖引玉，和大家一起讨论。

2018-09-10 15:55:01

数据库UCloud架构设计
数据科学究竟是什么？
数据科学仅是一种概念，它结合了统计学、数据分析、机器学习及其相关方法，旨在利用数据对实际现象进行“理解和分析”。简单来讲：数据科学是一门将数据变得有用的学科。

2018-09-10 13:47:21

数据科学统计学决策
大数据帮你列出了行业焦虑排行榜 你在其中吗？
什么才是一份快乐又经济适用的工作，是所有人努力解答的一道命题。脉脉数据研究院从行业平均薪资、行业人才年平均跳槽频率和职场人对行业压力的主观评价三个维度，将不同行业的焦虑进行量化，最终得出“行业焦虑排行榜”。

2018-09-10 13:23:06

数据焦虑排行互联网
大数据与数据挖掘的相对绝对关系
除了安全和商业，大数据和数据挖掘在科研领域也正在风起云涌。越来越多的设备带着更加精密的传感器，传回愈发难以驾驭的数据流，于是人们需要日益强大的分析能力。在气象学、石油勘探和天文学等领域，数据量的井喷式增长对更高层次的分析和洞察提供了支持，甚至提出了要求。

2018-09-07 18:25:47

大数据数据挖掘计算机
做大数据分析时，这几个技巧可以带来帮助
对于大数据而言，以业务为中心的方式分析它的挑战是实现这一目标的唯一方法，即确保公司制定数据管理策略。但是，有一些技术可以优化您的大数据分析，并最大限度地减少可能渗入这些大型数据集的“噪音”。

2018-09-06 18:42:37

数据分析数据收集数据质量
大数据与分析正在重新定义5个行业：医学、零售、建筑、银行、交通
医疗行业依靠专用设备来跟踪生命体征、协助医生诊断。医疗行业同样也使用大数据和分析工具以多种方式改善健康状况。此外，大数据分析可帮助医院管理人员进行安排，以期减少患者的等待时间并改善护理条件。

2018-09-06 18:36:47

数据分析零售交通
2017年大数据产业发展情况及2018年展望
随着政策环境和技术手段的不断完善，行业应用持续升温，产业体系初具雏形，支撑能力日益增强。国内许多行业用户如互联网、电信、金融等开始实际部署大数据平台并付诸实践，同时带动软件、硬件和服务市场的快速发展。

2018-09-06 18:32:55

大数据数据资源大数据产业
区块链对大数据的意义，区块链的应用与大数据
区块链金融服务的业务需求是强大的。想象一下这种规模的区块链。包含每个金融交易完整历史的巨大数据块，均可用于分析。区块链提供分类帐的完整性，但不用于分析。这就是大数据和相关分析工具将发挥作用的地方。

2018-09-06 18:29:39

区块链大数据比特币
五个顶级的大数据架构
本文将介绍用于大数据堆栈的五个最有用的架构，以及每个架构的优点，以便更好地理解和权衡。此外，还对成本、何时使用、热门产品，以及每种架构的提示和技巧进行了阐述。

2018-09-04 23:04:31

大数据架构大数据大数据分析
入行数据科学，这些书一定要看
近日，在GitHub上看到一张大而全的数据科学书单图，该图片分成七大领域，各自都有相对应的推荐书单，本文就为为各位推荐几本书，希望能够有助于你在大数据方面的学习。

2018-09-04 15:10:40

大数据数据科学书
如何使用HBase？大数据存储的两个实战场景
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hadoop的HDFS，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。因此HBase被广泛使用在大数据存储的解决方案中。

2018-09-04 12:03:31

HBase大数据存储
用Python分析数千个微信昵称之后，我们发现90后和00后是这样的人！
这是一篇技术文，也是一篇not技术文，今天分享的是，当笔者获取了微信小程序英文取名的3500多个微信用户昵称、年龄段后，分析得到下面结果……

2018-09-04 09:42:01

编程语言Python数据分析
上一页 1 ··· 9293949596 ··· 182
点赞

51CTO技术栈公众号

业务
速览
在线客服