大数据技术的对决——Spark对Impala对Hive对Presto

大数据 Spark
在大数据浪潮全面来袭的历史背景下,我们一直面临着同一类难题的困扰——该选择哪款工具解决相关问题?这项挑战在大数据SQL引擎领域同样存在。

[[175534]]

 

在大数据浪潮全面来袭的历史背景下,我们一直面临着同一类难题的困扰——该选择哪款工具解决相关问题?这项挑战在大数据SQL引擎领域同样存在。作为大数据报告工具开发商,AtScale公司通过基准测试为我们带来了如下答案:

1. Spark 2.0在大规模查询性能方面可达1.6版本的2.4倍。二者的小规模查询性能基本持平。

Spark 2.0 improved its large query performance by an average of 2.4X over Spark 1.6 (so upgrade!). Small query performance was already good and remained roughly the same.

2. Impala 2.6版本在大规模查询性能可达2.3版本的2.8倍,小规模查询基本持平。

Impala 2.6 is 2.8X as fast for large queries as version 2.3. Small query performance was already good and remained roughly the same.

3. Hive 2.1配合LLAP在大规模查询场景下可实现1.2版本性能的3.4倍,小规模查询性能则为2倍。

Hive 2.1 with LLAP is over 3.4X faster than 1.2, and its small query performance doubled. If you're using Hive, this isn't an upgrade you can afford to skip.

责任编辑:武晓燕 来源: 网络大数据
相关推荐

2016-10-12 18:58:15

大数据PIGHive

2022-12-05 11:29:14

2020-09-18 09:41:16

大数据技术教育大数据

2024-03-18 00:04:10

大数据银行

2018-09-25 15:09:29

2018-08-06 12:10:57

SparkRPC Server代码

2017-12-11 11:38:58

2012-11-08 10:09:57

大数据HIVE

2020-05-14 10:07:12

大数据企业融资大数据应用

2014-07-23 09:25:33

大数据

2024-01-26 10:58:12

大数据企业决策

2017-07-27 14:18:41

大数据挑战动向

2017-02-06 10:44:27

大数据市场营销

2013-06-25 11:14:03

大数据

2015-08-20 13:39:49

云服务大数据

2020-12-21 11:02:26

大数据企业业务数据

2021-06-29 09:50:35

大数据大数据技术

2010-08-05 14:09:06

2013-10-15 17:06:19

大数据

2013-07-17 09:35:25

大数据电商
点赞
收藏

51CTO技术栈公众号