2014年12月12日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办的 2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)在北京拉开帷幕。星环信息科技(上海)有限公司(以下简称星环科技)参会,CTO孙元浩发表了题为“2015年大数据基础技术的演进趋势“的主题演讲。 大会汇聚了近千位大数据行业的CIO、CTO、架构师、IT经理、工程师、Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家等,共同探讨时下***技术热点,大数据生态圈技术的发展与演变。
星环科技孙元浩在BDTC大会做主体演讲
孙元浩的演讲分析了大数据基础技术的***进展,并基于星环科技在大数据基础软件的研发经验和中国大数据应用的进展,作出2015年大数据基础技术演进方向的预测。”孙元浩表示:“大数据基础软件技术在过去几年中得到了飞速发展,从Hadoop诞生至今,几乎每一年都有突破性的技术进展,2008-2009年Hadoop解决扩展性瓶颈,开始达到5000台以上的集群规模,2010-2011年HBase开始超越Cassandra成为稳定高可扩展的NoSQL数据库,2012年多种SQL on Hadoop技术诞生,交互式SQL分析一度成为最热门的技术, 2013年 YARN资源管理框架成为多种计算框架的资源管理平台,被称为分布式操作系统,2014 Spark技术得到广泛支持并即将替代Map/Reduce成为主流计算引擎。在未来的一年内,随着硬件和软件技术的快速发展,现有大数据基础技术将得到快速发展和演变,必将涌现新的技术热点***2015年的大数据生态圈。”
在谈到星环科技Hadoop发行版的产品发展时,他表示:“大数据成为时下热门关键词,对于大数据的关注度与日俱增,由于市场需求的不断增加,各种前沿技术也在不断挑战自己的发展速度,星环也将紧跟大数据领域的***技术热点和发展趋势,结合市场需求来推进星环Transwarp Data Hub的研发及市场应用”。
中美Hadoop发行版领军人物在星环科技展台前交流 (孙元浩:星环科技创始人&CTO, 与Mike Orlson:Cloudera 创始人&主席)
同时在本次大数据技术大会上,星环科技发布了Transwarp Data Hub(TDH)4.0版本,大幅增强了Transwarp Inceptor交互式SQL分析引擎、Transwarp Hyperbase实时数据库和Transwarp Stream流计算引擎的功能和性能。
Inceptor 4.0支持SQL'99和SQL2003标准,提供大部分的PL/SQL语法兼容,全新设计了内存计算平台Holodesk并支持数据的动态插入和索引,并且进一步优化了基于Spark的SQL引擎的执行效率,因此相比开源 Hadoop 版本有 10x~100x 倍性能提升,可处理GB到PB级别的数据。此外Inceptor 4.0强化了安全方面的认证和控制,并且整合了更多的数据挖掘算法和深度学习算法,因此可以满足绝大部分企业用户的数据分析、挖掘等需求。
目前TPC-DS基准测试集能够完整的在Inceptor上运行,并且无论是测试案例数还是性能都完胜美国主流的Hadoop厂商。
HyperBase 4.0增加了基于SQL的分布式事务操作并做了大量优化,另外推出创新的CBI (Cost Based Indexing)技术可以让计算引擎在查询时能够根据各个索引的成本来选择最合适的查询方案,从而有效的将查询延时降低到百毫秒级,因此可以满足大部分的OLTP应用场景。
Stream 4.0在系统安全和监控方面做了重大升级,增加了对Kafka消息队列以及Spark On Yarn的Kerberos安全认证来确保计算时的数据安全。另外Stream 4.0推出了创新的基于SQL的实时统计分析功能,可以通过SQL来做实时的分析与计算,降低了开发者准入门槛。
详情请见:http://transwarp.cn/news/detail?id=35
相信在众多国内外大数据行业从业者的参与下,大会将会成为大数据技术与应用深度结合的新起点,必将***新一轮大数据行业的技术风暴。
星环科技是目前国内极少数掌握企业级大数据Hadoop和Spark核心技术的高科技公司,从事大数据时代核心平台数据库软件的研发与服务。在全球去IOE的大背景下,Hadoop技术已成为公认的替代传统数据库的大数据产品。公司产品Transwarp Data Hub (TDH)的整体架构及功能特性比肩硅谷同行,产品性能在业界处于领先水平。