随着互联网技术及行业的不断发展，越来越多复杂的互联网平台或应用架构产生，大规模数据的处理需求日益明显，而如何有效挖掘这些大数据也正在成为大家关注的焦点。在这种形式下，云计算应运而生。云计算满足了企业对海量数据的低成本、高效处理，实现了不同类型数据的大量存储与海量计算。如何在“大数据”技术上用云计算构建下一代数据仓库、如何有效分析挖掘数据已经成为热门话题。
阿里巴巴集团数据平台总监张东晖
如果说阿里巴巴是国内最有价值的商业数据公司，你同意吗？我们都知道阿里巴巴旗下有7大业务，其中像淘宝和天猫每天都会产生大量的交易数据，据统计2011年，淘宝注册用户达到5亿，每天在线商品数超过8亿件，形成了电子商务生态圈。2011年11月11日，日成交超过100万的店铺有421家，日成交超过10万的店铺有1644家。日成交金额达到52亿。如果说阿里巴巴坐在金山上，也许一点都不为过。
在2012阿里云开发者大会大数据与大规模计算专场，阿里巴巴集团数据平台总监张东晖表示，做到数据掘金，要做到三件事情：1.好的商业模型，像阿里金融一样2.强大的数据团队3.淘金工具
ODPS是构建在飞天内核上的大规模分布式数据处理服务，提供海量数据处理服务，这个系统主要是做离线处理。据张东晖介绍，这个ODPS系统有效帮助用户解决和六大基本问题，张晖介绍，目前数据处理系统面临六大挑战
***，高可用系统，飞天开放平台的内核本身是一个很好的分布式系统，对于大数据处理不丢数据。
第二，对电子商务能够做数字业务，其工作量是非常大的，规模的要求是大到几万台机器都不能满足需要。
第三是安全性，比其他的一般处理的安全性，商业数据的安全要求非常高，随着技术的进步数据一定是要放在一起的，但是在一个很大的集群中，支付宝的数据完全隔离，不会被非法地访问，也不会被非法的任务破坏，这是一个很大的挑战。
第四是正确性，正确性需要满足阿里金融无担保贷款，这是一个非常难的事情，一旦担保数字算的不对的话，会带来很大的问题。所有的数据都是要保证分毫不差。
第五，是服务型，包括多租户，我们后面从技术上讲一些技术的挑战。
第六，低成本，集群的调度系统，包括飞天的调度系统，是做的非常出色的。调度系统是满重要的，另外业务和工作的调度也更高一层，这需要充分利用资源，根本的解决方案只是靠底层的调度还是不够的，这也是ODPS做的比较多的。
