WOT讲师董乃文：微软提供的那些大数据服务与技术

在当今的互联网世界大数据已不再是陌生的词汇，越来越的企业正想法设法的从海量的数据中获取业务洞察力，这些数据来自企业内部、社交网络等多种渠道。目前各大互联网巨头也已踏入大数据领域，微软大数据自不例外。11月28日-29日，在【WOT2015"互联网＋"时代大数据技术峰会】上，51CTO特邀来自微软(中国)有限公司开发工具及平台事业部资深技术专家董乃文将分享微软针对大数据应用所提供的关键技术，深入剖析如何进行优化以获得性能的显著提升，帮助大家快速、高效地打造端到端的大数据创新应用，全面助力商业创新。大会前夕，51CTO记者对董乃文进行了采访。 

【WOT2015"互联网＋"时代大数据技术峰会】特邀嘉宾   董乃文

董乃文，微软(中国)有限公司开发工具及平台事业部资深技术专家、平台战略顾问。他具有20多年的计算机和行业工作经验，参加多个云计算、大数据、SOA等国家技术标准的相关工作，积极推动企业管理、物联网、制造业、零售业等领域的技术合作与创新。

在加入微软之前，董乃文主要从事企业管理软件、ERP软件、电子政务等领域软件的R&D工作。加入微软开发工具与平台事业部后，一方面紧密追踪最新的云计算/大数据、数据库、移动设备、物联网、开发工具等新技术，另一方面有了一个更广泛的和众多行业领域的合作伙伴，特别是ISV/CSV等合作伙伴的紧密合作的平台，帮助客户做云计算、大数据、物联网等方面的战略及技术迁移，共同打造“云优先、移动优先”的新应用。

微软与大数据

董乃文表示，微软一直在领导着云计算、大数据、物联网等方面的技术发展。

首先，大数据和云计算平台的结合，特别是和Azure公有云平台的结合，以及大数据跨公有云-私有云的混合部署，为大数据的生根落地提供了坚实的基础设施平台;

大数据和物联网、社交媒体、B2B/B2C应用等结合，为广大行业的创新变革提供了巨大的机会，微软为这些行业领域更是提供了丰富的端到端的应用，从移动设备(手机、平板等)、物联网设备，到云平台，到大数据分析，到实时展现、BI分析等，帮助大家打通大数据与行业结合的任督二脉;

大数据和机器学习的结合，针对大数据的更深入、更智能的分析，微软提供了机器学习(ML)的强大支持，包括了像Azure上的ML服务，还有前段时间大家关注的牛津计划(Project Oxford)提供的面部识别技术，现在不仅仅可以通过面部照片判断年龄，现在还可以分析人的表情，例如是开心、惊讶等，此外还有Cortana语音识别及控制、物联网机器学习等大量的新技术，希望能够对大家有所帮助。

灵活整合SQL和NoSQL数据 挖掘数据价值

近年，随着社交软件、物联网、移动等应用的发展，大量的新型数据在产生，例如音频、视频、地理信息、日志信息、设备信息等。面对高容量、高速度、数据类型繁多的大数据，传统的结构化的技术已经很难处理这些数据。董乃文表示，SQL和NoSQL数据库技术都有其相应的应用场景及实现目标，他们之间的关系不是此消彼长的，而是互相促进的。这些新型数据的处理与关系型数据库的技术有不少区别，例如数据一致性、完整性等。

那么，微软是如何快速有效的对这些数据进行挖掘处理，减少运营成本的?如何灵活整合SQL和NoSQL数据？

微软提供了全面的数据服务，既包括SQL Server数据库，也包括对众多NoSQL数据的支持，例如Key-value、document、BLOB等数据的支持。此外，还包括了search等增值的数据服务。

对于SQL和NoSQL数据灵活整合，董乃文建议大家分别采用冷数据(Cold Data)、热数据(Warm Data)的策略，例如很多原始的NoSQL数据，数据巨大，可以作为冷数据；而经过处理后，一些更小规模的SQL、NoSQL数据库就可以作为热数据，作为实时仪表盘(Dashboard)、商业智能(BI)等分析的数据库；还可以与业务、应用系统相结合，提供推荐引擎、在线广告、实时控制等应用的数据库。此外，在需要的时候，还可以通过机器学习(ML)，对冷数据进行进一步的探索，挖掘更多的数据价值。冷数据和热数据的结合，既可以降低数据存储、处理的成本，又可以提高业务应用系统对时效性、性能的高要求，更好地提供数据资产的ROI。

微软针对大数据应用为用户提供了哪些关键技术?

目前，在基础设施方面，微软提供了云计算平台，既包括了Azure公有云平台，也提供了便于搭建混合云的Windows Server / Hyper-V平台。将大数据与云计算结合是真正发挥大数据功效的首要工作，基础打得牢，才能跑得快、跑得好、跑得赢。

在云平台之上，可以为用户提供了多种的技术选择支持，例如，用户可以采用IaaS方案，自己搭建Hadoop虚拟机(VM)和群集(Cluster)，目前有很多伙伴，例如Cloudera、Hortonworks等都提供了经过优化的群集、虚拟机镜像，基本上可以达到“一键创建”的程度，而且可以通过API、PowerShell脚本等方式进行自动化监控、优化，非常方便而使用。

另外，微软也提供了PaaS方案，目前提供了HDInsight的大数据服务，这个就更简便了，用户不需要关心底层的虚拟机VM等繁琐细节，直接创建实例，定义好节点数量，就可以完成的大数据环境的搭建工具。而且，不论是IaaS还是PaaS方案，微软都提供了最新的技术能力，包括了对Hive、Spark、R、Storm等技术的支持。

此外，微软还提供了机器学习(ML)、数据工厂(Data Factory)、流分析(Stream Analytics)、PowerBI、IOT Hub/消息中心(Event Hub)等服务，可以方便用户打造端到端的大数据服务。当然，还有很多新的服务在路上，例如Data Lake等都已经进入预览(Preview)阶段整装待发，这些都是非常让人兴奋、值得期待的。 

关于大数据的安全和隐私问题

对于大数据的安全和隐私问题，互联网巨头微软是如何处理的呢？董乃文表示，从大数据所基于的云平台角度来讲，微软一直将安全性和隐私作为头等优先的大事来考虑。微软利用在构建企业软件和运行多个全球最大在线服务方面数十年的丰富经验，创建可靠的安全技术和做法，帮助确保基础设施可防御攻击，保护用户对云环境及资源的访问，并通过加密通信、威胁管理等来保障客户数据的安全。

此外微软始终是保护客户隐私的领导者，微软对隐私和数据保护的方法根植于对实现企业拥有对收集、使用和分布其信息具有充分控制的承诺，已历经时间验 证。目前微软已实现透明的隐私做法，为客户提供有价值的隐私选择，并负责地管理存储和处理的数据。微软已采用全球首个云隐私行业标准：ISO/IEC 27018。此外，微软还接受严苛的第三方审核(如英国标准协会等)来验证是否遵循严格的安全控制标准。

从底层的技术角度来讲，有些新的、让人兴奋的技术在微软新的数据服务中不断推出，例如，透明数据加密技术，可以实现数据端到端的透明加密，即使某些 数据被截取，甚至服务器端密钥被窃取，都无法解密而获得原始数据;动态数据掩码技术，对于一些敏感的数据，例如姓名、身份证号码、邮箱地址、手机号码、网 银账户等，进行掩码处理，例如“139***1234”等，这些对于用户数据的隐私保护，提供了强大的技术保障。

既懂大数据的技术又懂得产生这些数据的业务的人才最难得

在很多活动、研讨中，大家都在说“数据科学家(Data Scientist)”这个崭露头角的职业。从最近IT业招聘的Top 10~20的职位，我们可以看出各行业用户、各开发商对这些人才非常的渴求。大数据挖掘分析人员需要具备的哪些能力？董乃文表示：“回归本源，不外乎还是‘数据’+‘计算’，但获取和处理数据是一回事，而如何理解这些数据、挖掘这些数据的价值则有可能是更根本的事情。某种程度上讲，既懂大数据的技术，又懂得产生这些数据的业务，这样的人才是最难得的人才。”

大数据行业的现状与未来

谈到大数据行业的现状与未来，董乃文认为：“用‘方兴未艾’来描述目前的大数据领域的发展可能是比较贴切的。未来，在数据云化、开放性数据共享、开放性云数据服务及SLA保证、行业数据链等方面的实质性进展，将真正有益于整体大数据产业的发展，也能最终让大数据与各行业深度融合，不断推动行业和商业创新。此外，值得特别关注的，还有机器学习等深度的数据挖掘，及基于此的创新型应用，新的、让人耳目一新的新应用将不断推出，行业创新将不断涌现。“

WOT大数据技术峰会上的分享内容

在11月28-29日由51CTO主办位于深圳的【WOT2015“互联网+”时代大数据技术峰会】中董乃文将分享微软针对大数据应用所提供的关键技术，深入剖析如何进行优化以获得性能的显著提升，帮助大家快速、高效地打造端到端的大数据创新应用，全面助力商业创新。

• WOT讲师覃超：前Facebook工程师问你,增长用户非要烧钱?
• WOT讲师管理心理学博士于际敬：大数据时代的“心”发现
• WOT讲师刘黎春：互联网征信是新蓝海
• WOT讲师冯扬：体系变化与用户建模角度探索微博推荐
• WOT讲师张溪梦:拿什么拯救你,疲于污水处理的数据分析师
• WOT讲师手淘技术专家陈武：手淘亿级UV背后的大数据采集体系
• WOT讲师任化伟：大数据技术让 O2O 基础信息更“靠谱”
• 如何将 Google 神秘的数据中心管理系统搬回家
• WOT讲师杨德升：程序员创业都需要什么
• WOT讲师钱承君：大数据带给百度测试团队的发展新探索
• WOT讲师刘鹏：大数据应该指导机器而不是人的决策