【WOT2018】枭龙科技谢辉:AR软硬件开发技术与应用

原创
开发
可穿戴设备的出现和移动设备性能的提升,让AR技术持续升温。如何借助AR技术轻松完成布局,提升企业核心竞争力就成为了大家关注的问题。在“AR创新技术实践”分会场,枭龙科技XLOONG CTO谢辉带来了《AR软硬件开发技术与应用》的主题分享。

【51CTO.com原创稿件】2018年5月18-19日,由51CTO主办的全球软件与运维技术峰会在北京召开。此次峰会围绕人工智能、大数据、物联网、区块链等12大核心热点,汇聚海内外60位一线专家,是一场高端的技术盛宴,也是顶级IT技术人才学习和人脉拓展不容错过的平台。

可穿戴设备的出现和移动设备性能的提升,让AR技术持续升温。如何借助AR技术轻松完成布局,提升企业核心竞争力就成为了大家关注的问题。在“AR创新技术实践”分会场,枭龙科技XLOONG CTO谢辉带来了《AR软硬件开发技术与应用》的主题分享。

枭龙科技XLOONG CTO 谢辉

针对当前AR系统的发展及应用现状,谢辉对AR眼镜、智能手机、互动大屏等AR硬件载体的特点和应用开发注意事项进行了详细阐述,重点以AR眼镜为例,讲解了标准AR系统的架构,并对AR三大系统,即成像系统、交互系统、定位追踪系统的技术方案与技术架构做了详细分析,让开发者了解不同开发平台对应用部署的要求。随后,他还讲解了AR人机界面开发的要点。最后结合已有的AR应用案例,谢辉讲解了AR在工业、军事、新零售、安防等领域的应用,并对一些应用的技术方案进行深入剖析。

谢辉表示,AR是一种能够将真实世界信息和虚拟世界信息“无缝”融合的新技术,它通过电脑技术,将虚拟信息叠加到真实世界,被人类感官所感知,让人达到超越现实的感官体验。据投行Digi-Capital预测,到2020年,全球AR市场规模将达到1200亿美元。

回顾AR的发展历史,早在1968年,萨瑟兰发明了第一台HMD,即头戴显示设备。1992年,AR名称正式诞生。1999年,第一个AR开源框架Artoolkit诞生。2012年,谷歌眼镜问世。2015年,现象级AR手游Pokemon GO风靡全球,同年,微软发布HoloLens。2017年,苹果发布ARKit,谷歌也发布了ARCore,众多手机应用集成了AR功能。

AR应用的载体

目前,AR应用的载体主要是AR眼镜和智能手机。AR眼镜包括单目眼镜、双目眼镜、全息眼镜、光场眼镜,这些眼镜都有各自的特点以及应用场景。

单目眼镜:只在眼镜的右上方有一个小的显示视窗,这种眼镜一般不会做虚实融合的应用,只是做一些信息显示,主要用于给运动骑行的用户提供运动摄像拍照、信息显示、导航、接打电话等功能。这种产品的市场比较小,在开发的时候,建议做成卡片式的UI。

双目眼镜:顾名思义,两个眼镜片都可以显示,一般是在用户的正前方,会有一个比较大的视场角。开发方式和手机比较类似,也是基于一些图像点的识别开发一些应用。双目眼镜和手机最大的区别就在于光学显示。手机主要是利用显示屏来显示内容,用摄像头捕捉画面在显示屏上显示出来。最终通过视频的方式呈现,做到虚实结合,用户所看到的实景是通过摄像头捕捉的画面显示在显示屏上,而不是用户真正透过手机来看。

AR眼镜的差别是通过光学,利用眼镜片半透的物理特性,一部分的光线能够穿透眼镜片,看到外面的世界。用户看到的虚拟物体就是通过实际显示屏渲染出来的实际物体。所以,这是两者最大的差别。在开发AR眼镜应用时,开发者需要注意不要把摄像头的实际画面直接全屏放到AR眼镜上,这是由于画面会遮挡住用户一部分视野,同时,摄像头的视角和人眼真实的视角还有很大的差别。

全息眼镜:代表性的产品就是微软的HoloLens,通过集成镜片模组、手势交互以及众多的摄像头实现了空间感知能力。HoloLens的应用具有铆定的效果,相当于把某个应用和程序直接铆定在空间里面,不会随着用户头部的移动而变换空间位置。

光场眼镜:在提供上述交互的前提下,还具备光场显示,利用光纤扫描的方式,在光圈上进行成像,并具有深度信息。以往的AR眼镜成像都是在同一个显示平面上,而光场眼镜成像是根据程序设置,可以在任意某一焦距进行成像。因此,光场眼镜具有很强的立体感,也会更加真实。

按照AR技术的发展趋势,显示交互技术将成为发展的核心。从眼镜的显示技术来看,已经从小视场角,逐步发展到大视场角,然后再到加入深入感知信息的光场显示技术。交互技术也从最传统的触摸板,到语音交互,再到手机交互,未来可能还将延伸出很多其他的技术交互方式。

AR系统解读

一个典型的AR系统是由电源管理、音频子系统、网络连接、存储几部分组成,这也是传统电子产品都会具备的部分。不同的是音频子系统可能需要具备3D生成的功能,在模拟真实环境的时候,例如虚拟物体从左边到右边,其音频子系统的生成也会模拟出相同的声音效果。

同时,AR典型系统中还有一些特有的东西,例如GPU、光学模组、VPU、相机。GPU和光学模组构成了AR系统中的成像系统,把CPU需要显示的动目,通过GPU渲染,然后传输给光学模组,最后由光学模组来成像。

相机和VPU组成了AR系统里的交互系统和追踪系统。相机主要是采集外面的视觉信息,通过视频处理器(VPU)进行算法处理。例如像手势交互的算法都可以放到VPU进行处理,而CPU主要运行的是操作系统以及应用层的软件。

AR应用案例

目前,AR技术已经广泛应用于营销、游戏、教育、工业、旅游、军事等各个行业。

•AR+营销:ARGO是一款手机购物APP,可自助完成AR扫描、上传图文视频内容;用于企业营销送奖和用户消费体验的APP,包括“AR”、“商城”、“推荐”、“我的”等模块。通过运营方和品牌商的合作,为其商品添加AR扫描、AR红包游戏等营销方式。对于品牌商,可以激活线下流量,增强品牌宣传力度,对于消费者,则让购物变得更简单,更有趣。

•AR+新零售:借助虚拟大屏和摄像头,可以实现虚拟试戴的效果,赋能新零售,某眼镜售卖机项目借助普通RGB摄像头,捕捉人脸特征点,根据特征点计算空间变换矩阵,建立虚拟眼镜模型与实际现实场景的对应关系,从而达到虚拟试戴的效果。

•AR+工业维修:AR眼镜为装备维修过程中提供操作指导,将装备的3D模型、工作原理、常见故障处理办法呈现在眼前,手把手帮助现场服务人员解决复杂装备的维修问题,以减少人为差错,提高维修质量。服务人员也可以呼叫专家远程协助。

•AR+工业巡检:AR巡检可将已有的巡检内容,包括图文、视频、3D动画,通过XJWork进行编辑,转化成可视化巡检材料,方便对巡检资料管理,传输给AR智能眼镜端,实施指引巡检人员按照对应的材料标准规范的完成巡检工作,还方便对巡检材料进行管理,系统也可以对巡检设备实时推送任务。

•AR+安防:包括身份识别、车牌识别、执法识别、远程调度指挥四方面的应用。AR安防可以胜任和执法记录仪同样的工作,AR眼镜前面的摄像头主要用作执法记录,同时还带有网络模块,通过内置AR系统可以实现人脸识别、车牌识别、指挥调度。

据介绍,枭龙科技是一家为企业和消费者提供AR解决方案的科技公司,拥有自主研发的核心光学系统、计算机视觉、深度学习等AR与人工智能核心技术,具备成熟的项目开发与交付流程。

经过几年的努力发展,枭龙科技已经提供了完善的行业解决方案、硬件产品、光学产品以及软件产品。主要就是通过自己的技术共建行业壁垒,让技术产品化、让产品商业化。目前,大多数的硬件产品都是通用化的平台产品,针对各行各业的特点,枭龙科技开发出了差异化的AR眼镜,同时结合很多垂直的行业领域,推出整合的行业解决方案。

讲师简介

谢辉, 2013年硕士毕业,大学期间参与多个轮机模拟器项目的研发,获得过辽宁省电子设计大赛一等奖及辽宁省优秀毕业生。毕业后就职于华为技术有限公司从事手机研发,积累了丰富的研发及产品管理经验,曾主导多款“百万发货级”智能手机的设计,2015年从华为离职联合创办北京枭龙科技有限公司,担任首席技术官,负责公司技术团队管理、项目管理及技术规划,对AR软硬件开发技术及AR落地应用有深刻的理解。

以上内容是51CTO记者根据枭龙科技XLOONG CTO谢辉在WOT2018全球软件与运维技术峰会的采访内容整理,更多关于WOT的内容请关注51cto.com。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

 

责任编辑:Barry 来源: 51CTO
相关推荐

2018-05-19 15:04:11

WOT2018OpenStackAR

2014-08-25 09:45:18

SDNNFV

2010-08-24 10:47:58

2018-04-09 09:47:05

ARAR应用场景视+AR

2018-04-02 09:14:10

人工智能链家WOT2018

2010-01-11 10:25:08

Linux软硬件配置

2015-11-12 10:42:12

2009-06-04 09:14:28

2023-05-16 09:42:23

自动驾驶技术

2018-12-24 11:13:32

WOT2018AI人工智能

2018-12-01 16:11:34

WOT2018人工智能51CTO

2010-04-23 10:30:16

实现负载均衡

2018-06-25 16:14:28

AI人工智能贝壳找房

2018-06-15 09:59:02

WOT史扬边缘计算

2021-01-28 14:20:56

区块链边缘计算自主可控

2012-06-19 10:34:36

微软surface平板

2015-08-19 10:25:35

格力董明珠手机

2011-03-09 09:33:51

Stack Overf架构

2018-12-18 11:17:14

人工智能WOT2018AI工具

2018-12-24 10:56:42

人工智能硬件WOT
点赞
收藏

51CTO技术栈公众号