上万款抖音特效是如何生产出来的?
7月28日,抖音联合火山引擎在北京举办智能特效技术开放日。火山引擎相关特效技术专家分享了抖音特效背后的算法技术和工程能力。
火山引擎认为,在算法技术上,抖音特效主要使用了计算机视觉(CV)和计算机图形学(CG)技术。但仅有这些技术还是不够的,还需要有完善的工程能力,只有把工程做好,才能够把相应的技术落地、产生价值。
火山引擎在抖音特效上的工程能力主要体现为四个方面。
其一是模块化组件。抖音特效用了100多种CV算法,但在实践中,火山引擎的企业客户可能并不需要全部的算法,而是只需要一部分能力。基于此,火山引擎在工程上提供了模块化组件,定义了标准化的接口与模块设计,提供给客户可定制的方案。
其二是适配和兼容。用户不仅仅需要竖屏的屏幕,还有很多用户需要横屏。火山引擎通过工程化的支持,现在已经适配竖屏、横屏,也可以适配不同的分辨率以及长宽高比例。
其三是资源下发。火山引擎非常了解客户对体积优化的诉求,所以很多素材、资源、算法模型,都可以下发更新。在减少包体积的同时,也让客户可以快速响应需求。
其四是稳定性。火山引擎在工程上可以做到非常低的崩溃率,抖音特效在接口层面的崩溃率现在低于十万分之一,正在向一百万分之一努力,而且已经非常接近了。
火山引擎之所以能够做到以上四点是因为还有一个坚实的AI算法底层工程。
在算法的研发过程种,一样也离不开各种工程的支持。从一个算法的训练,到算法的优化,最后到算法能够在一些设备上高效率的运行,火山引擎都有成熟的平台框架,来支撑做这些事情。
有了这些AI基础能力,AI算法就不仅仅是某个团队的独门秘笈,每一个团队都可以把AI算法看作是一个解决问题的可选方案。抖音特效在内部使用过的训练平台、优化工具,还有高效率的执行框架,目前都在陆续通过火山引擎向企业用户开放。
火山引擎在服务客户的过程中,也已经形成一个特效服务体系。比如在了解到客户真正需要哪些能力之后,火山引擎会派出专业的工程师团队和客户对接,帮助他去定制解决方案,并帮助解决在对接接入、上线之后遇到的各种问题。
在分享抖音特效背后的技术之外,火山引擎相关负责人也表示,作为字节跳动的技术服务平台,火山引擎不仅支持了抖音、今日头条等公司内部产品,也在向外部企业开放,为客户提供特效创作工具套件、定制算法、工程化部署和对接联调等产品及服务。此外,火山引擎资源商城提供了上万款抖音同款特效,企业可以根据热度、类型等方式选择使用。