【51CTO.com原创稿件】苏宁木牛是苏宁人工智能研发中心设计的一款智能设计产品，木牛取自三国诸葛亮发明的运输工具，意在提升设计师的工作效率。经过几年的发展，苏宁木牛已经从最初批量抠图、批量合成的设计辅助工具，发展成为能够理解设计规则、自适应各应用场景的设计约束的设计助手，并初步具备一定的学习能力，能够在设计师少量输入的情况下，延续设计师的风格进行持续创作。
苏宁木牛已经在业务场景里初现威力，在广告投放中，设计师只需设计少量基础模板，就可以生成海量banner，通过更精美的设计，更好的商品创意搭配，提升点击率30%-80%;大促创意图设计场景中，通过受限的智能合成，在保证创作质量的情况下，提升设计师人效500%，全年批量合成图片数亿张。
成功的背后是团队几年来的沉淀，3年前团队开始尝试把AI技术引入到设计智能应用的过程中，在研发过程中最让我们感到困难的是设计创意的不确定性，设计规则的不确定、优化目标与设计目的的不确定、评价标准的不确定。
为了克服设计过程的这种不确定性和模糊性，我们只能摸着石头过河，通过一项项基础算法的能力实现以及一个个业务场景的实践逐步累积经验。在最开始，首先想要突破的是配色和布局两个影响设计最为关键的因素，为此我们实现了智能配色以及尺寸拓展两个小工具，这为后续的能力迭代打下了坚实基础。经过大促氛围图、促销打标图、站外广告投放、smart banner等场景的历练，苏宁木牛逐步归纳总结，形成基础引擎的四驾马车，分别是智能素材引擎、智能创作引擎、智能合成引擎、智能优选引擎。
图1视觉创意平台应用架构
智能素材
智能解析为智能设计提供了最根本的动力源泉，无论是一个设计模板还是一个单独的图片，只要漂亮的设计资源都不会放弃，经过智能解析后大部分都可以变成后续智能创作的素材。
商品主图经过质检识别和抠图后，可以过滤掉牛皮癣过多、包含时效信息的不可用图片，进而再区分白底图还是场景图，并对牛皮癣区域进行复原，对干净图片进行抠图形成透明图库，苏宁木牛抠图算法先经过一个图像分割网络获取trimap掩码然后再经过一个matting网络优化抠图的边缘结果，这种精细化抠图算法可以使透明图可用率提高到95%以上，同时还通过透明图质量审核算法判断抠图质量，优化商品重心偏移，过小以及多个商品主体等情况，进一步提升透明图库的质量和可用率，通过建设透明图场景商品图结合的商品图库，有效的提升图片合成效果，在业务场景验证可以提升点击率30%-80%。高质量图库素材入库全过程都是自动完成，现在高质量商品图库已经覆盖全部商品，节约人力审核成本上万人天，为千人千面的精准投放提供了有力支撑。
图2透明图抠图算法
除了商品图库的建设，素材库的建设也是非常重要的基础能力，设计师在进行创作的时候也会进行大量的调研获取设计灵感和素材，高质量的素材会为智能设计提供源源不断的动力，以往手工入库素材的方式，通常需要消耗大量的人力和时间，而经过智能解析，苏宁木牛可以快速的依据属性将素材入库。这个过程本质是一个分类问题。设计师设计的一套完整的模板通常会包含诸多设计元素以及与之匹配的设计风格，问题的难点在于设计语言的语义信息如何转换成机器语言从而让其可分，从特征角度可以将其分为低级的基础特征与高级的视觉语义特征，组合模板结构中获取的属性结构信息，设计出一套行之有效的识别逻辑从而达成可分。
对于基础特征，苏宁木牛直接通过图像处理方法或者规则来提取，对于更高级的特征，采用卷积神经网络构建分类器来提取，组合逻辑，最终识别出素材的风格调性、品类、颜色、用途、使用位置、实体类型等多种属性，为后续的素材使用创作提供了海量数据支持，使得智能创作的一拓百，百拓万成为可能。对于质量较低的素材，苏宁木牛还会进行美学筛选、智能裁剪以及超分辨率等手段来进一步提升素材入库的质量。
基础的素材库建设同时，模板素材库的累积也同步开展，通过智能解析提取模板中有价值的信息，为布局排版、颜色搭配、素材搭配提供学习素材。一套完整的模板经过图层类型识别、图层分组归类、以及单图层的属性识别，从而将一个完整的模板庖丁解牛，图层可以作为素材单独使用，其解析出的结果转换为专有数据结构，既可以作为精致模板、也可以作为素材库在系统里无缝衔接。
图3模板素材解析流程
智能创作
智能创作环节是整个设计创意的核心，可以说素材库的质量代表了设计创意的上限，而智能创作环节决定了设计创意能达到的高度。当中遇到的首要难题还是设计创作这个开放问题如何转换为计算机语言并实现，本质是将其进行了数学上的抽象和思考，使其可执行，苏宁团队在其中也做了很多的工作和尝试。
举一个例子，在进行颜色拓展、尺寸拓展的算法工具研发时，团队就充分研究其与拓扑学的联系，发掘在设计中的拓扑变换的不变性。比如在尺寸拓展中，到底能不能从一个模板拓展到任意尺寸的模板?团队内部进行了激烈的讨论，在最终的设计方案中我们的结论是实际应用场景中，不同尺寸的模板实质上不在同一个拓扑空间中，无法实现连续变换。同样在颜色拓展的设计中，颜色空间的变换也要符合拓扑的连续性。在解决撞色和颜色迁移后模板不可用的问题时，需要对一些特定图层的颜色进行改变，改变到什么颜色合适?迁移后的颜色会不会引起撞色的问题?为了解决这个问题，我们同样借鉴了拓扑学中经典问题“四色猜想”。四色猜想的内容是任何一张地图只用四种颜色就能使具有共同边界的国家着上不同的颜色，其背后的几何属性是平面内不可出现交叉而没有公共点的两条直线。基于这样的前提，算法在实现时候就无需引入一种新的颜色，当图片对应的颜色空间主色大于4时，一定可以提取出可用的颜色来进行变色和搭配，由于颜色都取自模板本身，其搭配效果和和谐程度都大大提升。类似这样的思考让算法的设计少走了很多弯路，也让我们前进的更加坚定。
图4尺寸拓展与颜色迁移效果图
在大量的应用场景接入中，可以发现应用场景都有明确的特定业务约束以及相对主观的设计规则，而如何在创作的设计当中融入这些约束，是我们面对的另一个难题。为了解决这个问题，算法设计了静态规划取材功能以及动态微调功能来进行学习生产。
对于静态规划取材功能，参考了个性化推荐场景进行构建，根据输入信息的不同，从丰富的模板素材、布局素材、图片素材、文案素材中快速召回出候选素材，再通过更多特征参与的排序算法选择合适素材以及素材组合。在召回环节采用多路召回，根据素材的风格、品类、适用场景、颜色、其他相关素材同时出现的几率、历史点击信息，大促信息等维度进行了分路召回，既考虑了素材与输入信息的搭配，同时也能兼顾历史过往中的优质热门素材内容，这种方案可更便利的控制不同选择逻辑在embedding时的权重，从而适配了不同场景的约束和规则在实际应用中的取舍。排序环节是影响最终效果的关键部分，为此算法做了大量的特征工程，通过视觉元素的布局、主要颜色成分的分布、以及各个元素图像特征的语义标签的组合，和目标场景对输出的需要进行相似度的排序，最终按照匹配程度排序输出素材。
在动态微调环节，我们认为设计的风格已经基本确定，参考设计师创造过程，需要进行一些调整处理使其进一步符合美学的标准，这个优化过程很适合用强化学习实现，我们设计的动作有移动、图层顺序调整、变色、缩放等，美学和效果的评价采用了布局配色是否合理、有无遮挡类似这样的一些基本设计原则，同时也结合了背景简洁、主体内容突出、文案行数和比例协调等一些业务特点的评价标准。通过控制评价函数的设计和配置，我们兼容了不同场景的业务特点，使受限配置规则与一般美学规则自然融合，让其能保证楼层图颜色的统一，又能保证广告图的视觉冲击力，也能保证促销氛围图的复杂对齐规则基础上的整齐统一。
图5模板智能设计拓展效果
智能合成
智能合成引擎的目的是源源不断的将算法计算的优质创意准确快速的呈现给目标用户。在设计时，苏宁木牛充分借鉴了photoshop的功能设计，实现了上百种图片合成功能和效果，这其中最为复杂的是文字的渲染，需要考虑不同字体对生僻字支持的情况，还要通过细致的设置，解决英文、中文、数字等不同字符、行间距、字间距的文字错位问题，更要对倾斜文案支持。
经过长期调研和不懈努力，苏宁木牛的文字渲染模块从字符渲染层面做了优化，使得输出文案每一行都不再是呆板的平铺或者使用单一的颜色，而是结合了语义信息和其他先验经验，实现多样化的排版方式和艺术特效，输出和设计师手工制作几乎没有差别的文案区域渲染效果。
除此之外，为了保证渲染的效果准确自然，团队持续不断的反复试验优化效果，曾花了一周时间技术攻关使算法设计的色值与真实渲染的色值完全一致，也曾为了精益求精利用抗锯齿算法来提升最终合成图片的效果。通过海量的数据效果验证以及用户的反馈，苏宁木牛持续优化，不断提升创意合成的呈现效果
苏宁木牛的合成系统是具有实时渲染能力的，这一方面得益于苏宁图片系统海量，安全，低成本高可靠的图片处理服务。这一系统可以支持旋转、缩放、裁剪、拼图等图像处理，还考虑了格式转换、瘦身、复杂格式处理等编码问题，保证了业务在任何时间、任何地点、任何互联网设备上对图片进行处理，同时也大量节省了存储空间，使得系统不需要预先布置大量的机器进行图片合成，同时我们也支持移动设备的合图，通过嵌入sdk，使渲染合成能力前置到了用户客户端，进一步提升了合成能力。为了进一步提升用户的体验，苏宁木牛还花很大的精力实现了模板微编辑功能，通过微编辑系统可以采集到了设计师的优化改进，拿到第一手的用户反馈，也可以让用户根据个性需求，进一步提升合成效果，站在苏宁木牛的肩膀上进一步创作。这在不减少用户在设计中的参与感的同时，最大限度降低对专业知识的依赖。以四两拨千斤的手法巧妙地既保证了用户对质量的需求又满足了对数量的要求。
智能优选
智能合成的创意图片已经能够完整地呈现给用户，满足用户在以电商为主的各种场景中的使用需求，但苏宁木牛没有止步于此。在争夺流量的时代，为了能让苏宁木牛设计出的创意图片为商户带来最大的流量收益，我们建设了针对创意内容的智能优选引擎，并在2020年双十一期间建立了奇功。
智能优选引擎与商品的使用场景紧密结合，为商户使用创意的效果负责。它通过持续分析创意图片的曝光和点击数据，找出能带来更高点击率的创意，并从视觉元素角度分析这些创意图片的共性特征，根据分析结果，实时地调整生成的创意图片内容，更多地生成能带来更高点击率的创意图片，以达到持续提升图片点击率的目的。
2020年双十一期间，苏宁木牛生成的创意图片应用于苏宁易购的广告业务，并通过智能优选引擎对创意不断进行优化，约有60%的商品广告，点击率的提升在20%以上，约有30%的商品广告，点击率提升在10%至20%之间。
以某款婴幼儿奶粉为例，将图片中的背景进行调整后，点击率(CTR)提升了5%，将图片中的文字改为更突出商品卖点的描述后，点击率又提升了10%，再将背景调整为更贴合母婴商品氛围，CTR再次提升了5%。
总结与展望
在图片以外，苏宁木牛也进行了其他视觉创造的积极尝试，通过视频的创作、加工、剪辑、音乐匹配等功能提升信息对用户的有效传递，形成多通道、多模态、多媒体的智能设计能力。
随着素材资源的丰富优化，以及创作能力的持续提升，苏宁木牛团队承接了苏宁越来越多的业务场景需求，同时也在通过多业态经营的表现来进行创意的监控和评价，重新调整创意策略，算法持续训练学习，进而形成“设计-投放-再设计”的循环反馈，构建起用户和产品的沟通桥梁，从而让设计更美好，效果更专属。
苏宁木牛这一人工智能加持的设计引擎，充分解放设计师的双手，降低设计的门槛和成本，实现批量、快速、丰富的视觉设计，提供千人千面的用户体验。更加优秀的创意设计是工具，提升用户的体验才是目标，相信在未来，苏宁木牛这一更智能、更高效的创意设计引擎一定会在全渠道零售中发挥更大的作用，为行业降本增效、为用户体验提升带来更强的驱动力。
作者简介
杨现，苏宁科技集团人工智能研发中心计算机视觉算法负责人，拥有多年计算机视觉算法研究经验，曾参与苏宁商品图像识别、数字化门店、图像内容审核、视觉创意平台等重要项目，对视觉算法在电商领域中的应用与方案设计有深入的理解和思考。
刘永辉，苏宁科技集团人工智能研发中心智能创意产品部负责人，苏宁木牛智能创意平台产品线负责人，拥有15年以上零售、物联网行业亿元级toB项目的产品经验，对大型SaaS服务产品的规划和增长有较为深入的研究与分析。
【51CTO原创稿件，合作站点转载请注明原文作者和出处为51CTO.com】
