大模型应用于数字人

原创
人工智能
数字人是未来人工智能大模型最重要的应用入口。通过大模型的赋能,数字人的产品发展首先要提升自主创新能力,有赖于数字资产的确权、自有技术运营、IP的持续迭代与进化。

大模型会改变整个软件行业, 其中具有代表性的产品之一是数字人, 那么,什么是数字人呢?数字人涉及了哪些关键技术呢?大模型对数字人的发展带来哪些影响呢?

1. 什么数字人?

数字人目前还缺乏一个相对统一的定义, 有人把人类的数字孪生体定义为数字人,有人把虚拟世界中具有人类行为的实体定义为数字人,有人将3D人体模型称为数字人,例如,韩国学界对数字人的定义是:用数字化技术,打造具有逼真人类长相、语言、动作姿态、身体特征的虚拟3D 人体模型。市场调研机构IDC将数字人定义为“采用人工智能技术驱动生成的数字化的虚拟人物——具备人的外观、感知互动能力以及表达能力”。

一般地,人们把数字人称为数字人,是通过聚合科技创造的存在于虚拟世界,且具有类"人"特质的数字形象。它是元宇宙中自然人进行虚拟时空感知的主要载体,是实现人机融合交互的组成部分,也是元宇宙的经济增值板块。数字人与自然人、机器人共同组成了元宇宙的“三元”。

数字人能够感知不同环境, 根据人的需求形成"化身" 形象。人机交互将被赋予智能化、情感性和思想性特征,数字人将复制人类 的知识、记忆、思维和情感,从而在社交系统、生产系统、经济系统上实现与自然人的虚实共生。

数字人的三大特征是虚拟化、拟人化和智能化。从技术上看, 数字人指存在于非物理世界中,由计算机图形学、图形渲染、动作捕捉、深度学习、语音合成等计算机技术段创造,并具有多重人类特征(外貌特征、人类表演能力、人类交互能力等)的综合产物。

2. 数字人的一般设计流程

数字人,在技术上分为灵活的真人驱动型和基于深度学习的计算驱动型。

2.1 真人驱动的数字人

真人驱动型在动作灵活度、互动效果等方面有明显优势, 一方面能够在影视内容的创作中减低生产成本,为影视行业降低门槛,推动影视级内容向消费级转化。另一方面则多用于虚拟偶像、重要直播中,帮助数字人完成大型直播、现场路演等互动性、碎片化活动。

其一般设计流程如下:

  1. 形象设计及建模:绘制原画,面部及3D建模
  2. 建模绑定:关键点绑定的数量及位置影响最终效果。
  3. 表演捕捉:捕捉在形体、表情、眼神、手势等方面的关键点变化。
  4. 驱动及渲染:根据制作实时驱动数字人表演,特定设置语音
  5. 生成内容,进行互动:进行直播,或录制其动作生成内容

2.2 计算驱动的数字人

计算驱动的数字人最终效果受到语音合成、NLP 技术、语音识别等技术的共同影响。尽管在特定方向上,各感知类技术已有的商业化能力已足以支撑,然而,但要达成理想的综合效果, 需要该公司在三个方面同时具有较强的综合能力。

其一般设计流程如下:

  1. 设计形象:采集数据
  2. 形象建模,进行绑定:设计形象模型,进行关键点绑定。
  3. 训练各类驱动模型:利用深度学习,学习语音、形象、表情参数间的潜在映射关系。
  4. 内容制作:基于输入的语音预测唇动、表情等参数,利用GAN 选出最最佳帧,将语音和每帧的数字人图片进行结合。
  5. 进行渲染,生成最终内容。

图片图片

3 大模型赋能数字人

生成式AI的崛起,给数字人产业带来了根本性变化。

传统的数字人技术主要依靠预设参数和有限的模型训练,但大模型技术则为其提供了近乎无限的训练参数和自主生成能力,使数字人更为真实多样。大模型包含了数字人形象、动作、表情、口型、声音等要素,每个用户可以结合个人数据对数字人进行训练。

大模型对 2D 数字人的提效显著。AI 的生成能力天然适配 2D 数字人。市面上出现了许多 2D 数字人定制工具,逻辑基本一致:只要你输入文案素材,就能生成数字人形象。

3D数字人的工作流比2D要复杂非常多,大模型能让数字人制作成本十倍、百倍地下降,还能让虚拟数字人生产周期,从动辄几个月,缩短到小时级别。数字人的制作成本,将从百万级降低到万元级别。

大模型不仅直接降低了3D数字人的制作难度,更为数字人注入了灵魂。过去3D建模依赖传统CG技术,动作捕捉需要采集真人大量数据,现在依托于视频大模型的数字人工具平台上,算法可以高效生成3D模型,处理面部细节也更加逼真,提升了面部表情以及唇形同步的质量。

更重要的是, 大模型在很大程度上解决了数字人的自然语言理解能力,多模态大模型是数字人真正的灵魂。然而,创意边界,毋庸置疑将会依靠大模型的语料库、算力储备,以及其所迸发的涌现能力来提升,效果仁者见仁智者见智。

4 数字人的评估指标

社会学中人类身体研究分为两条主要路径:自然主义身体观和社会建构论身体观。自然主义身体观重点强调人类的躯体属性“肉身”, 而社会建构论身体观则重点强调人类的社会属性“社身",从功能角度分析,两种身体观都关注了人类的工具属性"具身”。数字人综合指数以此为基础,将社会学中自然人的“身体观”引入数字人的评估思想中,形成数字人“三身”指数评价体系。

图片图片

5. 数字人的产业链

国内外在细分市场上的竞争差异较大,国内外目前的共同市场是自动生成虚拟内容,但在外表细节、预设模板、配 套系统等方面的差异较大。国外更关注情感关怀的顾问/助手类数字人和用于打造数字人的应用,国内更关注虚拟客服类场景,对虚拟直播的高度关注是我国特有方向。

图片图片

6. 数字人的类型与应用领域

数字人的应用可分为服务型数字人和身份型数字人,替代真人服务中的虚拟主播和虚拟IP中的虚拟偶像是目前的市场热点。

图片图片

6.1 B端应用

目前,数字人产品大多应用于B端场景,例如帮助互联网商家实现全天候轮播的虚拟主播、 办事大厅内自助办理业务的虚拟前台、自动处理诉求的虚拟客服等,B端消费者仍是市场的主要组成部分。

  1. 重构内容生产模式
  2. 提升数字内容生产效率和质量
  3. 重新定义粉丝经济
  4. 助力品牌传播
  5. 转变品牌形象
  6. 拉近品牌和用 户的关系
  7. 新型带货赋能电商
  8. 推动数字化转型
  9. 助力企业提质增效

6.2 C端应用

数字人产品的C 端应用场景包括上传照片后重现逝去亲友的虚拟亲友、服务于儿童教育的虚拟陪读、监管自媒体公众号的虚拟小编等。C端应用场景仍有较大挖掘潜力。

  1. 参与用户的生活
  2. 追求更真实、更理想的自我
  3. 缓解真人手语主持人稀缺问题
  4. 有效解决听障人士沟通问题
  5. 成为人们的助理、朋友甚至伴侣

7 数字人应用示例:品牌 IP 化

IP的呈现是抽象化的品牌理念被具象化后的产物,承载了品牌希望消费者被唤起的感性共鸣,并以独特的特质将该品牌与其他品牌进行区分。企业品牌往往以IP形象进行传播,动态的IP形象更能传递亲切感,引发受众的共情,使品牌形象更加鲜活生动,例如若干年前的海尔兄弟。如今,品牌方开始推出人形IP, 并从2D 的动画展示进化为3D 的 立体呈现,追求更加拟人化的效果,以拉近和受众的距离。

但是,单向传播无法充分调动受众的参与感。品牌方推出加入智能语音交互的数字人IP, 使之成为帮助用户处理具体事务的虚拟助手角色,或是陪伴角色。长时陪伴的IP使得用户产生更深层的情感,甚至形成“养成”体验, 增强IP的定制感。数字人IP的身份可以是宠物、伴侣、子女、同学等,用户不仅能够见证虚拟IP被自己塑造而发生的改变,也能洞见自身 在这一过程中的成长。

8. 数字人面临的问题与挑战

数字人同样存在技术瓶颈,也出现一些新的问题。

8.1 技术挑战

尤其是计算型数字人,受限于大批量、高质量的训练数据样本,实现泛化性仍然是当前存在的挑战。写实风格的数字人在越来越像人的同时,仍需突破“恐怖谷效应"。

情感传达是技术瓶颈。当前仍然主要运用动作捕捉技术,数字人的表情基准还是无法传达类似于眉毛的弯曲度,肌肉颤动等微表情细节,所以很难将中之人所表达的情感完全传达出来。在人与数字人的在交流过程中只能单纯的传达文字,而背后的情感语义和情绪则没有办法直接传达出来。另外,数字人缺少情感Al 算法的应用,没有办法通过判断人说话的情感来转变回复进而改变情感倾向,实现更人性化的交互,基于多模态的大模型或许可以部分解决这一问题。

8.2人类友好问题

数字人所营造的新型人机关系,可能成为人类组织活动中强行嵌入的某种“异物”,人类组织对这类智能嵌入物是否有排异反应,目前还很难从个别的孤例中获取足够的数据,做出有效的判断。也就是说,当大量数字人,处于工作岗位、担当工作职责的时候,组织行为将会出现何种变化,尚待考察。

8.3 伦理问题

智能技术的核心算法,将技术与伦理问题紧密结合在一起。某种智能算法支撑下的数字人,在深度学习、大数据浸染之下,可能具备某种价值倾向、伦理倾向,甚至可能带有某种“邪恶”倾向。

8.4 法律问题

隐私保护是不变的主题,制作有真人原型的数字人需要抓取大量信息,而大量地、 非法地提供这些信息反映出漠视或忽略隐私保护的现象。隐 私安全的权利一部分属于现实用户,另一部分属于产生了自我意识的数字人。利用深度合成技术可以实现人脸再现,但随着网络技术逐步发展以及对肖像权保护力度的不足,大量抓取网络视频、图像的深度合成问题成为一种法律隐患。

虚拟空间是制作数字人的底层结构,因此虚拟网络的管辖 权就是客观规划数字人的基础。法律的管辖首先需要确定网络犯罪的所在地,而虚拟空间中的犯罪行为最初和最终发生在什么地方难以确定。

对应开发者而言,“避风港原则”是一种针对网络服务提供者的责任豁免原则,具体指网络服务提供者接到权利人的通知后,根据法律规定断开与侵权的作品、表演、录音录像制品的链接的,不承担赔偿责任。

9. 小结

数字人是未来人工智能大模型最重要的应用入口。通过大模型的赋能,数字人的产品发展首先要提升自主创新能力,有赖于数字资产的确权、自有技术运营、IP的持续迭代与进化。同时,需要打造全媒体的多模态传播体系和持续性事件营销体系,为数字人的传播内容的生产、呈现、自传播提供源泉,不断提升传播影响力。挖掘个性化传播内容,通过个性化吸引目标用户并保持用户粘性、提升忠诚度与口碑。另外,重视社会价值传播,赋予虚拟数字人社会服务属性,提升行业影响力和自身公信力。

如果觉得数字人过于复杂,不妨从一个语音机器人入手,临近双十一,推荐给大家一本本人参与的最新译作,可以作为语音机器人产品经理的案头手册,对于数字人的设计同样大有裨益。

责任编辑:武晓燕 来源: 喔家ArchiSelf
相关推荐

2024-01-22 10:05:13

人工智能

2023-10-30 00:14:34

Agent提示工程LLM

2018-07-29 15:54:52

物联网IOT物联网应用

2024-10-15 14:08:06

2024-03-19 15:09:07

2009-06-10 15:57:49

AndroidMIPS架构

2024-04-12 14:34:59

2024-04-23 10:24:33

3D数字孪生制造业物联网

2016-02-18 10:32:39

谷歌TensorFlow 机器学习

2023-05-05 14:11:12

区块链航空领域

2009-05-06 16:54:05

firefoxseo浏览器

2020-12-21 14:40:10

Java技术开发

2022-01-27 15:33:11

区块链金融技术

2022-10-24 10:20:28

物联网智能计量

2020-03-03 08:42:18

物联网技术物联网IOT

2023-05-18 13:48:13

谷歌PaLM 2

2021-07-22 14:26:27

物联网卫星技术IOT

2016-11-16 16:04:27

2023-06-26 17:37:54

人工智能AI

2023-05-30 15:09:56

无人机无人驾驶飞行器
点赞
收藏

51CTO技术栈公众号