京东金融APP-新交互技术“虚拟数字人”赋能世界杯主题营销

作者：平台研发部，智能服务与产品部

距离加文·伍德提出web3.0已经过去8年时间，这8年加文·伍德创建的以太坊大放异彩，同时由web3.0引出的数字人、元宇宙也生根发芽，茁壮成长，带来了非凡的用户体验。

在互联网产业都在寻求打造元宇宙新生态系统的背景下，数字人担任着信息制造、传递的责任，是连接虚实世界、增进用户体验必不可少的一部分，是元宇宙“人-物-场”链接的新介质。京东金融APP为了给用户提供更好的用户体验，在产品、价格、服务三个纬度上，不断追寻最佳的业务表达和信息传递方式，在数字人应用方面大胆尝试并取得了初步的成果。

一、用户体验需求——从传统的图文展示、上下滑动到个性化交互

截至2021年我国互联网渗透率已达73%，在互联网人数增长和人均上网时长增长上已趋于稳定。通过对Z世代用户体验需求进行调研和分析，Z世代用户有自己的文化圈层、圈层语言、特征喜好，他们的行为爱好有着鲜明的特色，他们不再局限于视角、听觉的网络传播互动，而是追求更近一步的产品体验，他们有着对体验升级的需求，行业内急需一个新的突破点来满足其需求。

诺贝尔物理学奖获得者乔治·斯穆特曾说过：“虚拟现实的未来不在于构建魔术般的幻境，而是为现实生活带来积极改变。”互联网时代的交互体验主要是2D信息的表达，而在最近十年我们正拥有了创建3D世界的技术，未来当我们可以在虚拟世界中无比真实地感觉到空间和时间，我们有望接近4D的阶段，即虚拟与现实共生，而我们认为这有可能是交互体验最终的阶段。

作为国内金融科技行业的TOP应用，京东金融APP必须要满足未来用户的偏好，尝试满足Z世代的产品形态，是我们用户体验提升的一部分。在对互联网行业和集团内的技术能力进行洞察后，我们在多个技术方向上进行了大胆的尝试，其中数字人就是其中高价值的一环。数字人等相关技术将帮助我们构建平行的社会，打破已经持续已久的人机交互体验瓶颈，由人机交互过渡到人人交互。要具备真实意义的社交体验就需要有感情连接，要让人有归属感才能支撑其基础的社会宇宙社交方式，不能只是传统的文字、语音、视频的形式，更多的是个性化交互的需求升级。

二、保持技术前瞻性- 洞察行业和政策发展趋势

纵观各行业发展史，每个阶段的突破都是在数量积累到一定的极限后引起质变的。互联网交互形态演进也遵循这样的发展规律，由web1.0到web3.0每个阶段都是一个由量到质的突破。

静态互联网时代的交互体验，在Web1.0时代，也就是PC互联网时代，是一个群雄并起，逐鹿网络的时代。用户利用web浏览器通过门户网站，单向获取内容，主要进行浏览、搜索等操作。用户只是被动接受内容，单纯的人机通信，没有互动体验；移动互联网时代的交互体验，在Web2.0时代，用户不再只是内容接收方，可以在线阅读、点评、制造内容，成为内容的提供方，还可以与其他用户进行交流沟通，提供服务的网络平台成为中心和主导，聚集起海量网络数据； 大互联时代的交互体验，在Web3.0时代，典型特点是多对多交互，不仅包括人与人，还包括人机交互以及多个终端的交互，一开始仅仅是大互联时代的初期，真正的Web3.0时代一定是基于物联网、大数据和云计算的智能生活时代，实现了“每个个体、时刻联网、各取所需、实时互动”的状态，也是一个“以人为本”的互联网思维指引下的新商业文明时代。

Web3.0是一场体验变革，也让互联网更加智能化、人性化。通过3D图形、AR/VR/XR、可穿戴设备、人机接口等技术的应用，为用户带来前所未有的交互感、参与感。它让“元宇宙”从概念逐渐走向现实，基于上述技术，再叠加边缘计算、5G、云计算、AI等新一代信息技术，让打造“全息互联网”成为可能，虚拟世界与现实世界的距离被拉近、边界变得模糊，个人体验也从感知实体世界向虚拟世界延展。在元宇宙的通用架构图中也可以看到，虚拟形象（数字人）是元宇宙的技术核心。

元宇宙通用架构图

在宏观政策方面，国家大力支持数字经济，近一年北京元宇宙商标注册量位列第一，其次是广州、深圳、上海；另外，11月1日五部委联合发布《虚拟现实与行业应用融合发展行动计划（2022-2026）》。同时，纵观互联网和金融行业现状，腾讯发布QQ小窝、字节发布抖音小窝、阿里发布数字人生和未来城等元宇宙场景、京东百货的3D虚拟广告、金融领域摩根大通/证券银行也不同程度发布了虚拟金融服务。

三、新交互技术落地探索- 金融APP营销场“虚拟数字人” 赋能世界杯主题营销

在金融科技领域，我们需要积极探索新的用户交互和新的用户体验。通过"金融元宇宙"进一步突破传统金融"时"和"空"的场景束缚，使客户获得科技感、沉浸感、补偿感的体验同时，在金融拓客、触点营销等业务模块，通过技术创新挖掘新机遇、新竞争力，开辟业务增长新赛道。本次借助世界杯这一热点话题，通过数字人这一连接虚拟与现实的虫洞技术打造了全新的营销活动体验。

1、京东金融虚拟数字人

1.1、虚拟数字人（数字人、虚拟人、虚拟形象）是指具有数字化外形的虚拟人物，与具备实体的机器人不同，虚拟数字人依赖显示设备存在。虚拟数字人具备多重人类特征：形象外貌特征，表达能力，感知交互能力。京东言犀数字人进行了NLP、ASR、TTS、CG等多学科的深度融合，是多模态 AIGC 及人机交互技术的结晶。

1.2、惟妙惟肖之身——多模态智能技术。她可以在视觉上带来前所未有的新体验，通过语音、文字、表情、手势、肢体等多模态，能够一体化协同，这样能让数字人的拟真度更高，避免一些明显的违和感。面容上在2D真人数字人方面，采用 GAN 深度学习算法，自研3DNeuralRender神经渲染器，实现端到端的高保真面部合成，唇形与TTS完美匹配与音色无关，以流式方式实现多路实时合成与用户进行交互，训练数据压缩到6分钟内，可以进行大规模工业化生产。在肢体动作研发了结合RIFE和Retiming的多帧多插入点的动作生成过渡方案，实现2D数字人动作的快速流畅过渡。在3D写实/卡通数字人方面，自研STA唇形实时驱动技术，精细驱动唇形动作和面部表情，生成逼真的3D数字人动画和实时交互。动作上，言犀研发的动作合成方案，基于RIFE插帧多插入点的快速动作过渡，可以让数字人的动作更加流畅自然；互动中，2D及超写实、高精度3D数字人驱动方案，可以实现音唇精准同步，数字人说话时，牙齿甚至牙缝都要精准地对齐口型，这样才不会看着别扭。可以说，惟妙惟肖的数字人需要多模态的综合性技术能力。

1.3、善解人意之心——实时人机交互技术。数字人也不能只是“花瓶”，还要能够与用户实时互动，做出合乎逻辑的反应，这种数字人则更加稀少了，因为难度也高了一个数量级。首先，实时交互需要快速的动作、表情渲染，对AI生成的速度和质量要求非常高；其次，实时互动意味着很多反应不能事先生成，而要真正理解用户的想法和需求，给出精准的回答，这就要求数字人具备丰富且细粒度的知识突破、自然语言理解、情感计算等能力。比如在数字人直播场景，用户想了解A商品和B商品的异同，需要数字人主播精准地抓住顾客心理、比对信息、找到卖点，生成有吸引力的文案。为此，基于京东云言犀人工智能应用平台，在智能多模态对话与交互领域提出了理解准确度、知识覆盖度、交互流畅度、情感关怀度、任务完成度5维为标准的“新图灵测试”体系，作为人机交互服务机器人的标准，也是数字人的核心能力。

2、用数字人提升交互体验，与用户建立情感链接

作为负责金融APP的用户产品研发团队，我们是最贴近用户、了解用户的，拥有最丰富的业务场景。针对以往我们负责的营销场域营销活动来看，每次改变的都是活动的玩法，以及页面整体UI的改变，长期以往来看，用户对这类型的营销活动已经产生了疲劳感，并不会因为玩法的改变给用户带来整个活动上交互体验的提升，所以我们需要去寻找新的交互方式来提升用户的粘性以及体验。

起初我们确定了3大业务场景，计划通过数字人来提升交互体验，和用户建立更多的情感链接。分别为规则剧本介绍、情景关怀、业务增量场景。营销活动的规则包括玩法介绍、奖励领取和使用等方面的规则介绍，通常较为复杂，本次又结合了世界杯的赛制，所以导致规则介绍内容较多。鉴于用户通常不会耐心去读所有的活动规则，也考虑到繁杂的文字内容无法让用户高效的理解，因此通过数字人用语音讲解的形式讲述活动规则，可以让用户更加直观了解活动内容；同时通过场景的互动形式，引导用户选择球队，用户球队淘汰之后，通过一些鼓励的话语激励、安慰用户，通过与数字人的互动，增加沉浸式的陪伴、关怀并温暖用户，从而提高页面留存，提高用户停留时长及参与率。

最终我们结合用户、产品、业务多个视角，综合评估最终的呈现效果及研发成本，决定以从未选择球队、选择球队被淘汰、开奖结果三个场景加入数字人交互，来贯穿整个世界杯营销活动，既覆盖了核心场景，又避免过度关怀造成对用户打扰。同时我们的数字人选用了贴近“足球宝贝”的卡通形象，动作设计方面也诠释了“青春活泼可爱”的设定，并且让数字人常驻在活动页面，增加世界杯的氛围感，以及对用户的陪伴。

3、活动玩法以及场景介绍

本次营销活动的主要玩法是用户进入页面后会获得一次免费的摇号机会，通过摇号玩法可以获得一个“抽奖码”，每天每个用户最多可以获得5个“抽奖码”，每天只有一次免费摇号的机会，其余4次机会是用户通过完成某项任务来获得的。我们引入了世界杯热点话题，通过猜球输赢的形式来给自己的号码池做一个翻倍的玩法。在猜对的同时除了能获得我们自己的号码池翻倍奖励外，还会获得额外的积分或者京豆的奖励。通过已经获得的积分可以在我们营销活动的其他楼层进行一些权益的兑换和获得。下面是我们整体系统架构图以及重点玩法流程图。

系统架构图

业务玩法流程图

我们相信营销活动+热点+数字人的组合方式一定会给用户带来一场不一样的交互体验，下面我们主要通过三个不同的场景来介绍一下如何与数字人通信以及不同场景下数字人展现形式。

活动与数字人通信流程

主动唤起

1）当用户进入活动页面，并且未选择球队时，会主动唤起数字人提醒用户进行对支持球队的选择。

2）当你选择的球队被淘汰时，用户再次进入页面，也会主动唤起数字人，引导用户进行球队的重选。

被动唤起

1）我们在活动页面会常驻一个数字人的入口，当用户点击入口时会进入数字人交互界面。这时如果您选择的球队比赛未开始或者胜负未分的情况下，数字人会有一些预设的交互动作以及相应的语音播报。但是当您选择的球队已经胜利，那数字人就会做出相应的胜利逻辑。

不同场景下数字人

4、带来的预期效果

通过数字人与这次营销活动的结合，我们发现数字人的引入不仅给用户带来了全新的体验，同时通过数字人技术引导用户选择球队相比传统引导方式的参与用户数提升了30%。

四、未来展望

随着互联网发展和科技进步，交互方式迎来了新的纪元。web3.0的时代带来了交互体验的质变，改变了交互对象和交互能力，传统交互方式造成了人与真实世界的分裂，但是未来的交互方式，将会是能实现人、现实，虚拟之间的交互融合。未来，我们会继续在虚拟形象、虚拟场景、虚拟服务相关的技术上继续发力，在虚拟数字人、web3D、AI等相关寻找新的落地场景，跟随着元宇宙体验从数字孪生、数字原生最后到达超现实的变革，做好金融业务的场景探索。

元宇宙发展进程

我们坚信人与世界、人与传感器会代替传统的交互方式，同时AR，VR，XR更会给人们的生活带来近一步的用户体验。随着5G甚至6G等技术的发展，提升了信息传递的速度，让信息传输变得无感知，通过以上的产物，在未来会彻底改变人类的生活、学习和娱乐的方式。

数字人的落地是我们在元宇宙方面的一次功能性尝试，现在的元宇宙生态尚未成熟，但是每一个技术点的突破和落地，都在完成京东金融的元宇宙拼图。 我们也会在更多业务场景中，通过创新和新技术的运用，持续为用户带来新的交互体验，用科技服务用户。