还记得电影《银翼杀手2049》里面的经典一幕吗？AI角色JOI从周到、暖心的知己，快速转换成腼腆而富有魅力的女子。从这个镜头之后，观众就明白原来JOI是一个认知虚拟人全息影像，也是男主角K残酷的生活中唯一一个有意义的关系。
.jpg)
▲ 电影《银翼杀手2049》
前段时间，我们为大家带来了关于虚拟人的认知科普、商业价值探索与应用的系列文章——【未来进行时-1 | 欢迎来到虚拟人时代！】和【未来进行时-2 | 虚拟人多场景应用 赋能品牌强势破圈】，今天再接再厉推出第三篇-黑科技篇 ——
“因为黑科技才是让虚拟人前进的驱动力，这些黑科技正在变得越来越酷炫，或者越来越简单，并成为虚拟人得以在未来被广泛应用的基础”。
在进行黑科技介绍之前，让我们一起来学习当前一个非常重要的研究成果“科特勒最新的研究成果：营销5.0”
营销5.0的核心，
是科技+人文，
给营销带来重大新驱动。
这其中，“人文”和IP紧密相关，从内容营销到社交营销，从全新品牌打造到成熟品牌迭代更新，都离不开IP化的推动。而“科技”是关键的幕后推手，如果没有科技的变革和推动，让过去彼此分离的商业经营与文创内容紧密结合起来，就谈不上营销和品牌的迭代。
(25).jpg)
▲ 过去：企业的商业运营是商业运营和文创内容的联系，只能靠广告、公关等来结合。
现在与未来：商业运营和文创内容之间形成彼此需要、高度融合的关系，中间的催化剂是不断变革发展的黑科技。
之前我们了解到虚拟人的商业运用是借助新科技让商业经营与IP文创融合的显著代表，接下来我们将逐一介绍驱动虚拟人飞速发展背后的黑科技，及其可能带来一些变革。
一
虚拟人
数字人大家庭
虚拟人与数字人两个概念多数时候可以通用，相比之下，虚拟人更侧重其在外观、智能等方面与人的相似性，在难辨真假的同时可以进行交互。
对于虚拟人的技术分类，我们可以从风格、创作主体、应用场景、驱动方式几个方面进行了解：
(16).jpg)
▲ 虚拟人\数字人大家庭
❶按照美术风格分：可以大体划分为高保真风格、写实风格与卡通渲染。其中写实与卡通是一种谱系而非存在泾渭分明的界线，而卡通风格也可进一步细分，比如美式卡通、韩系风格、二次元风格等。
❷按创作主体分：虚拟角色的创造者，包括专业创作者从创意想象出发，经过2D原画—3D建模—绑定—动画等流程制作出的，属于PGC类型；一般用户通过专业的平台工具，将自己的照片、视频上传后自动化生成，或组合已有的面部特征、修改参数进行“捏人”的，属于UGC类型。
❸按应用场景分：虚拟人可延展的场景极广，包括泛娱乐偶像、直播带货、虚拟陪伴、虚拟客服、教育培训、文旅城镇、博物馆、影视制作等等。
❹按驱动方式分：也就是让角色动起来的方式，这里有可以手动调整动画的关键帧，再平滑模拟出过渡帧，实现角色动画；或像MMD（MikuMikuDance，虚拟角色跳舞）那样，导入预先制作好的动画方案，让角色模型舞动起来；还可以通过面部、身体动作捕捉，将真实运动映射到虚拟角色的身体，部分虚拟主播、虚拟偶像就采用这种方案。
二，
从很像到很真
影视级照片建模技术
制作实时渲染、高保真、可交互的数字人类，需要影视、游戏两个领域技术的取长补短。
通过传统流程制作出的游戏角色，仍与真人在细节上有一定差距。角色制作遵循一条由虚向实的路径，一般流程为2D原画设计—3D建模—贴图—骨骼绑定—动画制作。
基于显卡运算能力和引擎渲染能力的不断攀升，写实风格的角色效果正不断向影视级靠近：角色可使用的面数不断增加，材质提升，细节完善，这从《古墓丽影》系列主角劳拉的形象变化可见一斑。
(18).jpg)
▲历代劳拉，越发真实
这属于photogrammetry（摄影测量法）的范畴，即使用单个场景拍摄的多张不同角度照片来重建3D空间中的 CG 模型。回忆下《黑客帝国》中的子弹时间特效，现场有多台摄像机，用不同角度的影像重建出可360°旋转的场景。
(15).jpg)
▲《黑客帝国》子弹时间
Light stage技术正是通过构造相机阵列，以多角度、高精度照片，既还原拍摄人物的三维结构，也获取面部的反射信息，从而能在不同环境光下重构人脸模型光效。
Light stage在不断迭代中解决了技术和工程难点，包括高精度皮肤纹理合成、光照与环境随时统一、更准确快速的采集过程。
(20).jpg)
▲ Light stage5 ，《本杰明巴顿奇事》《蜘蛛侠3》《阿凡达》等均使用过
来自影视的照相建模、高精度3D扫描、面部和动作捕捉相关技术，已经应用到游戏的实时渲染领域，为表现力带来飞跃。
接下来，如何进一步满足虚拟人实时交互的需求呢，比如，让演员的表情与虚拟人达成“神同步”？多个技术团队展开了探索。
三，
从形似到有神：
AI助力多样化人物驱动
为了让虚拟人和我们自然地交流互动，腾讯NExT Studios与AI Lab在虚拟人Siren（演员实时表情动作驱动）—Siren AI（语音文字驱动）—Matt AI（更真实情感表达）项目历程中，逐步探索“秀外慧中”的全方位能力。
2018 年 5 月， Siren 惊艳亮相，激起了人们对虚拟人技术的无限畅想。
Siren的特性是实时表情动作驱动，涉及多方向的技术突破，在多国企业协同合作下完成：美国的Epic发起和协调项目，以Unreal引擎整合模型、贴图、动作等数据资源；塞尔维亚的3Lateral制作高精度人物模型，同时建立绑定，为演员和虚拟人的同步搭建转换桥梁；英国的Cubic Motion，负责实时的表情捕捉；NExT作为项目所有者，提供基于Unreal引擎的高质量的人物渲染，也积极参与研发的全过程。
▲ Siren（塞任）意为古希腊传说中半人半鸟的女海妖。而她的面部形象，来自于中国的女演员姜冰洁。
技术的进步让Siren拥有了逼真的3D形象，我们能否进而赋予她精致有趣的“灵魂”呢？
2018 年下半年的 Siren AI 项目，旨在让虚拟人不止步于“提线木偶”，将智能音箱、语音助手、与人自主交互的能力赋予Siren，让她独立做到能听、会说。
这涉及多个AI研究和工程领域，包括语音识别（ASR）、自然语言处理（NLP），语音合成（TTS），语音驱动面部动画（ADFA）。难点集中在最后一步，核心是利用AI训练出语音/文字和面部模型肌肉控制间的对应关系，然后进入渲染引擎、驱动虚拟人。
(12).jpg)
▲ 原理展示
2019年，NExT自主制作了男性虚拟人Matt，自主完成一整套高保真虚拟人的研发流程，并探索语音自驱动且能表达情绪的虚拟人技术，将语音、情感、生动的面部表情紧密关联起来。
▲ Matt AI 一个让语音驱动的虚拟人能表达情感
为此，团队建立了一套精确的面部动捕流程，以不同情感下的动作捕捉，来训练语音驱动模型，最终构造了一个长约20个小时、13339条语句的，包含语音、面部运动和身体运动的多模态训练数据集。在Siren AI 基础上，增加情感维度数据，让Matt拥有微笑、蹙眉等微表情，多了更自然的“人情味”。
(10).jpg)
▲ Matt AI训练过程的示意图
未来，让虚拟人表现更自然的驱动方式会更多样化。
特别是面部表情、眼神、肌肉运动的细腻流畅，这既需要更多的真实数据、更优质的算法，也需要生物学、图形学、影视学等多方跨界支持。
躯体动作的加强也是未来方向，个性化的动作组合能彰显虚拟人迥异的性格，增加亲和力和可信度，这对虚拟主持、主播、客服等需要和直面用户的领域十分重要。此外，我们也看到了从用遥感和按键来“操作”角色，到实时动补、语音和文字带动角色的技术变化，相信未来也会有更多更直观、适合每个人的驱动方式出现。
当一个亦真亦幻的世界离我们不会太远时，真实人与虚拟人交织的状态也就成为必然
(11).jpg)
▲ HBO美剧《西部世界》中的机器“接待员”Dolores
随着虚拟人技术的突飞猛进，越来越多的C端消费者和B端用户对这一领域开始充满热情。虚拟人IP以其高识别度、灵活性、交互性和可控性，在企业与未来消费者的沟通互动中发挥了至关重要的价值意义。
与此同时，虚拟人在开发完成后边际成本低、边际收益高的特点也不会给企业带来沉重负担，有着轻量化运营特点的虚拟人IP反而能够给企业带来更多可能性——譬如除广告营销外，它们还能化身客服人员及时与消费者答疑互动。
因此我们不妨大胆猜测，在不远的将来，虚拟人有望成为各大企业、品牌和机构的标配应用形象。
(7).jpg)
▲ 虚拟人AYAYI参加娇兰活动
作为构建虚拟人IP应用生态圈中的重要一环，在水一方接下来也将长期为各企业品牌主提供全栈式的虚拟IP形象打造服务 ——
从扫描、建模、绑定、动画制作，到实时驱动二次元或者真人CG角色，全环节高质量的制作与紧密配合，赋予虚拟人、虚拟IP形象灵动自如的能力，推动品牌虚拟代言人、虚拟偶像合作等商业场景的广泛应用，全力以赴助力企业完成品牌影响力和产品力的跨次元破圈。
(9).jpg)
2021年会是虚拟人发展的重要拐点吗？
这个问题也许很难在当下给出明确的答案，毕竟科技的发展速度往往超乎我们的预期。但可以肯定的是，在技术、资本和市场的多重同步支撑下，更高品质的虚拟人时代正向我们加速靠近。（完）
