演出市场一直在改变，在不断地创新，尤其是这一年里，越来越多的艺术家和活动组织者尝试使用XR和其他虚拟技术，来完成自己的创作。
由于虚拟演出没有物理限制，因此，它使表演者能够释放他们的创造力，并为观众提供一种在现实环境中无法见证的新颖体验。
但不论是国内还是国外，线上虚拟演唱会依然处于摸索阶段，这让我们看到了越来越多优秀的虚拟演唱会。
就在9月29日，芒果TV推出了《潮音实验室》虚拟演唱会说唱专场席卷了整个音乐圈，为观众献上一场视觉盛宴。
今天便来解析下此次线上实时直播虚拟演唱会的幕后设计。
何为《潮音实验室》？
《潮音实验室》是一个全新实验性品牌，由芒果TV打造。以实验为主体，将音乐用黑科技、潮文化、新媒体艺术等多种形式交融为一体，呈现给大众。在无数次实验碰撞中，寻求潮流趋势与泛音乐的结合，深度挖掘音乐与多维元素的跨界融合，创造音乐的无限魅力。呈现及展示完全不一样的视听体验，这是一个真正的音乐实验室，立志于音乐表达的新奇特。
现如今，因为全球疫情，加上虚拟市场的迅速发展，让虚拟演出也有了很大的潜力，这让《潮音实验室》看到了今年的发展趋势—虚拟技术，于是他们今年便以“虚拟科技”为实验命题，开拓深挖XR科技与音乐的无限可能！
此次虚拟演唱会说唱专场对《潮音实验室》而言，是一场实验，亦是一个良好的开端！
《潮音实验室》虚拟演唱会 说唱专场
此次《潮音实验室》虚拟演唱会说唱专场共邀请了7组来自《说唱听我的2》中的说唱歌手——孙旸/胡佳豪（Round_2早安/Round_2贰万）、赖煜哲（AJ赖煜哲）、蒋奇（Oliver Jiang）、巴顿（巴邓顿珠）、白吉勒（ReddB）、刘奥运（太帅了花）、蔡林新（十七草），每位说唱歌手都有属于自己的定制舞台。
除说唱歌手外，这次还特意邀请了芒果TV首位动捕虚拟人瑶瑶担任串场嘉宾。
瑶瑶是芒果TV创新研究院，依靠数字技术构建的虚拟人物，背后是大数据+算法的加持。通过对上亿张亚洲面孔的扫描分析，工程师们以数据基础与算法技术构建了“最美面孔”；瑶瑶的身材则是通过芒果光场技术对上千体型数据进行实时重建、云端渲染而最终得来。可以说，瑶瑶满足了亚洲人审美的“最大公约数”。
时至今日，虚拟演唱会在国内已有先例，但以全虚拟实时直播为形式的这是首例。新颖的技术往往存在隐患，很难保证直播质量，为了演出效果，虚拟演唱会都是采用录制形式或半录制形式，而这次《潮音实验室》以实验精神结合全新的虚拟技术进行了全程直播。在直播过程中为了拉近观众与歌手的距离，歌手会在演唱完后会退出虚拟场景中，在原始的绿幕环境下与观众打招呼并进行弹幕互动。
直播幕后
与时间赛跑 没有NG的机会
这场虚拟直播演唱会可以说是在与时间赛跑，整个制作时间只有短短一个月时间，导演组要在这一个月时间内完成场景的设计及制作、人物与场景的融合等工作，更重要的是确保直播不出任何差池能够顺利进行。这对导演组来说无疑是巨大的挑战。而更为艰难的是从虚拟制作到直播只有短短10天的时间，在这段时间内导演组仍需解决许多问题，如歌手场景的设计，黑科技的使用等等，由于时间较短，最终决定每组选手只演唱两首歌，这样每组虚拟场景的制作只需要制作2个。
在镜头方面，一开始做了许多设计，原本十四个场，设计了很多镜头，但是由于制作周期紧张，不得不将镜头做精剪处理，虽有些可惜但这样才能确保直播顺利进行。
虚拟制作
在技术上这场演唱会并非采用简单的绿幕抠像虚拟技术，而是采用了实时深度交互系统，所有的说唱歌手都是在宽15米、深10米、高5米的绿幕中进行表演，现场通过多机位进行拍摄，通过技术将真实世界空间和人物的实时三维深度计算及重建，然后把重建完的人和物体融合进三维虚拟场景内，再经过实时渲染技术进行画面直播。不仅如此，这套技术还拥有真人与虚拟实时交互功能，虚拟画面中的3D物体能够根据歌手做出的反应进行响应，与之互动，让观众看到一个更加真实的世界。
直播幕后
为了融合效果更为真实，现场采用了真实的灯光照明系统和虚拟灯光系统，同时进行光效处理，加入深度信息生成点云信息。精确的合成景深位置信息，灯光信息，颜色信息。让三维场景灯光对实拍人物有光照影响，让直播的画面灯光效果更接近真实光效。
深度信息交互系统具有现场实时调色功能，针对不同的机位都能够单独做实时匹配与色调控制，能够确保画面实时融合效果。
为了保证现场直播能够顺利进行，在系统方面做了备份处理， 每个机位都采用了一主一备渲染服务器。如果主渲染服务器出现故障，现场能够零延时实时切换备用机的渲染画面，这大大确保了直播的安全性。
虚拟舞台设计
虚拟演唱会打破了物理限制，让舞美拥有无限可能，阳光明媚的夏日风景、赛博朋克风格未来科技舞台、彭罗斯阶梯空间.......多个虚拟舞美场景的设计给予观众新鲜感。
此次虚拟演唱会为说唱专场，因此虚拟舞美设计结合了说唱潮流理念而展开设计。从单一平面设计到立体式的设计，所有的舞台都兼具时间艺术与空间艺术，具像化到每位说唱歌手的歌曲风格和内容，通过一些巧妙的设计，丰富虚拟舞台的内容和布景，尽量最大化呈现表演的生动性，带给屏幕前的观众新颖多变又真实的体验以及带入特定场景时丰富的感官体验。
— 白吉勒（ReddB）的虚拟舞台
白吉勒的虚拟舞台与他演唱的曲风有着异曲同工之妙，设计师为他设计了chill一点的视觉风格。
以无尽的天空为主背景，云雾中蜿蜒曲折的公路为主视角，色彩鲜明的汽车搭配棕榈树，明暗交错，不同的视觉元素增添了丰富的细节，歌手在演唱时动态的公路以及漂浮晃动在空中的仪表盘，提升了整个舞台的深度和立体感，也能展现表演者的移动路径，使整个表演更加生动真实，很快将观众带入特定的场景中。
效果图
— AJ赖煜哲的虚拟舞台
AJ赖煜哲的虚拟舞台为一个意象化场景，运用黑白色调，水中的一轮圆月与山合一，仿佛从水中涌出，水天一色，皎皎空中孤月，整体视觉更显高级感，演唱过程通过水面闪动，近景远景的切换，给整个视觉场景提供了充足的空间，让观众都能够有最大最独特的视角。第二首歌的背景从圆月转换为一双手从圆月中伸出，演唱嘉宾站在双手捧着的银河中，耿耿星河如同一场梦境，再利用灯光阴影带来立体的效果，让整个场景变得更加形象生动，歌曲情绪在视觉设计中得到最大的传递。
效果图
其他舞台
— 太帅了花的虚拟舞台
浩瀚的宇宙空间中，为歌者搭建了一套彭罗斯阶梯空间，以歌者为中心的舞台，向外衍生出无数个楼梯，孤独的歌者在彭罗斯阶梯空间中陷入迷失，迷茫之中，不断地用歌声找寻自我，以积极向上的心态面对这破碎的空间，试图打破空间的枷锁，来完成自我的救赎。
效果图
— Round_2的虚拟舞台
设计师为Round_2搭建了一座虚幻之城，在这里虚与实并存，Round_2演唱的是中国风歌曲，因此在这些建筑中，融入了古建筑元素，以茶文化为特色做衍生设计，在演唱过程中一条巨龙盘旋而上，仿若冲破这虚无空间，进入现世。
效果图
— 蒋奇（Oliver Jiang）的虚拟舞台
效果图
— 十七草的虚拟舞台
效果图
— 巴顿的虚拟舞台
设计图
这次全虚拟直播虽已顺利结束，但也有不完美之处，导演组表示，还有很多黑科技未使用，一开始设计了真实人物与虚拟场景的互动，这能让表演者在场景中玩出许多新的花样，也能让场景看起来更为真实，仿佛这并不是虚拟而是让表演者进入了一个异世界。
真实人物与虚拟物体互动效果展示
除此之外，导演组还设计了观众通过手机或其他控制工具，可以对表演者进行点赞，点赞会触发虚拟场景中的一些特效展示。这些因为时间关系都没有加入此次直播当中，但今后的实验性演唱会当中会让大家看到。
《潮音实验室》的未来，可期！
观看演唱会是一种体验，而虚拟演唱会是一种及新颖又独特的体验，虚拟演唱会所创造的光怪陆离的世界这在现实中是无法体验到的。这对于许多人而言非常具有吸引力，这也是《潮音实验室》所举办的虚拟演唱会的魅力所在。
科技日新月异的今天，我们的娱乐方式正在被科技重新定义，《潮音实验室》正是看中这一点，以实验方式抓住未来趋势，引领观众用全新的方式体验音乐。在未来《潮音实验室》将继续用科技挖掘用户需求，结合音乐让观众获得越来越身临其境的体验。
