《基于AR的演艺元宇宙设计原则与策略》——陈永东
摘要：在观察、思辨、项目实践及实验的基础上，提出了基于AR的演艺元宇宙的设计原则，即需要充分体现虚实融合的主要特点，充分体现虚实融合演艺部分的必要性，充分体现虚实融合演艺部分的合理性，充分理解故事题材及情节，充分考虑观众的观看体验，以及充分考虑演出设计与制作成本；同时，探讨了基于AR的演艺元宇宙可选择的几类题材类型，如包含梦境幻境、鬼怪精灵、时空穿越、数实结合、探索情节或其他必要交互等类型的故事题材；最后，提出了基于AR的演艺元宇宙的设计策略，主要包括：传统导演与数字导演的相互协作，现场演艺中合理切入虚拟演艺，现场情节与虚拟情节的合理互补，真人演员与数字人演员的默契配合，现场实景与虚拟场景的交相辉映，真实道具与虚拟道具的巧妙切换等。
作者简介：陈永东，上海戏剧学院艺术科技与管理学院教授，上海市虚拟环境下的文艺创作实验室副主任，中国文化产业协会文化元宇宙专业委员会高级专家委员
一、引言
元宇宙应用不断渗透到演艺领域，逐渐形成了演艺元宇宙的概念。同时，演艺元宇宙以极强的包容力将VR（virtual reality，虚拟现实）、AR（augmented reality，增强现实）、MR（mixed reality，混合现实）、裸眼3D、数字人及数字藏品等吸纳进来。
目前，元宇宙通常被划分为三个世界：数字原生的虚拟世界（或纯虚拟的世界）、数字孪生的极速版真实世界、虚实融合（或数实融合）的高能版现实世界。在此基础上，相应的演艺元宇宙亦可分为三个世界：数字原生的演艺世界、数字孪生的演艺世界、虚实融合的演艺世界。
基于AR的演艺元宇宙属于虚实融合的高能版现实演艺世界，其在未来几年可能将快速发展。原因主要是基于AR的演艺元宇宙符合“以虚促实、以虚强实”的政策导向、AR相关硬件制造成本不断下降、观众的接受程度不断提高，这将促使基于AR的演艺元宇宙相关应用门槛不断下降。
对于基于AR的演艺元宇宙应用，需要认真研究其基本的设计原则，思考适合其表现的演艺故事题材，并在实践中认真总结基于AR的演艺元宇宙的相关设计策略。
二、基于AR的演艺元宇宙设计原则
为了使基于AR的演艺元宇宙的设计更加科学合理，需要一些基本原则，以使其充分体现自身的特点与优势。
（一）充分体现虚实融合的主要特点
基于AR的演艺元宇宙设计必须充分体现AR的基本特点—虚实融合。在前述的演艺元宇宙的三个世界里，虚实融合的演艺世界可以将另外两个世界（数字原生的演艺世界、数字孪生的演艺世界）中的虚拟演艺内容及其他影像叠加到现实世界的演出空间中，进而体现出虚实融合这一突出特点。
基于AR的演艺元宇宙具有沉浸式演艺或沉浸式戏剧的一些特点。有观点认为，沉浸式戏剧最早起源于美国戏剧家理查·谢克纳（Richard Schechner）提出的“环境戏剧”（environmental theatre），沉浸式戏剧的本质也是环境戏剧。谢克纳曾经在论文《环境戏剧六原则》中提到环境戏剧的第二、四条原则：“所有的空间都为表演所用；所有的空间也都为观众所用。”“焦点是灵活可变的。”目前，多数沉浸式戏剧更多表现在观众席与演出区域没有明显的界线，演员可能与观众进行一定的互动，观众可以选择不同的路线跟随不同演员的表演路径等，这些与基于AR的演艺元宇宙很相似。
实际上，从元宇宙的特点看，不论基于VR、AR或MR中的哪一种技术，演艺元宇宙中的体验通常都比纯线下的沉浸式演艺或沉浸式戏剧的体验更加沉浸。如果说基于VR的演艺元宇宙主要是3D环绕的场景、3D的数字人演员、3D的虚拟道具等给观众带来了更加沉浸的观看体验的话，那么基于AR、VR、MR的演艺元宇宙则是通过把虚拟场景、数字人演员、虚拟道具及它们的动态影像叠加到现实演艺空间而给观众提供了更加沉浸的体验。并且，基于AR的演艺元宇宙更加突出了虚实融合这一可以增强观众体验的特点。
（二）充分体现虚实融合演艺部分的必要性
任何新的演艺方式都需要考虑其存在的必要性，基于AR的演艺元宇宙中虚实融合的演艺部分也需要充分体现其必要性。如果一种貌似新潮的演艺方式不是完全必要的话，那么在时间、经费、设备或人员紧张时，往往会首先被简化或边缘化，甚至被删减或摒弃。
实际上，在传统的线下环境戏剧或沉浸式戏剧的表演中，也经常出现对此类演艺方式的某些环节是否有必要的质疑。例如，有时演员与观众的互动似乎没有必要，类似的问题也出现在基于AR的演艺元宇宙应用中。因而必须认真思考的基本问题是，哪些虚拟场景、数字人演员、虚拟道具及它们的动态影像更适合或有必要叠加到现实演艺空间？
考虑虚实融合演艺部分必要性的出发点主要在于，这些被叠加的虚拟信息比传统的演出方式更有利于优化观众的体验、这些被叠加的虚拟信息比传统的演出方式更有利于帮助观众理解整个剧情、这些被叠加的虚拟信息比传统的演出方式实现的难度更小或成本更低，或者是这些被叠加的虚拟信息比传统的演出方式在呈现或切换时所花费的时间更短。
（三）充分体现虚实融合演艺部分的合理性
需要注意的是，有必要的东西未见得是合理的。正如亚里士多德提到的可然律与必然律：诗人的职责不在于描述已经发生的事，而在于描述可能发生的事，即根据可然或必然的原则可能发生的事。这一规则不仅适用于剧情的构思，也适用于观众以AR方式实现观看或交互体验的设计。
在以AR方式实现观众观看体验的设计中，演艺元宇宙作品的策划者、导演、编剧及数字艺术设计师等的任务不只在于如何给观众提供AR观看体验，而在于如何让AR观看体验的步骤、顺序与过程变得更合理，并需要考虑观众在进行AR观看体验时的身体及心理的变化。特别是，需要考虑在什么时间点、什么位置出现观众需要的虚拟信息。
在以AR方式实现观众交互体验的设计中，演艺元宇宙作品的策划者、导演、编剧及数字艺术设计师等的任务亦在于如何让AR交互提示方式、体验方式、体验顺序及所呈现信息的方式显得尽可能合理。例如，在扫描现实世界某个对象后出现虚拟信息的AR交互时，需要思考用户是否自然而然地想到需要扫描什么信息以及怎么扫描，是否需要给观众以不影响整体观看体验为前提的某种提示。
（四）充分理解故事题材及情节
在设计基于AR的演艺元宇宙时，必须充分理解项目对应的演艺故事的相关题材及情节，发掘其中更适合用AR方式展示的情节或场景，并将其以最合适的方式融入演艺元宇宙的作品中。这不仅需要认真通读故事剧本，熟悉故事的各条线索，还需要深入理解故事的核心价值。
剧本是戏剧艺术创作的文本基础，它为导演、演员提供了明确的指导和依据。数字技术可以为基于AR的演艺元宇宙作品创作提供更多的表达可能性，但最终呈现的艺术效果和质量，不仅取决于剧本的质量和深度，还取决于导演与数字艺术设计师对剧本的理解程度，以及是否可以从剧本中发掘出更多适合AR表现的地方。
同时，理解故事的核心价值是非常重要的，它决定了基于AR的演艺元宇宙作品的高度与深度。虽然元宇宙演艺叙事从传统的线性叙事进化到了非线性叙事、交互叙事、多故事线叙事等，但所选的故事题材所要反映的核心价值仍然是其表现的重点。使用AR技术的优势及目标之一应该是，通过更丰富的交互让观众更深刻地体验到故事的核心价值。
（五）充分考虑观众的观看体验
基于AR的演艺元宇宙中，观众的观看体验主要是虚实融合的沉浸式体验，如何充分考虑这一体验尤为重要。对于沉浸式体验，S.A.杰克逊（S.A.Jackson）和H.W.马什（H.W.Marsh）曾提出九因子模型。第一，清楚的目标：确切地知道自己所做的活动，明确其意义和结果。第二，自觉体验：沉浸体验的最终结果，为了自己的渴望而工作，不是因为对后来奖励的期望，本质上存在收获感的体验。第三，挑战—技能平衡：对情境需求和个人技能平衡的感知。第四，潜在的控制感：控制事件的力量，这种控制感在沉浸体验中并不是有意识达成的。第五，专注任务：高度集中的注意力，彻底的而紧张的专注感。第六，明确的反馈：获得迅速和清楚的反馈，确定所有事情都按计划执行的感觉，对个体行为迅速和清楚的监督。第七，行动—意识融合：投入程度太深，以至于产生了自动化的行为。第八，时间感扭曲：时间过得更快或更慢，或者不会意识到时间的流逝。第九，失去自我意识：自我消失了，个体与任务合为一体，缺乏对自我的控制[6]。第八、第九所述的状态或许有些过头，但前面七个因子对基于AR技术为观众提供沉浸式体验有重要的借鉴价值。特别是，第二个因子中强调的“收获感的体验”对基于AR的演艺元宇宙设计是一个重要的提醒。
观众体验还可以从更细致的角度划分为若干个维度及体验要素。有研究观点称，在具身理论视角下，沉浸式旅游演艺产品的游客体验是以身体沉浸、情景沉浸与感知沉浸为核心，拓展为多感官沉浸体验、身体感沉浸体验、观演互动沉浸体验、物理情境沉浸体验、社会情境沉浸体验、氛围情境沉浸体验、认知沉浸体验和意义沉浸体验8个维度，是包含视、听、嗅、味、触觉体验，本体状态体验，运动状态体验等27个体验要素综合作用的结果。这对于基于AR的演艺元宇宙观众体验设计亦有重要的参考价值。相对而言，过去的AR研究对物理情境沉浸体验、社会情境沉浸体验、认知沉浸体验和意义沉浸体验等重视程度不够。
（六）充分考虑演出设计与制作成本
任何一个演出都需要考虑设计与制作成本，基于AR的演艺元宇宙相关项目的设计也不例外。相比过去，虽然基于AR的演艺元宇宙项目的成本总体呈现明显的下降趋势，但是仍然需要根据具体情况及市场行情进行精打细算。特别是，在近年来总体经济下滑、演出经费投入可能消减或不足的情况下，更需要考虑如何有效地降低演出设计与制作成本。
除了认真核算演出相关的软件硬件设备、设计师的设计费用，进行规范招标比价之外，还需要考虑更加实惠的设计方案。目前，一些引擎中有较多现成的数字资产，在建模时可以充分利用。近年来兴起的AIGC工具也可以提升内容生成效率，同时还有一些人工智能接口可以远程调用。
此外，有时可能不得不考虑适当降低观众体验层次，或者采用相对低成本的替代设计方案，进而适当简化功能以降低设计成本。例如，在AR体验所需的3D虚拟信息建设成本可能很高时，作品未必全部都要使用3D建模，可以在演艺元宇宙场景设计中局部采用3D建模的方式，而其他地方可以采用贴图、全景图或全景视频的方式，或采用非写实的方式（如水墨或写意画面）。有时可以采用“二渲三”的方式，即使用3D建模软件创建角色和场景，然后使用2D手绘技术为这些模型着色和添加纹理。有时，为了达到虚实融合的体验，可以采用裸眼3D大屏、全息投影或激光投影等方式。
三、基于AR的演艺元宇宙题材选择
基于AR的演艺元宇宙应用需要选择合适的题材。相对而言，有一些类型的故事题材更加适合使用AR来表现，如包含梦境幻境、鬼怪精灵、时空穿越、数实结合、探索情节或其他必要交互等类型的故事题材。
（一）包含梦境幻境的故事题材
对于包含梦境或幻境的故事题材，在进行基于AR的演艺元宇宙设计时，可以将非梦境或幻境的场景放到现实演艺空间中呈现，将梦境或幻境场景中所包含的影像信息以虚拟的方式叠加到现实演艺空间中。例如，莎士比亚的《哈姆雷特》中哈姆雷特父亲的亡魂给哈姆雷特的托梦、蒲松龄的《聊斋志异》中的不少梦境，都适合用AR虚拟影像来表现。特别是，当现实演艺空间较难表现梦境或幻境，或现场切换场景太麻烦时，AR则显得更加合适。
例如，明代剧作家汤显祖的“临川四梦”（又称“玉茗堂四梦”，即《牡丹亭》《紫钗记》《邯郸记》《南柯记》）皆有梦境，适合用AR来呈现。上海戏剧学院数字媒体艺术2023届本科毕业生潘珠鋆的毕业作品《游园惊梦》（由铁钟、俞玮娅老师指导）在沉浸式影像中包含了类似裸眼3D的AR形式的虚实融合的沉浸式演艺成分，其中虚拟影像更多用于表现梦境。如果该作品能配合现场的表演，可能会达到更好的虚实融合的效果。
再比如，在曹雪芹的《红楼梦》中，梦境及幻境亦是频繁出现的场景。其中，贾宝玉梦游太虚幻境，见到了自己未来的命运；林黛玉的梦境则常常预示着她的悲剧结局。这些梦境不仅是故事中的重要情节，还反映出现实与虚幻之间微妙的关系。在现场演出时，这些场景用AR方式叠加到现场则较为适合。
（二）包含鬼怪精灵的故事题材
鬼怪精灵之类的故事情节较为适合用AR表现的主要原因在于：第一，鬼怪精灵往往出现在神秘、恐怖、诡异等超自然的场景中，与现实演艺空间的场景差别较大；第二，鬼怪精灵出现在雷电、烟雾、云朵、水柱等场景，此类实景制作的难度相对较大；第三，鬼怪精灵的造型往往较为奇特，此类造型的实体服饰、化妆及道具的制作难度相对较大。这些问题由AR解决则效率更高。
以莎士比亚的知名戏剧《麦克白》为例，剧中麦克白将军为国王平叛和抵御入侵立功归来，路上遇到三个女巫。女巫对他说，他将进爵为王，但他的子嗣不能继承王位，而同僚班柯将军的后代要做王。对于这一女巫出现的场景，现场演艺中就可能遇到上述几个问题，用AR会处理得更好。
国家大剧院、中央广播电视总台央视网以及中国（北京）星光视听产业基地三大行业领域巨头联合呈现的中国首部XR数字戏剧《麦克白》针对上述问题进行了积极尝试与实验。在该作品的开场，麦克白抱着死去的麦克白夫人缓缓走向巨大的女巫雕像，镜头随炸裂的雕像推向黑色的深渊；女巫们从黑色大地深处蠕动苏醒，电影蒙太奇时空与戏剧舞台视觉不断切换。从某种意义上讲，XR数字戏剧《麦克白》可以算作采用AR方式拍摄的电影，其通过XR技术动态追踪演员与虚拟场景的实时交互过程，实时渲染输出虚拟场景与演员真情表演相融合的画面。
（三）包含时空穿越的故事题材
时空穿越之类的故事情节较为适合AR表现的主要原因在于，时空穿越的情节至少包含了两个不同的时空，它们可以分别利用现实演艺空间及虚拟演艺空间来呈现。在正常的普通时空中，用现实演艺空间呈现表演；在需要穿越到另一个时空时，用虚拟演艺空间加以呈现。
有时，可以通过AR将古代的虚拟演艺影像叠加到现代的场景，进而形成古代与现代的时空穿越。一些文旅景区即采用了类似的方法为游客提供基于AR的沉浸式展演体验。例如，西安的“雁塔流光”沉浸式AR秀，即通过AR技术，实现以真实大雁塔为背景的唐朝盛景和现代长安景象的交相辉映，光影变换，为游客营造了时空穿越的体验。
基于AR的演艺元宇宙的两个空间还可以有不同的时间线，由观众自由选择。加利福尼亚大学洛杉矶分校（University of California，Los Angeles，UCLA）的工程、媒体和表演研究中心（The Center for Research in Engineering，Media and Performance，REMAP）推出的《高堡奇人：挚爱之国》是基于虚幻引擎打造的沉浸式AR实验性戏剧，讲述了一个架空历史的故事。在该沉浸式AR实验性戏剧中，导演通过AR技术将剧情划分为两条时间线：在真人演出部分，观众可看到一个平行世界；在AR构建的世界中，观众通过智能平板设备，可看到由AR呈现的内容，虚拟的场景叠加在真实场景之上。
（四）包含数实结合的故事题材
AR的基本特点就是虚实融合或数实结合，如果故事题材中本来就包含了数实结合的情节，那么此时的演出使用AR就再合适不过。例如，虚拟拍摄经常采用数实结合的AR方式打造演艺元宇宙，利用环屏中的影像展示数字化的虚拟内容，现场则仅需相对简单的实景道具及智能灯阵相配合。LED虚拟化制作有效避免了人员的大规模流动，减少了剧组的跨区域拍摄，在固定的摄影棚内就能完成“无限转场”。一些科幻题材的故事或朋克风格的场面更可能出现需要用数字化手段呈现的虚拟场景或特效。
用数实结合的AR方式打造的演艺元宇宙也可以使用微缩的真实场景，再配合以虚拟的影像来丰富观众的观看体验。由上海戏剧学院张敬平教授领衔设计的XR沉浸式戏剧《黛玉葬花》借助VR、AR技术将虚拟越剧演员与真实的舞美相结合，向观众展现了一种新的数字化戏剧观演方式。通过3D建模、3D打印等形式，作品将“荣国府”“三生石畔”等书中的场景微缩再现，观众可通过佩戴AR头显设备或借助平板设备看到虚拟的越剧演员在对应微缩场景中的表演。
如果演出的舞台设计本来就需要数实结合的场景，那么AR的参与也是较为合理的选择，只是虚拟信息的呈现可以有多种不同的选择，如全息投影、激光投影等裸眼3D方式。例如，2024年4月，大型AR幻影成像+真人演艺剧场《屈原》在长沙上演，以全息投影技术营造的逼真场景和舞台表演，将高科技舞台与真人表演完美结合，通过创新水墨画风格和动态特效，生动再现了屈原的家国情怀，并营造出如梦如幻的离骚幻想“诗界”。
（五）包含探索情节的故事题材
有些故事包含了探索的情节，可以利用AR实现这些探索情节。对于侦探类故事中的探索情节，在演出时可以将其中一些放在现场演艺空间的表演中，而将另一些现场较难表现的探索情节放在AR的虚拟场景中。基于AR的探索情节设计本质上还是交互的一种，但其主要目的是让观众获得更多关于演出故事的线索，以便更好地理解故事。
有些探索情节可能是导演或编剧在表现故事时故意留下的悬念，而AR则可以调动观众参与到包含悬念的线索解密中。例如，在上海戏剧学院2024届数字艺术设计艺术硕士（MFA）毕业生朱贝铭的毕业作品AR戏剧《行星独行》（由陈永东、刘志新老师指导）中，观众需要至少进行两次探索才能更加清楚地了解故事的主要线索，方可理解剧中角色争吵的原因、相关角色之间的关系，以及发生在他们身上的相关故事线索。
从某种意义上讲，此时基于AR的演艺元宇宙体验已经类似于AR游戏，进而出现了游戏戏剧化、戏剧游戏化的趋势。因此，可以借鉴沉浸感、探索性同样突出的“剧本杀”吸引观众探寻线索的方法。有观点认为，戏剧和游戏领域都产生出跨媒介、跨领域的交融模式，“剧本杀”就是这个时代的娱乐产品相融合的典型代表。可以说它是戏剧的游戏化，也可以说它是游戏的戏剧化，在这二者之间，它吸收了彼此的优势。
（六）包含其他必要交互的故事题材
基于AR的演艺元宇宙在应用时可以提供更多不同方式的交互，如观众与数字人演员或NPC（non-player character，非玩家角色）的互动，观众与现场演出场景的互动，观众通过扫描演出海报、场刊获得更多影像信息的AR交互，以及观众以AR方式参与与演出相关的寻宝活动。
2017年10月，在第十九届中国上海国际艺术节的上海嘉定互动戏剧节上，由美国建造者联盟（The Builders Association）制作的AR互动戏剧《仙踪元素》（Elements of Oz）进行了片段演示，该AR互动戏剧取材于《绿野仙踪》（The Wizard of Oz）。观众在观看戏剧之前，需要在手机中下载相应的APP。在剧情推进中，主创人员会提示观众打开应用，举起手机对着舞台四周来回移动，屏幕上则会出现水晶魔法球、龙卷风、飞天猴子等各种特效。这一方式用AR技术创造出一层丰富的图像，使其与舞台动作相融合。
在AR戏剧《行星独行》的推广中，海报、场刊及寻宝活动亦引入了AR交互。观众可以打开手机小程序识别海报，从而看到海报的动态样式，其中有剧中角色林照处于转动的黑洞之中的动态影像，表现其在生活中的挣扎与纠结。同时，观众可以通过小程序识别场刊，看到一个“小黑人”正在仰视上方的星球，观众可以将其与自己喜欢的现实场景进行搭配，拍照留念。此外，观众可以通过小程序识别校园中的特定标识，寻找有关戏剧的AR物品线索，进行打卡记录，并在后续凭借打开内容获得纪念品。多种形式的AR体验让观众有了更多的参与感。
四、基于AR的演艺元宇宙设计策略
在具体设计基于AR的演艺元宇宙作品时，需要在充分体现前面提到的基本原则的同时，深入思考并认真研究相应的设计策略。一场演出的主要元素包括空间、情节、演员、场景、道具及观众等，基于AR的演艺元宇宙设计不仅需要传统导演与数字导演在充分沟通的基础上考虑空间与观众元素，而且还需要在情节、演员、场景及道具等方面尽量突出虚实融合的特点。
（一）传统导演与数字导演的相互协作
基于AR的元宇宙演艺项目与传统演艺项目有较大的不同，需要相关导演对它有充分的理解。AR通过信息、图像、交互的三向增强让用户更直观地享受虚实结合带来的视觉冲击，完成实时交互的同时让观众沉浸其中。元宇宙技术的赋能使戏剧舞台场景虚实相生，强化了剧场演出的“沉浸式”氛围。虚实融合及虚实相生都需要导演具备新的认识与理解。
目前，在数字演艺项目中已经出现了数字导演岗位。由于基于AR的元宇宙演艺项目必然会涉及现场演出，那么就可能同时需要数字导演与传统导演两个岗位，并且需要二者进行充分的沟通。一方面，传统导演需要学习基于AR的元宇宙演艺的特点；另一方面，数字导演亦需要了解传统导演的工作内容。只有双方充分沟通，相互理解，相互协作，才能更好地完成基于AR的元宇宙演艺项目设计。
数字导演及传统导演都需要保持开放协作的心态，都需要花时间倾听对方的想法、意见与建议，并在理解的基础上对演出的各方面达成共识。强调这一点的原因在于，多数情况下，传统导演由于熟悉现场表演各环节而表现得相对强势，数字导演则由于不大擅长需求表达与沟通而显得相对弱势，那么就可能影响演出中具有AR特点内容的充分表现。
（二）现场演艺中合理切入虚拟演艺
如前文设计原则所述，需要在基于AR的演艺元宇宙设计中充分体现虚实融合演艺部分的必要性及合理性。必须深入研究思考如何在现场演艺中合理地切入虚拟演艺内容。在个性化选择及交互化操作的基础上，观众往往通过非线性叙事、多故事线叙事等方式体验AR的元宇宙演艺项目，同时也可能需要现场叙事与虚拟叙事的相互穿插。
相比传统演艺项目，基于AR的元宇宙演艺项目的叙事在时间及空间上都出现了较大变化。AR交互式叙事在时间上由用户进行创建，并参与到叙事的环节中去，作品的价值一定程度上也由用户的选择而产生。AR的形式使得叙事在故事空间上有了更大的可能性，扩展了叙事空间的边界。故事空间也可以和现实空间相结合，使现实空间参与到叙事空间，共同完成叙事。这种共同叙事则需要反复琢磨如何将现场叙事与虚拟叙事进行合理衔接。
在设计基于AR的元宇宙演艺项目时，对于现场叙事切入虚拟叙事的环节，既可以采取现场演出暂停以体验虚拟场景的方式，也可以采取在现场演艺进行的同时体验虚拟场景的方式。对于前者，需要为虚拟场景留下必要的故事线索；对于后者，则需要合理设计虚拟场景交互的时间节点。2023年11月光点新媒体艺术节组委会推出的《声声入境Audio-Visual Live》沉浸式跨媒体演出在现场演出投影过程中不时出现时长十几秒的二维码，观众通过手机或平板扫描后，可以通过AR方式看到所叠加的虚拟演艺影像。
（三）现场情节与虚拟情节的合理互补
在任何一个演出中，情节都是较为重要的部分，基于AR的元宇宙演艺项目亦需要重视情节，并注意将现场表演的情节与虚拟场景中的情节有机地融合，使二者合理地互补。需要仔细斟酌的是，究竟哪些情节更适合放在现场表演中，哪些情节更适合放在虚拟场景中。
实际上，VR与AR中涉及的虚拟空间已经成为新的“特定场域”（site-specific）。有观点认为，数字媒介技术在各类环境空间基础上构建出全新的表演场域。表演者在媒介所呈现的仿真环境中展开交互表演行为，环境信息和媒介信息相互结合，共同构成了引导表演者认知和行动的场域。由环境空间和数字媒介共同创造的表演现场极大地释放了交互表演的表现能力。被媒介重新塑造的表演空间形成了具有独特精神的“特定场域”。这里的“环境空间”既可以是传统的现场表演空间，也可以是特定场域的现场表演空间。只不过，演艺领域现在可以充分利用新的特定场域类型—数字或虚拟的表演空间。
现场情节与虚拟情节的互补需要充分考虑观众通常的观看习惯（涉及行为学），研究观众心理，认真揣摩各种可能性，并为观众提供清晰易懂的提示或引导（如文字、声音、符号、明暗、颜色、数字人手势等）。AR戏剧《行星独行》通过非线性的叙事体验方式，借助AR技术创造虚实融合的戏剧呈现方式，营造沉浸式的体验感。观众可以通过平板设备识别出AR场景，然后点击相关场景中的物件进行交互，通过搜寻演出的相关线索以了解隐藏的剧情，进而达到对现场戏剧情节内容的补充。
（四）真人演员与数字人演员的默契配合
毋庸置疑，数字人演员将不断出现在演艺领域，并且与真人演员产生更多的合作。一方面，随着数字虚拟人技术的成熟，虚拟剧场里的演员也将是数字虚拟演员，体验者与数字虚拟人共同参与整个戏剧的生成[14]；另一方面，数字人演员与真人演员之间将进行更多交互，相互配合完成相对复杂的表演。在以色列企业AR Show制作的AR戏剧《格列佛游记》中，观众可通过使用专门设计的AR眼镜目睹“真实+虚拟”演员在“虚拟+真实”的空间中进行表演，如小人国居民（由真人演员扮演）在虚拟的森林场景中穿梭，虚拟的巨型猫与人形玩偶在现实场景中与真人演员嬉戏等。
在基于AR的演艺元宇宙中，真人演员与数字人演员可以配合进行更复杂的表演。例如，2022年北京卫视春节联欢晚会中，真人演员刘宇与数字人演员“苏小妹”共同演绎了节目《星河入梦》，由于虚实结合舞台的特殊性，导演组对于镜头画面、舞台配合等都要求极高，真人演员刘宇的舞台走位需要每一遍都做到完全一致，彩排、空镜录制及最终录制均花费了数小时。
可以进一步赋予数字人演员性格特征，进而使其与真人演员结合的表演更加自然生动。虚拟角色的灵魂或许主要表现在其内心世界、情感状态及动机等方面。上海戏剧学院数字媒体艺术2024届本科毕业生金江旭的毕业作品新媒体舞蹈《高手》（由张敬平、戴炜老师指导），不仅赋予虚拟角色具体的性格特征，而且通过设置角色间的关系以及情感冲突来丰富角色形象。
（五）现场实景与虚拟场景的交相辉映
在基于AR的演艺元宇宙设计中，现场实景与虚拟场景可以紧密结合，相互补充，进而达到交相辉映的综合场景表现效果。AR能够无缝融合“虚”和“实”两个时空场域，可以更富表现力地展现故事的应景景象，将用户的体验维度从2D平面拓展到3D空间，增强呈现高度仿真的“真实”场景及声像，将观者带入另一番场景。此时，虚拟场景可以弥补现场实景的不足，并与现场实景分别发挥各自的优势。
现场实景与虚拟场景的配合可以使观众有更加强烈的体验，进而让基于AR的演艺元宇宙更加具有临场性与沉浸性。Rokid、哈皮木偶及深湖科技共同为乌镇戏剧节打造的AR木偶戏《即将消失的海洋动物》通过AR技术，将木偶、演员的现实场景与虚拟海洋世界景象融合到了一起，创造了一个梦幻般的“神奇世界”。同时，观众可以通过互动更加深入地参与到戏剧表演中，获得独特的观演体验。
现场实景与虚拟场景的紧密配合可以拓展观众对现实和虚拟世界的感知边界，实现现实与虚拟感知边界与感知体验的交叉融合。例如，上海戏剧学院2024届本科毕业生陈琪的毕业作品AR新媒体演艺《水芫花001号》（由铁钟、韩生老师指导）在图像小说的叙事基础上，利用插画创造了一个虚拟3D场景，观众可以通过移动设备与数字场景展开互动，实现了虚拟场景与现场实景的有机融合。
（六）真实道具与虚拟道具的巧妙切换
在基于AR的演艺元宇宙设计中，真实道具与虚拟道具可以有更多更巧妙的切换。例如，儿童AR戏剧《格列佛游记》呈现了虚拟的背景和道具与真实演员相结合的表演。又如，2019年江苏卫视跨年演唱会上，歌手薛之谦与虚拟歌手洛天依配合表演节目《达拉崩吧》，歌曲中的人物与真人歌手的道具也是由AR视觉效果呈现出来的，即在真实的环境中叠加了虚拟的人物、道具。
在基于AR的传统戏曲元宇宙表演中，可能需要适当保留一些传统的程式化、虚拟化的戏曲道具。AR虚拟视觉内容不能替代真实的戏曲道具，要保持戏曲道具的存在感。在传统戏曲表演中，演员只需要用一根马鞭、一支船桨、一面旗子就可以表现相应的场面，这些虚拟化的道具在AR戏曲表演时需要加以保留，以保持传统戏曲的“原汁原味”。
在基于AR的传统戏曲元宇宙表演中，虚拟道具可能具有“双重虚拟性”。一方面，中国传统戏曲表演中所使用的道具本来就有“虚拟性”特征，具有替代实体道具的简化作用；另一方面，如上所述，为了保持传统戏曲的原有特点，可在AR戏曲设计中以虚拟的形式呈现传统戏曲现场演出中虚拟性的道具。这样，AR戏曲中的部分虚拟道具有了“双重虚拟性”。
五、结语
由于演艺领域的相对特殊性，其现场观看体验仍然具有较大的吸引力。同时，演艺领域的现场体验感还有较大的可改善及提升的空间。AR技术的引入，将为现场演艺带来更加丰富、更加强烈及更加沉浸的体验，这也使得基于AR的演艺元宇宙将迎来更大的发展机遇。
在设计基于AR的演艺元宇宙项目时，需要制定基本的原则，以更好地体现其各方面的优势。例如，需要充分体现虚实融合的主要特点，充分体现虚实融合演艺部分的必要性，充分体现虚实融合演艺部分的合理性，充分理解故事题材及情节，充分考虑观众的观看体验，同时需要充分考虑演出设计制作成本。
在为基于AR的演艺元宇宙作品选择题材时，可以优先选择那些更适合表现虚实融合的内容类型，如包含梦境幻境、鬼怪精灵、时空穿越、数实结合、探索情节或其他必要交互等类型的故事题材。当然，随着基于AR的演艺元宇宙项目实践的不断深入，可以尝试更广泛的题材，但让虚拟表演部分更好地融入现场表演是基本前提。
在具体设计基于AR的演艺元宇宙时，需要思考AR技术支撑下的演艺的空间、场景、情节、角色及道具的不同虚实组合，进而总结相应的设计策略。这些策略主要包括：传统导演与数字导演的相互协作，现场演艺中合理切入虚拟演艺，现场情节与虚拟情节的合理互补，真人演员与数字人演员的默契配合，现场实景与虚拟场景的交相辉映，真实道具与虚拟道具的巧妙切换等。
需要指出的是，在基于AR的演艺元宇宙中，观众本身也参与了整个表演，其体验具有明显的个性化及交互性特点。同时，基于AR的演艺元宇宙除了突出虚实融合的基本特点之外，其探索性及游戏化的特点也较为突出，进而使得基于AR的演艺元宇宙呈现出更强的沉浸性特点。
对于演艺领域的传统戏剧工作者而言，或许短时间内较难接受“戏剧的游戏化”的观点，然而，游戏本来就是包括戏剧在内的艺术的重要起源之一。从这个角度看，基于AR的演艺元宇宙或许可以让包括戏剧在内的艺术体验更加体现出约翰·席勒（Johann Schiller）提到的“人类游戏的本能”。
图片源于AI生成本文原载于《数字文化产业研究》2024年第二辑
