《戏剧与交互设计》
课程教学成果展示
在 代 码 中 绽 放 美 学
课程介绍
《戏剧与交互设计》是上海戏剧学院艺术科技管理学院数字媒体艺术专业的一门专业技能课。课程聚焦于运用交互技术，设计与实现适用于戏剧及其他艺术形式的交互功能。教学内容覆盖基于键盘、鼠标、视频与音频捕捉的传统交互方式，并延伸至基于手势、面部及身体姿态捕捉等前沿交互技术。
本课程由上海戏剧学院艺术科技与管理学院教授、上海市虚拟环境下的文艺创作重点实验室副主任陈永东老师精心设计与执教。通过系统讲授与学生的积极投入，取得了显著的教学成果。
课程采用由纽约大学（NYU）ITP/IMA项目组、上海纽约大学IMA项目组及全球艺术家、设计师、学生与技术专家共同贡献的开源系统——p5.js与ml5.js。该系统轻便易用，特别适合艺术设计类专业学生，仅需普通笔记本电脑即可实现轻量级交互设计。其中，ml5.js整合了基于人工智能的机器学习模型，支持手势、面部与身体姿态识别等高级交互，使本课程成功入选上海戏剧学院“AI+课程改革案例”。
本次展示精选2024级数字媒体艺术（本科）班10位同学在2025–2026学年第一学期完成的作品，旨在促进校内外学术交流，并以此鼓励学生在交互艺术领域的探索与创作。
01
花语变形记——数字情绪花园
作者：张嘉越
作品介绍：
本作品旨在探索数字时代中人的主体性与情绪表达的可视化表达。通过识别手部产生形态、颜色不同的花朵特效，让双手成为“魔法画笔”，不同的花朵特效对应不同的情感色彩，也就是每个瞬间，你都有选择如何与世界互动的权力——是留下温柔的痕迹，是爆发生命的热情，还是成为闪耀的存在。让用户在虚实结合的空间中体验自我认知和表达的自由和乐趣。
02
指间扇语：动态粒子交互折扇
作者：于思源
作品介绍：
本作品以传统中式折扇为视觉核心，将手部姿态识别与动态粒子效果相融合，用户通过调整手部动作，实时操控虚拟折扇的开合状态，更能让折扇扇动画面中的粒子，这些粒子分为灵动的白色雪花与雅致的中式小花两种形态，且粒子尺寸越大，被折扇吹飞的幅度越明显。整体创意既保留了中式折扇的文化韵味，形成“落英缤纷”之感，又通过动态粒子与交互技术赋予传统元素现代科技感，实现了传统文化符号与数字交互艺术的创新结合。
03
四印万物
作者：徐子媛
作品介绍：
作品将佛教手印从宗教仪轨转化为交互式数字冥想体验，通过手势识别触发对应视觉场域，构建“印相即界面”的隐喻系统。技术层面，依据手部关键点距离与朝向判定不同手印，配合渐变动画营造“化生”视觉流程。这一创作不仅是一次文化符号的现代表达，更是通过交互的仪式感，引导用户进入观想状态，探讨科技如何承载精神性体验，实现身心与数字意象的共鸣。
04
Van Gogh Living Canvas
作者：王梓颖
作品介绍：
作品以手势为媒介，邀请观众“进入”梵高的绘画宇宙，通过粒子系统动态重构星夜、向日葵等经典意象。技术层面，它采用HandPose模型识别四类艺术手势，并通过参数化粒子模拟油画笔触的物理质感。这不仅是名画的交互化解构，更是一场与艺术史的实时对话，让用户在成为“共创作者”的过程中，体验情感化笔触与数字生成之间的美学张力，重新诠释经典艺术的当代生命力。
05
掌中万象·魔法阵图
作者：王娜
作品介绍：
作品将手掌转化为召唤魔法阵的仪式界面，借助姿态识别在掌心生成动态纹章，融合神秘主义美学与计算视觉逻辑。技术上通过关键点检测驱动图形绘制，实现手势即咒语的交互隐喻。它不止于视觉奇观，更意在探讨科技自身的“魔法性”——用理性代码创造感性体验，让用户在现代交互中重拾童年对魔法的向往，体现技术浪漫主义与叙事性交互的艺术融合。
06
雨
作者：李品仪
作品介绍：
作品将文字输入转化为一场可视化的“数据降雨”，通过字符粒子的飘落与点击溅射，隐喻信息时代的情感流动与瞬间绽放。技术上结合键盘输入响应与粒子物理解算，构建了诗意的文字物理系统。它模糊了自然现象与数字表达的界限，让用户在交互中感受文字如雨滴般的质感与消散，是对“信息即自然物”这一观念的轻灵艺术实践，体现数码时代的新文人意趣。
07
一笑生花
作者：黄千叶
作品介绍：
作品通过实时捕捉面部表情与手势，将情绪与姿态转化为花朵与表情包的绽放过程，实现情感的可视化与身体叙事。技术层面依托人脸与手部关键点识别，建立从生物信号到视觉符号的直接映射。这一创作强化了“行为即艺术”的交互理念，用科技捕捉细微人性瞬间，并以自然意象温柔回应，在数字交互中重建身体表达的温度与趣味，展现技术人文主义的艺术可能性。
08
手语切水果
作者：陈佳伦
作品介绍：
作品以体感游戏为载体，通过小拇指手势识别模拟切割动作，在娱乐中融入手势机理的教育展示。技术上结合HandPose模型与碰撞检测算法，并设置可视化开关揭示识别逻辑。它不仅是游戏机制的创新，更是一次对“手势作为交互语言”的普及实践，让用户在得分与规避炸弹的过程中，自然理解身体动作如何被计算系统解读与响应，体现寓教于乐的技术民主化艺术思路。
09
指尖地球：手势交互的虚拟现实体验
作者：朱芳莹
作品介绍：
作品通过双手协同手势控制3D地球的移动与缩放，构建了无须外设的沉浸式虚拟操控体验。技术层面融合ml5.js手部识别与p5.js WEBGL渲染，实现地球自转与光环特效的实时响应。它以地球为意象，探讨手势如何成为连接个体与宏观世界的媒介，在微观动作与宏观视觉的反馈循环中，唤起对星球形态的感知与遐想，是一次轻量级却意境开阔的数字孪生艺术尝试。
10
形态交响：身体感知的像素诗篇
作者：仲如一
作品介绍：
作品将身体各部位映射为色彩与形态变化的像素单元，通过手势与表情驱动整体视觉结构的演变。技术层面整合HandPose与FaceMesh模型，实现从生物姿态到几何图形的参数化转译。它让身体成为动态视觉的创作源点，在握拳、张嘴等简单动作中生成复杂的视觉叙事，探讨人体作为“活态画布”的艺术潜能，体现了计算美学与身体感知交融的生成艺术理念。
《戏剧与交互设计》不仅是一门课程，更是一处让艺术与科技真实相遇的场域。在这里，同学们的作品证明：代码可以承载情感，交互能够传递诗意，而技术的边界，正是想象力的起点。
我们期待这些年轻的创作者持续探索，在未来的舞台上——
用双手编织虚实交织的叙事，
用智能延展艺术表达的维度。
这门课程所带来的，不仅是技能的习得，更是对艺术表达方式的重新理解，是对创造力与算法如何共舞的深切体悟。
感谢所有同学的投入与探索，也致敬每一位在数字艺术道路上的同行者。
未来已来
而你们，正在书写它的篇章。
图文来源｜2024级数字媒体艺术班学生
本期编辑｜王梓颖
指导老师｜陈永东
内容审核｜唐 芳
