Zøe

声音
在场

视听表演
交互乐器与实时系统

Course / Sound in Presence / 2026

SoundSignalSystemPerformance
Questions

从声音出发，研究它如何进入一个系统

01声音如何被分析、转换和重新组织？
02音乐参数如何映射到视觉与空间？
03身体、乐器和环境如何成为系统输入？
04实时系统如何形成可演奏、可感知的关系？
Framework

Sound → Signal → System → Performance

01 / MaterialSound

声音材料、事件、节奏与演奏行为。

02 / RelationSignal

分析、调制、数据与参数映射。

03 / StructureSystem

规则、反馈、状态与实时运行结构。

04 / OutputPerformance

现场、空间、界面与观众经验。

A / Audiovisual Performance

视听表演系统

Sound
声音材料

节奏、频谱、事件、结构与动态。

Mapping
参数关系

声音特征如何控制视觉与空间参数。

Visual
实时图形

生成视觉、三维场景、粒子与图形系统。

Space
空间组织

屏幕、投影、虚拟空间与舞台结构。

Time
时间结构

段落、变化、重复、触发与现场节奏。

Performance
实时运行

作品作为可以被控制、演奏和改变的系统。

Ryoichi Kurokawa — syn_ Ryoichi Kurokawa — syn_
Case / 视听作曲Source ↗
Input

声音 / 时间结构

Relation

音画同源，从同一时间结构同步生成

Output

audiovisual composition / performance

这里不是"音乐控制画面"，音与画如何共同构成一个时间系统？

B / Interactive Instruments

交互乐器与创作系统

Input

Body / Instrument / Environment

身体动作、传统乐器、传感器、摄像机和环境数据都可以成为输入。

Data
↓
Mapping
Output

Sound / Visual / Space

输入通过规则和映射作用于声音、视觉、空间与反馈，形成可演奏的系统。

MIDI→OSC→Sensor→Physical Computing→Digital Musical Instruments
Suguru Goto — BodySuit / SuperPolm 1990s · Suguru Goto — BodySuit Mi.Mu Gloves / Imogen Heap Today · Mi.Mu Gloves
Case / Digital Musical InstrumentsNIME 2004 ↗
Input

body gesture / sensor

Relation

gesture data → mapping

Output

sound / musical control

重点不是传感器型号——身体什么时候开始成为乐器的一部分？

Open Creative Stack

工具作为实现层，而不是课程结构

Pattern
Strudel

pattern / algorithm / live coding

Signal
VCV Rack

signal flow / modulation / synthesis

Code
Sonic Pi

algorithm / MIDI / OSC

Visual
Blender

geometry / animation / Python

Realtime
TouchDesigner

realtime graphics / mapping

Web
Three.js

browser / interactive graphics

优先选择具有开放接口、可编程能力和较强可迁移性的工具；开源、商业或自研工具均视为工程选择。

DJ_Dave — Strudel live coding DJ_Dave — Strudel live coding
Case / Code as performance interfaceSource ↗
Input

human edits code / pattern

Relation

live coding modifies musical structure

Output

real-time electronic music performance

live coding ≠ agent coding：这里是人直接演奏代码。

One Concept, Multiple Representations

同一个概念，可以出现在不同界面中

VCV Rack
LFO

模块通过 cable 对参数进行周期调制。

Strudel
Pattern

时间序列与 pattern transformation。

Sonic Pi
Parameter

代码中的时间变化与控制逻辑。

Max/MSP
Object / Signal

message 与 signal 构成的处理网络。

TouchDesigner
CHOP

数据通道映射到图形与系统参数。

底层关系仍然是：source → transformation → mapping → result

Agent-assisted Practice

Agent 用于实现与迭代，不替代系统设计

Idea→Specification→Agent→Prototype→Test / Debug→Artistic Decision→System
Scripting
Blender Python

批量生成、动画控制、参数化几何。

Prototype
Creative Coding

快速建立网页、控制器与算法原型。

Integration
OSC / MIDI

跨软件连接、数据格式与控制逻辑。

Hardware
Firmware

传感器读取、串口、网络与设备逻辑。

Debug
Diagnosis

定位错误、验证假设、缩短试错周期。

Doc
Documentation

记录系统结构、接口、参数和部署方式。

Interfaces

系统之间如何交换状态与控制信息

MIDI

musical control

OSC

realtime network communication

API

software integration

MCP

agent–tool interface

Serial / Network

hardware communication

Hardware→Data→Sound System↔Visual System↔Agent / Tools
I / Sound → Response

声音与信号

sound as signal
synthesis / sampling
pattern / modulation
audio analysis
parameter mapping
basic realtime response
Output
Audio-Reactive Study

以声音参数驱动视觉或其他媒介变化的短实验。重点验证信号分析、映射与反馈关系。

II / Sound → Space

视听与空间

realtime graphics
audiovisual mapping
Blender spatial assets
generative geometry
camera / projection
performance structure
Output
Audiovisual Performance

具有明确时间结构和音画关系的实时视听系统；主要工具由 TouchDesigner 与 Blender 构成。

Evala — See by Your Ears Evala — See by Your Ears
Case / 空间声音Source ↗
Input

sound material

Relation

spatial composition / distribution

Output

space perceived through sound

从"声音驱动画面"转向：声音本身如何直接组织空间？

III / Body → Instrument → System

身体、接口与实时系统

physical input / sensors
MIDI / OSC
hardware / embedded control
custom interfaces
system integration
live performance
Output
Interactive Instrument / Performance System

由身体、乐器或环境实时控制的演奏系统、交互乐器或轻量装置原型。

Ref / Suguru Goto — BodySuit / SuperPolmNIME 2004 ↗
Body→Sensor→Data→Mapping→Output

Instrument 不一定是一件物体；它也可以是一套身体—数据—媒体之间的关系。

Mapping is Composition

映射不是连接参数，而是定义关系

Amplitude→Scale
Pitch→Color
Breath→Density
Gesture→Distortion
Position→Spatialisation
Event→State Change
为什么建立这个关系？ 直接还是间接？ 是否需要延迟与记忆？ 系统能否产生意外？ 演奏者能否学习它？
Yuri Suzuki — Looks Like Music Yuri Suzuki — Looks Like Music
Case / Color → Sensor → Data → SoundSource ↗
Input

color / line（观众绘制的图形）

Relation

rule-based mapping

Output

sound

核心问题不是"能不能连上"，而是为什么要建立这个关系？对照 Ryoji Ikeda — test pattern ↗：同样是 mapping，复杂度和感知结果完全不同。

From Tool to System

一个实时作品通常由五个层级构成

InputSense

voice / instrument / body / environment

AnalysisRead

feature / event / gesture / state

MappingRelate

relationship / rule / memory

GenerationGenerate

sound / image / behaviour

OutputPerform

performance / space / interface

SENSE → GENERATE → SYSTEM → PERFORM 可作为项目组织与复盘的工作框架。

Shi Zheng — generative A/V live set Shi Zheng 施政 — generative A/V live
Case / 真实系统拆解Source ↗
Input

实时控制 / 生成参数

Relation

procedural generation + mapping + timing

Output

sound + image + live performance

不是"用了哪些软件"，而是多个模块如何共同维持一件作品的实时行为。规模升级对照 Rhizomatiks × ELEVENPLAY ↗

Choosing Tools

工具选择由作品与系统条件决定

Concept
表达需求

作品需要产生什么经验与行为？

Latency
实时性

系统允许多大的响应延迟？

Control
控制粒度

需要多精细的参数访问与反馈？

Interoperability
互操作性

是否需要连接其他软件、硬件与网络？

Portability
部署方式

Web、standalone、installation 或 stage？

Maintainability
可维护性

系统能否被理解、复现、更新和移交？

Related Practice Fields

相关实践领域

Audiovisual Performance
Live Electronics
Digital Musical Instruments
New Interfaces for Musical Expression
Sonic Interaction Design
Creative Coding
Computational Arts
Immersive Media
Physical Computing
Creative Technology
Reference Contexts

这套实践所处的国际与亚洲学术语境

International
Aalto University
Sound in New Mediasound × media × interaction
Kunstuniversität Linz
Interface Culturesinteraction × interface × media art
Goldsmiths
Computational Artsart × computation × systems
The Hague
ArtScience / Sonologyartistic research × sound × technology
Asia-Pacific
中国美术学院 · 跨媒体艺术学院
声音艺术实验室 / 开放媒体sound × media × transmedia
东京艺术大学 · 先端艺术表现
Tokyo Geidai / Goto Labinstrument × technology
IAMAS · 岐阜
情报科学艺术大学院art × computation
KAIST GSCT · 大田
Music and Audio Computingmusic × audio computing

事件语境 — NIME 2004 浜松 / 2013 大田·首尔 / 2021 上海 　·　 ICLC 2024 上海（International Conference on Live Coding）

Zøe

Sound in Presence

Sound → Signal → System → Performance

声音作为材料。
映射作为关系。
系统作为媒介。
表演作为输出。
01 / 18
← → / SPACE · F FULLSCREEN · HOME / END