A hangra reagáló műalkotás vizuális viselkedését a hangból kinyert jellemzők alapján változtatja. Ezek a jellemzők leírhatják az általános hangerőt, egy frekvenciatartomány energiáját, egy tranziens kezdetét vagy a hangmagasság durva becslését. Egy leképezés ezután az elemzést olyan tulajdonságokhoz kapcsolja, mint a pozíció, a méret, a sűrűség vagy a fény.
Ez döntések láncolatát hozza létre, nem a zene közvetlen ablakát. Az alkotó dönti el, mely hangok számítanak, milyen gyorsan reagál a rendszer, és hogy a vizuális kapcsolat következetes marad-e. Jó kiindulópont tehát nem az, hogy „Hogyan reagálhat minden?”, hanem az, hogy „Melyik válasz segít a közönségnek észrevenni valamit, amit érdemes követni?”
A vizuális zene rövid előzményei
A mozgóképek és a zenei forma összekapcsolására irányuló törekvés megelőzte a digitális elemzést. Oskar Fischinger absztrakt filmjei a ritmikus vizuális kompozíciót vizsgálták. Mary Ellen Bute önálló, jellegzetes absztrakt mozgóképes munkásságot hozott létre, Norman McLaren pedig az animációval és a hanggal kísérletezett, a hagyományos gyártási módszereket megkérdőjelezve. Munkásságuk emlékeztet arra, hogy az audiovizuális szerkezetet nem kell élőben generálni.
A kortárs gyakorlatok közé tartozik az élő előadás, az installáció és az algoritmikus rajzolás. Ryoji Ikeda munkái gyakran az adatok, az észlelés, a hang és a kép közötti kapcsolatokat jelenítik meg. Carsten Nicolai hasonló területeket vizsgál, más művészi nyelvezettel. Ezeket az alkotókat nem szabad egyetlen technikai receptbe sűríteni: koncepcionális keretrendszerük ugyanannyira számít, mint az eszközeik.
Válasszon jellemzőt, ne divatszót
A négyzetes közepes amplitúdó gyakorlati becslést ad a jelszintről egy időtartamon át. A vizuális vezérlés szempontjából gyakran stabilabb, mint az egyes mintacsúcsok követése. A kiválasztott frekvenciasávok energiája a spektrum széles tartományait különítheti el, de a „basszus” sáv nem izolál egy basszushangszert. Egy basszusdob, egy szintetizátor és a terem morajlása egyaránt hozzájárulhat.
Az onset-detektálás az új eseményekhez kapcsolódó változásokat keresi. Nem ismeri fel automatikusan a zenei ütemeket, a metrumot vagy a szándékot. A hangmagasság-becslés egyes jeleknél jobban működik, mint másoknál, különösen akkor, ha egyetlen tiszta hangot egy sűrű keverékkel hasonlítunk össze. Minden jellemzőt tökéletlen mérésként kezeljen, hasznos működési tartománnyal.
A leképezés adja a rendszer karakterét
Képzeljen el egy jelenetet három paraméterrel: egy kör sugarával, párhuzamos vonalak távolságával és egy kis központi jelölő fényerejével. Az alacsony frekvenciás energiát rendelheti a sugárhoz, a teljes hangerőt a távolsághoz, az észlelt onseteket pedig a jelölőhöz. Ez már elég ahhoz, hogy összefüggő vizuális nyelvezetet hozzon létre, feltéve, hogy a tartományok kontrolláltak maradnak.
A beérkező értékeket egy várt tartományhoz normalizálja, majd a kimeneteket határolja, hogy a szokatlanul hangos részlet ne nyomja el a kompozíciót. A simítás csökkenti a remegést, a külön felfutási és lecsengési sebesség pedig gyors választ hozhat létre, amelyet lassabb megnyugvás követ. A túl erős simítás elidegenítő hatást kelt; a túl gyenge pedig a jelentéses változásokat ideges villogássá alakíthatja.
Tömör leképezési kísérlet
Kezdjen egy alakzattal és egy felvett hanggal. Hagyja, hogy a rövid távú hangerő függőlegesen mozgassa az alakzatot egy rögzített területen. Adjon hozzá egy lassabb visszatérést a nyugalmi állapotba. Nézze meg hang nélkül, majd hallgassa meg anélkül, hogy nézné. Ha a mozgás nem ad hozzá hasznos szerkezetet, módosítsa a leképezést, mielőtt újabb effektet adna hozzá.
Az időzítés tervezési anyag
Az elemzés, a renderelés, a kijelző frissítése és a hangkimenet egyaránt késleltetést okoz. A rendszer akkor is késve érezhető lehet, ha minden egyes összetevő gyorsnak tűnik. Teszelje a teljes láncot a tervezett hardveren. Egy éles hallható tranziens és egy vizuális esemény összehangolása világosabban feltárhatja az időzítési problémákat, mint egy lassú, ambient textúrával végzett teszt.
A rendszernek a csendes részekben is szüksége van arra, hogy legyen hová mennie. A csend csökkentheti az aktivitást, feltárhat egy másik réteget, vagy nyomot hagyhat a korábbiakból. A folyamatos mozgás nem az egyetlen jele annak, hogy a mű működik. Ha a mozdulatlanságnak szerepet adunk, a következő esemény tudatosabbnak hathat.
A akadálymentesség a koncepció része
Kerülje a gyors villogást és a hirtelen, teljes képernyős fényerő-változásokat. Biztosítson egyértelmű szüneteltetési vezérlőt, tartsa tiszteletben a csökkentett mozgásra vonatkozó beállításokat, és tegye lehetővé, hogy a látogatók kilépjenek, vagy csökkentsék az intenzitást anélkül, hogy elvesztenék a lényeges információkhoz való hozzáférést. A WCAG animációkra és villogásra vonatkozó útmutatása jó kiindulópont, de egyetlen küszöbértéknek való megfelelés nem garantálja minden néző kényelmét.
Ne támaszkodjon kizárólag a színre egy változás közlésekor. Az alak, a pozíció, a feliratok és a ritmus felesleges információt is hordozhatnak. Ha egy mű mikrofon-hozzáférést kér, magyarázza el, miért, és hogy elhagyja-e a hang az eszközt. Az engedélykérés legyen célirányos, ne meglepetés. Az oldalon látható bemutató szintetikus mozgást használ, és soha nem kér mikrofont.
A Web Audio API böngészőbe épített eszközöket biztosít a helyi jelelemzéshez, míg a Canvas és az SVG támogathatja a vizuális kimenetet. A technológia csupán az alap. A művészi munka abban rejlik, hogy eldöntsük, mit mérjünk, mit hagyjunk ki, és hogyan maradhat a válasz meglepő anélkül, hogy önkényessé válna.