Ääntä reagoiva taideteos muuttaa visuaalista käyttäytymistään äänestä poimittujen piirteiden perusteella. Nämä piirteet voivat kuvata kokonaistasoa, energiaa tietyllä taajuusalueella, äänen alkua (transienttia) tai karkeaa arviota sävelkorkeudesta. Kartoitus yhdistää analyysin ominaisuuksiin, kuten sijaintiin, kokoon, tiheyteen tai valoon.
Tämä luo valintojen ketjun, ei suoraa ikkunaa musiikkiin. Taiteilija päättää, mitkä äänet lasketaan, kuinka nopeasti järjestelmä reagoi ja pysyykö visuaalinen suhde johdonmukaisena. Hyvä lähtökysymys ei siis ole ”Miten kaikki voi reagoida?” vaan ”Mikä reaktio auttaa yleisöä huomaamaan jotain, mitä kannattaa seurata?”
Lyhyt katsaus visuaalisen musiikin juuriin
Pyrkimys yhdistää liikkuva kuva musiikilliseen muotoon on vanhempi kuin digitaalinen analyysi. Oskar Fischingerin abstraktit elokuvat tutkivat rytmistä visuaalista sommittelua. Mary Ellen Bute kehitti omaleimaisen abstraktin liikkuvan kuvan teoskokonaisuuden, kun taas Norman McLaren kokeili animaatiota ja ääntä tavoilla, jotka haastoivat tavanomaiset tuotantotavat. Heidän työnsä muistuttaa, ettei audiovisuaalista rakennetta tarvitse luoda reaaliajassa.
Nykyisiin käytäntöihin kuuluvat live-esitykset, installaatiot ja algoritminen piirtäminen. Ryoji Ikedan työssä rakennetaan usein suhteita datan, havainnon, äänen ja kuvan välille. Carsten Nicolai tutkii vastaavia alueita toisenlaisella taiteellisella sanastolla. Näitä taiteilijoita ei pidä tiivistää yhdeksi tekniseksi reseptiksi: heidän käsitteelliset kehyksensä ovat yhtä tärkeitä kuin heidän laitteistonsa.
Valitse ominaisuus, älä muotisanaa
Keskineliöarvo (RMS) antaa käytännöllisen arvion signaalin tasosta tietyllä aikavälillä. Visuaalisessa ohjauksessa se on usein vakaampi kuin yksittäisten näytehuippujen seuraaminen. Valituilla taajuuskaistoilla voi erottaa spektrin laajoja alueita, mutta ”basso”-kaista ei eristä bassosoitinta. Bassorumpu, syntetisaattori ja huoneen jyrinä voivat kaikki vaikuttaa siihen.
Alkuhetken tunnistus etsii muutoksia, jotka liittyvät uusiin tapahtumiin. Se ei automaattisesti ymmärrä musiikillisia iskuja, mittaa tai tarkoitusta. Sävelkorkeuden arviointi toimii joillakin signaaleilla paremmin kuin toisilla, erityisesti kun verrataan yksittäistä selvää sävelttä tiheään sekoitukseen. Käsittele jokaista piirrettä epätarkkana mittauksena, jolla on hyödyllinen toiminta-alue.
Kartoitus antaa järjestelmälle sen luonteen
Kuvittele kohtaus kolmella parametrilla: ympyrän säde, yhdensuuntaisten viivojen väli ja pienen keskimerkin kirkkaus. Voisit kartoittaa matalien taajuuksien energian säteeseen, kokonaistason väliin ja havaitut alkuhetket merkkiin. Tämä riittää jo tuottamaan johdonmukaisen sanaston, kunhan arvoalueet pysyvät hallittuina.
Normalisoi saapuvat arvot odotettuun alueeseen ja rajaa lähtöarvot, jotta poikkeuksellisen kova kohta ei peitä sommitelmaa. Tasoitus vähentää värinää, ja erilliset nousu- ja laskunopeudet voivat luoda nopean reaktion, jota seuraa hitaampi rauhoittuminen. Liian suuri tasoitus saa teoksen tuntumaan irralliselta, liian pieni taas voi muuttaa merkityksellisen vaihtelun hermostuneeksi välkkeeksi.
Kompakti kartoitustutkimus
Aloita yhdellä muodolla ja yhdellä äänitteellä. Anna lyhyen aikavälin tason siirtää muotoa pystysuunnassa kiinteällä alueella. Lisää hitaampi paluu lepotilaan. Katso ilman ääntä, kuuntele sitten ilman katselua. Jos liike ei lisää hyödyllistä rakennetta, muuta kartoitusta ennen kuin lisäät toisen efektin.
Ajoitus on suunnittelumateriaali
Analyysi, renderöinti, näytön virkistys ja äänilähtö aiheuttavat kukin viivettä. Järjestelmä voi tuntua myöhäiseltä, vaikka jokainen osa vaikuttaa nopealta. Testaa koko ketju käytettävällä laitteistolla. Visuaalisen tapahtuman yhdistäminen terävään kuultavaan iskuun voi paljastaa ajoitusongelmat selvemmin kuin testaaminen hitaalla ambient-tekstuurilla.
Järjestelmällä on oltava myös paikka, johon se voi siirtyä hiljaisten jaksojen aikana. Hiljaisuus voi vähentää aktiivisuutta, paljastaa toisen kerroksen tai jättää jäljen siitä, mitä tuli ennen. Jatkuva liike ei ole ainoa merkki siitä, että teos toimii. Kun liikkeettömyydelle annetaan tehtävä, seuraava tapahtuma voi tuntua harkitummalta.
Saavutettavuus kuuluu konseptiin
Vältä nopeaa välkkymistä ja äkillisiä koko näytön kirkkausmuutoksia. Tarjoa selkeä tauko-painike, kunnioita vähennetyn liikkeen asetuksia ja anna kävijöiden poistua tai vähentää voimakkuutta menettämättä pääsyä olennaiseen tietoon. WCAG:n ohjeistus animaatiosta ja välkkymisestä on hyvä lähtökohta, mutta yhden kynnysarvon noudattaminen ei takaa mukavuutta jokaiselle katsojalle.
Älä nojaa pelkästään väriin muutoksen välittämisessä. Muoto, sijainti, tekstit ja rytmi voivat kantaa päällekkäistä tietoa. Jos teos pyytää mikrofonin käyttöoikeutta, kerro miksi ja siitä, poistuuko ääni laitteelta. Luvan pitää olla tarkoituksenmukainen, ei yllätys. Tämän sivuston esittely käyttää synteettistä liikettä eikä koskaan pyydä mikrofonia.
Web Audio API tarjoaa selaimen omia työkaluja paikalliseen signaalianalyysiin, ja Canvas sekä SVG voivat tukea visuaalista tuotosta. Tekniikka on vain perusta. Taiteellista työtä on päättää, mitä mitataan, mitä jätetään pois ja miten reaktio voi säilyttää yllätyksellisyytensä muuttumatta mielivaltaiseksi.