Ένα έργο τέχνης που αντιδρά στον ήχο αλλάζει την οπτική του συμπεριφορά ως απάντηση σε χαρακτηριστικά που εξάγονται από τον ήχο. Τα χαρακτηριστικά αυτά μπορεί να περιγράφουν τη συνολική ένταση, την ενέργεια σε ένα εύρος συχνοτήτων, την έναρξη ενός παροδικού ήχου ή μια εκτίμηση του ύψους τόνου. Στη συνέχεια, μια αντιστοίχιση συνδέει την ανάλυση με ιδιότητες όπως η θέση, το μέγεθος, η πυκνότητα ή το φως.
Αυτό δημιουργεί μια αλυσίδα επιλογών, όχι ένα άμεσο παράθυρο στη μουσική. Ο καλλιτέχνης αποφασίζει ποιοι ήχοι μετρούν, πόσο γρήγορα ανταποκρίνεται το σύστημα και αν η οπτική σχέση παραμένει συνεπής. Μια καλή αρχική ερώτηση δεν είναι επομένως «Πώς μπορούν όλα να αντιδρούν;» αλλά «Ποια απάντηση θα βοηθήσει το κοινό να προσέξει κάτι που αξίζει να παρακολουθήσει;»
Μια σύντομη ιστορική αναδρομή της οπτικής μουσικής
Η φιλοδοξία να συνδεθούν οι κινούμενες εικόνες με τη μουσική μορφή προηγείται της ψηφιακής ανάλυσης. Οι αφηρημένες ταινίες του Oskar Fischinger εξερεύνησαν τη ρυθμική οπτική σύνθεση. Η Mary Ellen Bute ανέπτυξε ένα ξεχωριστό σύνολο έργων αφηρημένων κινούμενων εικόνων, ενώ ο Norman McLaren πειραματίστηκε με το animation και τον ήχο με τρόπους που αμφισβήτησαν τις συμβατικές μεθόδους παραγωγής. Το έργο τους μας υπενθυμίζει ότι η οπτικοακουστική δομή δεν χρειάζεται να δημιουργείται ζωντανά.
Οι σύγχρονες πρακτικές περιλαμβάνουν ζωντανές παραστάσεις, εγκαταστάσεις και αλγοριθμικό σχέδιο. Το έργο του Ryoji Ikeda συχνά παρουσιάζει σχέσεις ανάμεσα σε δεδομένα, αντίληψη, ήχο και εικόνα. Ο Carsten Nicolai εξερευνά συγκρίσιμα πεδία μέσα από ένα διαφορετικό καλλιτεχνικό λεξιλόγιο. Δεν πρέπει να συμπτύσουμε αυτούς τους καλλιτέχνες σε μία τεχνική συνταγή: τα εννοιολογικά τους πλαίσια έχουν εξίσου μεγάλη σημασία με τον εξοπλισμό τους.
Επιλέξτε ένα χαρακτηριστικό, όχι έναν εντυπωσιακό όρο
Το root-mean-square πλάτος (RMS) δίνει μια πρακτική εκτίμηση του επιπέδου σήματος σε ένα διάστημα. Είναι συχνά πιο σταθερό για οπτικό έλεγχο από το να ακολουθεί κανείς μεμονωμένες κορυφές δειγμάτων. Η ενέργεια σε επιλεγμένες ζώνες συχνοτήτων μπορεί να διακρίνει ευρείες περιοχές του φάσματος, αλλά μια ζώνη «μπάσο» δεν απομονώνει ένα όργανο μπάσου. Ένα τύμπανο κικ, ένας συνθεσάιζερ και ο βόμβος ενός χώρου μπορεί όλα να συμβάλλουν.
Η ανίχνευση έναρξης (onset detection) αναζητά αλλαγές που συνδέονται με νέα γεγονότα. Δεν κατανοεί αυτόματα τους μουσικούς παλμούς, το μέτρο ή την πρόθεση. Η εκτίμηση τόνου λειτουργεί καλύτερα για ορισμένα σήματα από άλλα, ειδικά όταν συγκρίνει έναν μόνο καθαρό τόνο με ένα πυκνό μείγμα. Αντιμετωπίστε κάθε χαρακτηριστικό ως μια ατελή μέτρηση με χρήσιμο εύρος λειτουργίας.
Η αντιστοίχιση δίνει στο σύστημα τον χαρακτήρα του
Φανταστείτε μια σκηνή με τρεις παραμέτρους: την ακτίνα ενός κύκλου, την απόσταση παράλληλων γραμμών και τη φωτεινότητα ενός μικρού κεντρικού σημείου. Μπορείτε να αντιστοιχίσετε την ενέργεια χαμηλών συχνοτήτων στην ακτίνα, τη συνολική ένταση στην απόσταση και τις ανιχνευμένες εκκινήσεις στο σημείο. Αυτό αρκεί ήδη για να δημιουργηθεί ένα συνεκτικό λεξιλόγιο, με την προϋπόθεση ότι τα εύρη παραμένουν ελεγχόμενα.
Κανονικοποιήστε τις εισερχόμενες τιμές σε ένα αναμενόμενο εύρος και στη συνέχεια περιορίστε τις εξόδους, ώστε ένα ασυνήθιστα δυνατό τμήμα να μην κυριαρχεί στη σύνθεση. Η εξομάλυνση μειώνει το τρεμούλιασμα, ενώ ξεχωριστοί ρυθμοί έναρξης και εξασθένησης μπορούν να δημιουργήσουν μια γρήγορη απόκριση που ακολουθείται από πιο αργή ηρέμηση. Η υπερβολική εξομάλυνση κάνει το έργο να φαίνεται αποκομμένο· η ανεπαρκής μπορεί να μετατρέψει ουσιαστικές διακυμάνσεις σε νευρικό τρεμόπαιγμα.
Μια συμπαγής μελέτη αντιστοίχισης
Ξεκινήστε με ένα σχήμα και έναν ηχογραφημένο ήχο. Αφήστε το βραχυπρόθεσμο επίπεδο να μετακινεί το σχήμα κάθετα μέσα σε μια σταθερή περιοχή. Προσθέστε μια πιο αργή επιστροφή στην ηρεμία. Παρακολουθήστε το χωρίς ήχο και μετά ακούστε το χωρίς να κοιτάτε. Αν η κίνηση δεν προσθέτει χρήσιμη δομή, αλλάξτε την αντιστοίχιση πριν προσθέσετε άλλο εφέ.
Ο χρόνος είναι υλικό σχεδιασμού
Η ανάλυση, η απόδοση, η ανανέωση της οθόνης και η ηχητική έξοδος προσθέτουν καθυστέρηση. Ένα σύστημα μπορεί να φαίνεται καθυστερημένο, ακόμη και αν κάθε επιμέρους στοιχείο φαίνεται γρήγορο. Δοκιμάστε ολόκληρη την αλυσίδα στο προβλεπόμενο υλικό. Η αντιστοίχιση ενός οπτικού γεγονότος με έναν έντονο ακουστό παροδικό ήχο μπορεί να αποκαλύψει προβλήματα χρονισμού πιο καθαρά από μια δοκιμή με αργή περιβαλλοντική υφή.
Ένα σύστημα χρειάζεται επίσης έναν χώρο για τα ήσυχα τμήματα. Η σιωπή μπορεί να μειώσει τη δραστηριότητα, να αποκαλύψει ένα άλλο στρώμα ή να αφήσει ένα ίχνος από όσα προηγήθηκαν. Η συνεχής κίνηση δεν είναι το μόνο σημάδι ότι το έργο λειτουργεί. Ο ρόλος που δίνεται στη στασιμότητα μπορεί να κάνει το επόμενο γεγονός να φαίνεται πιο σκόπιμο.
Η προσβασιμότητα ανήκει στην ιδέα
Αποφύγετε τις γρήγορες αναβοσβήσεις και τις απότομες αλλαγές φωτεινότητας σε όλη την οθόνη. Παρέχετε ένα σαφές χειριστήριο παύσης, σεβαστείτε τις προτιμήσεις μειωμένης κίνησης και επιτρέψτε στους επισκέπτες να φύγουν ή να μειώσουν την ένταση χωρίς να χάσουν την πρόσβαση σε βασικές πληροφορίες. Οι οδηγίες του WCAG για τα κινούμενα σχέδια και το τρεμόπαιγμα αποτελούν σημείο εκκίνησης, όμως η συμμόρφωση με ένα μόνο όριο δεν εγγυάται άνεση για κάθε θεατή.
Μην βασίζεστε αποκλειστικά στο χρώμα για να μεταδώσετε μια αλλαγή. Το σχήμα, η θέση, οι ετικέτες και ο ρυθμός μπορούν να μεταφέρουν πλεονάζουσες πληροφορίες. Αν ένα έργο ζητά πρόσβαση στο μικρόφωνο, εξηγήστε γιατί και αν ο ήχος φεύγει από τη συσκευή. Η άδεια πρέπει να έχει σκοπό, όχι να είναι έκπληξη. Η επίδειξη σε αυτόν τον ιστότοπο χρησιμοποιεί συνθετική κίνηση και δεν ζητά ποτέ μικρόφωνο.
Το Web Audio API παρέχει εργαλεία εγγενή στον περιηγητή για τοπική ανάλυση σήματος, ενώ το Canvas και το SVG μπορούν να υποστηρίξουν την οπτική έξοδο. Η τεχνολογία είναι μόνο το θεμέλιο. Το καλλιτεχνικό έργο είναι η απόφαση για το τι θα μετρηθεί, τι θα παραλειφθεί και πώς μια απόκριση μπορεί να παραμένει εκπληκτική χωρίς να γίνεται αυθαίρετη.