1

Marek Chołoniewski Systemy interaktywne

I. Interakcja, historia

Interakcja towarzyszy człowiekowi od czasów najdawniejszych. Występowała jako naturalna reakcja na bodźce płynące ze strony naturalnych sił przyrody. Konstrukcja narzędzi, od najbardziej podstawowych do coraz bardziej złożonych, w tym budowa prostych instrumentów muzycznych wyznaczała pierwsze formy technologii stosowanej do celów użytkowych i rytualnych. Synchronizacja czynności manualnych i ruchowych z odbiorem bodźców słuchowych i wzrokowych tworzyła wczesne formuły interaktywności na różnych poziomach stosowania. Integracja tańca, śpiewu i gry na instrumentach muzycznych wyznaczały od początku istnienia cywilizacji ludzkiej formy sztuki synkretycznej, w której wzajemne pobudzanie, stymulowanie, dialogowanie, nakładanie, przetwarzanie były jednymi z wielu składników interakcji jako języka i form komunikacji. Gra na instrumencie opiera się na szczególnej formie interakcji wykonawczo-słuchowej, gdzie muzyk jest zarówno wykonawcą, jak i odbiorcą wykonywanej muzyki, za każdym razem staje się częścią zintegrowanego procesu kreatywno-percepcyjnego. Pobudzanie instrumentu do gry i równoczesny odbiór dźwięków stanowi podstawowy model interakcji pomiędzy wykonawcą, a drgającym instrumentem. Podobne zależności występują w innych formach aktywności człowieka, gdzie wykonywane czynności potwierdzane są na poziomie podstawowych zjawisk fizycznych przez reakcję przedmiotów, rezonans pomieszczeń, a w przypadku współdziałania większej ilości osób, grupowego oddziaływania na globalną kreatywność i percepcję. Interakcja w muzyce i sztuce audiowizualnej z zastosowaniem technologii komputerowej jest ważną częścią badań i projektowania systemów komputerowych od końca lat 60-tych (Max Mathews Groove). Dotyczyła głównie synchronizacji czasowej wybranych elementów przygotowanej wcześniej partytury komputerowej podczas jej koncertowego wykonania. Max Mathews tworząc podstawowe modele interaktywności pod koniec lat 60-tych rozdzielczość

2

gestu ludzkiego mierzył z dokładnością 256 zmian na sekundę. Ta miara w ostatnich czasach uległa znacznemu podwyższeniu w zależności od stosowanych technologii, jak i modeli interaktywności. Ten ostatni element bynajmniej nie podąża ściśle za rozwojem technologii, raczej poszerza obszar zastosowań interakcji od solowych wykonań koncertowych, po rozłożone w czasie i przestrzeni projekty interaktywnej sztuki sieciowej. Modele interaktywności dotyczą zarówno zależności pomiędzy gestem pojedynczego wykonawcy jak i grupowego współdziałania z instalacją interaktywną, czy wręcz złożonego w czasie i przestrzeni kompleksowego współdziałania wykonawców i odbiorców będących częścią złożonych struktur interaktywnych. Klasyfikacja sztuki interaktywnej dotyczy modeli i strategii interaktywności, technologii urządzeń i oprogramowania. Współczesnym synonimem interaktywności jest zdalny, bezdotykowy kontakt ze źródłem dźwięku, obrazu, instalacją dźwiękową lub audiowizualną, stosującą bardzo różne technologie, zarówno cyfrowe, jak i mechaniczne, elektryczne, elektromechaniczne, elektromagnetyczne, elektrostatyczne, elektroniczne i wiele innych pośrednich, mieszanych i interdyscyplinarnych technologii. Wiele współczesnych rozwiązań technologicznych pozostaje z jednej strony w analogii do konstrukcji tradycyjnych instrumentów, z drugiej zaś wprowadza nieznane dotychczas formy kontroli nad dźwiękiem i obrazem wyznaczając nowe formy interaktywności. Przykładem mogą być ekrany dotykowe z graficznymi symulacjami tradycyjnych instrumentów, w tym klasycznych instrumentów klawiszowych, strunowych, dętych i perkusyjnych, zespołów instrumentalnych, a nawet otwartych przestrzeni z naturalnymi dźwiękami otoczenia. Dynamiczny rozwój współczesnych systemów dotykowych dostępnych w tabletach, telefonach komórkowych i różnych formach przenośnych urządzeń integrujących dźwięk i obraz otworzył nieznane dotychczas możliwości interakcji na poziomie bardzo różnych zastosowań artystycznych. Innym przykładem coraz powszechniejszego dostępu do technologii interaktywnych jest dynamiczny rozwój konsoli gier komputerowych, oraz różnorodnych kontrolerów

projektowanych głównie w celach rekreacyjnych. Poprzez masową produkcję urządzeń wyposażonych w sensory ruchu, kamery podczerwieni ogólnie dostępne stają się kontrolery typu Nintendo Wii Remote, Nunchuck, maty taneczne, czy też wprowadzony na rynek w II połowie 2010 roku kontroler Kinect. Poza głównymi funkcjami obsługi gier komputerowych

mogą one być używane do bardzo nietypowych zastosowań interaktywnych. Instalowane coraz częściej we współczesnych urządzeniach przenośnych powszechnego użytku (smartfony, fotograficzne aparaty cyfrowe, odtwarzacze mp3/mp4) akcelerometry/żyroskopy i ekrany dotykowe wprowadzają nowy standartstandard intuicyjnej obsługi urządzeń poprzez naturalne tłumaczenie gestu na wybrane zjawiska audiowizualne. Forma kontaktu z systemem interaktywnym, detekcja ruchu i sposób wyzwalania reakcji instrumentu, instalacji dźwiękowej wymaga szerszego omówienia.

3

II. Gest Rozdział ten dotyczy różnych form tłumaczenia gestu na zdarzenia dźwiękowe. Gest wykonawcy może przyjmować rozmaite formy i odnosić się do różnych tradycji wykonawczych i kulturowych.

1. Gest muzyczny

Projektowanie współczesnych systemów interaktywnych musi brać pod uwagę formy gestu ludzkiego, jego możliwości, jak i naturalne ograniczenia. Gest muzyczny odnosi się do zmiany pozycji rąk, w tym szczególnie ruchu palców. Jest bezpośrednio związany z budową tradycyjnych i współczesnych instrumentów muzycznych. Należy rozróżnić różne typy gestu muzycznego powiązanego z techniką gry na poszczególnych typach instrumentów. a. gest klawiaturowy

Forma gestu powiązania z grą na klawiaturze, posiada swoje odniesienie do tradycji gry na instrumentach klawiszowych (organy, klawesyn, fortepian, klawiatura MIDI,etc.). Gest klawiaturowy wydaje się być najbardziej złożonym gestem dającym możliwość sterowania 10 zdarzeniami równocześnie. Ważnym poszerzeniem tradycyjnych technik gry na klawiaturze w XX wieku są techniki klasterowe, równoczesna gra na klawiaturze i na strunach, stukanie w korpus instrumentu. Rozmiar dłoni wykonawcy, odległości pomiędzy palcami stanowią naturalne ograniczenie przekładające się na złożoność faktury wykonywanych tradycyjną techniką partytur muzycznych. Zastąpienie tradycyjnej klawiatury nowymi klawiaturami dotykowymi, taśmami umożliwiającymi płynną zmianę wysokości (m.in. Fale Martenota), czy też w latach 60-tych klawiatura Synthi AKS stanowiła parędziesiąt lat temu alternatywę wymagającą poszerzenia tradycyjnych technik wykonawczych na klawiaturze, a w przypadku typowej klawiatury MIDI wyposażonej w zestaw obrotowych i suwakowych kontrolerów. b. gest dyrygencki

Prototypem bezdotykowego instrumentu interaktywnego był Theremin (Thereminvox) skonstruowany w 1920 roku przez Lwa Termena (Leona Theremina). Dwie anteny tłumaczące ruch rąk wykonawcy na płynne zmiany wysokości i głośności monofonicznej partii elektronicznej (ton sinusoidalny) są modelem, na podstawie którego tworzono wiele innych bezdotykowych instrumentów, przede wszystkim ostatnio w erze dynamicznego rozwoju technologii cyfrowej.

4

Theremin jest równocześnie prototypem sterownika tłumaczącego ruchy rąk, które w swojej formie najbardziej zbliżone są do dyrygenckich. Skonstruowany przez Maxa Mathewsa system Groove posiadał szereg kontrolerów i był sterowany programem Conductor, będącym prototypem programu dyrygenckiego, w którym wirtualna orkiestra dyrygowana była za pomocą Batuty Radiowej (Radio Baton). System był wielokrotnie modyfikowany zachowując podstawowy układ dwóch anten, przecinających 3-wymiarową przestrzeń nad poziomą powierzchnią 3-wymiarowej anteny odbiorczej. Wygląd Radio Baton, jak i sposób gry na instrumencie bardziej przypominał grę na kotłach. Niemniej jednak zasada dyrygowania wcześniej przygotowanymi strukturami dźwiękowymi (w większości przypadków Max Mathews posługiwał się fragmentami znanych utworów z repertuaru klasycznego) stanowiła niezwykle przekonujący przykład modelu dyrygenckiego. Analogia między Thereminem i Batutą Radiową dotyczy głównie konstrukcji 2 anten - sterowników. Theremin był monofonicznym instrumentem, a Radio Baton od samego początku posiadał ogromny potencjał do tworzenia nieograniczonych, wielowarstwowych i wieloelementowych modeli interaktywnych projektów audiowizualnych.

Max Mathews wykonuje “Arię na strunie G” J.S. Bacha za pomocą Radio Baton

c. gest smyczkowy

Ciągłe, posuwiste ruchy ręki z interaktywnym systemem Sensorlab stosuje od lat Franziska Baumann, szwajcarska flecistka i wokalistka, przetwarzająca w swoich utworach własny głos. Formy przetworzeń dotyczą manipulacji czasowych, transformacji barwy głosu w kierunku kategorii bardzo dalekich od wokalnych. Ruchy ręki wykonawcy z przymocowanymi czujnikami ruchu pozwalają także na kontrolę wielokanałowej przestrzeni dźwiękowej. Smyczkowanie jako gest interaktywny został wykorzystany w kompozycji Ephreia na kwartet smyczkowy Michała Pawełka, w którym prawa ręka muzyków kwartetu smyczkowego wyposażona w czujniki ruchu zamienia pociągnięcia smyczków na sterowanie wybranymi parametrami przetworzeń dźwięku. Powiązanie naturalnych ruchów rąk wykonawców z

5

wybranymi parametrami przetworzeń, daje w wielu wypadkach niezwykle oryginalny rezultat. Podstawowy, akustyczny materiał dźwiękowy kwartetu smyczkowego dokonuje płynnego przejścia w rejony dalekie od brzmienia instrumentów smyczkowych miksując różne kategorie dźwięków przetworzonych ze strukturami generowanymi interaktywnie.

d. gra na instrumencie dętym

Od lat produkowane na wzór tradycyjnych instrumentów dętych kontrolery, wśród których najbardziej znany to EWI (Electronic Wind Instrument). Instrument wykorzystuje technikę wykonawczą stosowaną w wybranych instrumentach dętych, przyjmując kształt fletu (Akai), saksofonu (m.in. Casio), lub też puzonu (Propeller Trombone Nicolasa Collinsa). e. gest perkusyjny

Gest perkusyjny jest najbardziej złożonym i w wielu przypadkach łączy różne tradycje wykonawcze. Kontrolery przyjmują formę instrumentów perkusyjnych o określonej wysokości - K.A.T. (marimba MIDI), lub też typowego zestawu perkusyjnego zastąpionego przez zestaw membran na statywach z czujnikami nacisku (MIDI Drum Set). Warto zauważyć, że zestaw elektronicznych padów perkusyjnych w swojej podstawowej postaci to pola reagujące na pojedyncze uderzenia, w swej bardziej zaawansowanej postaci reagujące także na siłę uderzenia i miejsce uderzenia. Ciekawym rozwiązaniem o bardzo niskiej cenie jest interaktywna mata taneczna. Klasyczna mata taneczna posiada 10 niezależnych, wyzwalanych polifonicznie pól uderzenia i w swojej topografii przypomina klasyczny zestaw perkusyjny. f. gest szarpany

Kontrolery imitujące grę na instrumentach strunowych szarpanych posiadają czujniki napięcia strun, lub też reagują na ruch wirtualnych strun. ISA Harp Petera Sycha jest kontrolerem MIDI z 16 poziomymi i 16 pionowymi niewidzialnymi strunami “rozciągniętymi” na metalowej ramie. Instrument poza swoją podstawową formą polifonicznego instrumentu szarpanego jest używany jako kontroler wideo i tablet dyrygencki.

2. Gest techniczny

Powiązany jest ściśle z obsługą specjalistycznych urządzeń technicznych, odtwarzaczy, komputerów, kontrolerów MIDI etc. i dotyczy określonych form ruchu ręki. Typowy dla działań towarzyszących realizacji koncertów muzyki elektroakustycznej gdzie kompozytor, realizator zajmuje się projekcją dźwięku w wielokanałowej przestrzeni, równocześnie dokonując korekty barwy, obsługując także dodatkowej parametry barwy dźwięku na stole mikserskim. Ten rodzaj współdziałania z odtwarzaną z taśmy lub komputera kompozycją elektroakustyczną daleki jest od żywego, ekspresyjnego wykonania utworu na instrumencie, lub poprzez system interaktywny. Niemniej jednak formy gestów towarzyszących wykonywaniu muzyki elektroakustycznej w bardziej tradycyjnej formie zawierają ruchy, które pojawiają się dość często w obsłudze tabletów graficznych i dotykowych ekranów zawierających symulację mikserów, wielościeżkowej struktury utworu, wraz z symulacją instrumentów dającymi możliwość dogrania niektórych partii na żywo.

a. obrotowy, najczęściej stosowany do obsługi pokręteł, suwaków, przycisków,

joysticków itp. Gest obrotowy nie posiada swojego odpowiednika w grze na instrumentach tradycyjnych, z wyjątkiem gry na lirze korbowej, czy też glissand na

Peter Sych - ISA Harp

6

harfie. Jest on bezpośrednio kojarzony z obsługą pokręteł różnej wielkości, będących składową stołów mikserskich, kontrolerów MIDI itd. Gest obrotowy używany jest bardzo często w wielościeżkowych programach sekwencerowych, obiektowych systemach programowania jako substytut fizycznych pokręteł.

b. przesuwowy powiązany z obsługą suwaków będących częścią wielu instrumentów i

urządzeń. Jest analogią do gry na instrumentach smyczkowych, puzonie, glissanda na klawiaturze, a także typowego gestu tanecznego

c. dotykowy jednokrotny to rodzaj gestu cyklicznego mający na celu stopniową

skokową zmianę wybranych wartości. Rozwiązanie typowe dla wielu urządzeń polegające na zwiększaniu lub zmniejszaniu określonej wartości poprzez wielokrotne naciskanie na dwa pola + - .

d. dotykowy wielopunktowy (multitouch) jest formą równoczesnego sterowania

wybranych parametrów za pomocą kilku palców. Współczesne systemy umożliwiają niezależne przesuwanie/otwieranie/zamykanie wybranych parametrów. Technika multitouch umożliwia równoczesne sterowanie kilkoma parametrami dostępnymi na ekranie dotykowym. Stosowany do polifonicznego sterowania wielokanałowych sekwencji. Jednym z systemów używających multitouch na iPhonie/iPadzie/iPodzie Touch jest program Oscemote składający się z 4 niezależnych paneli sterowania. Każde pole pojawiające po dotknięciu dowolnego punktu na ekranie może wysyłać zmienne strumienie danych sterujące wcześniej zaprogramowanymi parametrami w odbiorniku, jakim może być dowolny system pracujący w standarcie OSC lub MIDI. Tworzenie zmiennych konfiguracji połączeń to jeden z licznych rozwiązań z zastosowaniem technologii Multitouch zarówno na coraz bardziej dostępnych przenośnych urządzeniach z ekranem dotykowym, jak i systemach wyposażonych w monitor dotykowy.

e. parametryczny jest gestem powiązanym z wybranymi elementami wykonywanej

kompozycji. Ten rodzaj gestu ma swoje powiązanie z obsługą urządzeń technicznych, specjalistycznych, odrębnych systemów specjalnie konstruowanych do określonych zastosowań interaktywnych

Multitouch w programie Oscemote

7

1. Gest taneczny i ruch ciała

Jest ściśle powiązany z tradycją tańca, zarówno klasycznego (balet), współczesnego, kultur etnicznych jak i naturalnego ruchu aktorów na scenie w teatrze, czy też sztuce performance. Te formy ruchu stosowane są w sztuce interaktywnej zarówno w swej czystej, fizycznej (kinetycznej) postaci, będąc poszerzeniem form sztuk performatywnych, czy wreszcie wykorzystujące naturalny gest i ruch osób wyzwalających dźwięki i obrazy instalacji interaktywnych. Ruch całego ciała będący przedłużeniem gestu jest procesem typowym dla tańca, zarówno w jego tradycyjnych formach, rozwiniętej artystycznie formie jakim jest balet i niezwykle różnorodnych formach tańca współczesnego, ale także w formach sztuki performance. Międzynarodowy zespół Squint od dawna stosuje interaktywny kostium Miburi produkowany w ograniczonej ilości przez firmę Yamaha. Squint łączy taniec interaktywny z grą na instrimentach

akustycznych i interaktywnych kontrolerach (m.in. K.A.T.).

Instalacje interaktywne dostępne dla publiczności posługują się częstokroć podobnymi rozwiązaniami technologicznymi opartymi na mapowaniu przestrzeni i instalowaniu systemu czujników ruchu. Instalacja monitorująca przestrzeń ekspozycji instalacji posługuje się zazwyczaj dwoma rozwiązaniami technologicznymi:

a. Monitorowanie przestrzeni poprzez systemy sensoryczne określające precyzyjnie ruch

wokół czujnika lub ich zestawu, kalibrowane w określonym zakresie. - System MCOS zaprojektowany w latach 90-tych przez M. Chołoniewskiego składa się z

szeregu czujników optycznych podłączonych do kontrolera MIDI. Działa poprzez elektroniczne rozszerzenie funkcji suwaków i pokręteł. Każdy z sensorów kalibrowany jest w zakresie 0 - 127 i pracuje jako niezależny kontroler MIDI (CC). Strumień danych otrzymywanych z poszczególnych kontrolerów traktowany jest niezależnie i może być używany do bardzo różnych zastosowań. W projekcie lighting z 1995 roku trzy sensory optyczne podłączone były do kontrolera głośności (CC7), modulacji (CC1) oraz PitchBand sterując trzema niezależnymi strukturami dźwiękowymi. - W roku 1999 na zamówienie Avantagrde Tirol powstała kompozycja dark&lightZone M. Chołoniewskiego dla londyńskiego Kwartetu Arditti. Wykonywana była w różnych składach,

Squint

8

także przez zespół tańca współczesnego (Stanislaw Wisniewski Compagne) i w formie interaktywnej instalacji dźwiękowej (Galeria IMT w Londynie).

b. Analiza wybranego fragmentu przestrzeni poprzez kamery wideo.

- David Rokeby zaprojektował jeden z pierwszych interaktywnych systemów wideo skanujących ruch w przetrzeni już w 1982 roku. Very Nervous System 1 (VNS) będący początkowo interaktywną instalacją wideo został opracowany jako ogólnie dostępny system interaktywny. Duet qfwfq 2 (Andrea Pensado, Greg Kowalski) z Bostonu używa systemu

zarówno do performance jak i instalacji interaktywnych.

Memory of Looking Glass - instalacja

1 http://homepage.mac.com/davidrokeby/vns.html

2 www.qfwfqduo.com

9

- Wśród systemów wideo używanych do interakcji znalazły się w okresie późniejszym systemy Big Eye oraz Imagine opracowane w latach 90-tych w centrum STEIM w Amsterdamie. Od tamtego czasu pojawiło wiele programów komercyjnych i specjalistycznych systemów programowania obiektowego, m.in. Jitter 3, będący rozszerzeniem systemu Max/MSP.

- Eric Singer zaprojektował obiekt Cyclops 4 w ramach systemu Max/MSP posiadający wzory

ruchu w przestrzeni dające możliwość skanowania gestów, ruchu postaci i przedmiotów w kadrze kamery.

- Jednym z ogólnie dostępnych obecnie programów do przetwarzania obrazu wideo jest

system Arkaos Vj 5 pozwalający na łączenie materiału wideo/audio z grafiką, obiektami flash oraz podłączenie kilku kamer wideo przekazujących obraz na żywo. Materiał wideo w formie tzw. visuals oraz efektów wideo posiada w swojej wewnętrznej konfiguracji możliwość sterowania wybranymi parametrami za pomocą kontrolerów MIDI. Wyzwalanie połączonych obiektów visuals z algorytmami effects odbywa się za pośrednictwem klawiatury komputera lub klawiatury MIDI, a za pomocą specjalnie zaprojektowanego patcha Max/MSP możliwe jest też sterowanie całym materiałem za pomocą wybranych kontrolerów MIDI. Zastosowanie kontrolerów ruchu, połączenie ich z kamerą podłączoną do systemu daje ogromne możliwości tworzenia wielowarstwowej interakcji.

3 http://cycling74.com/products/maxmspjitter

4 http://cycling74.com/products/cyclops

5 www.arkaos.net

10

Marek Chołoniewski - face

- Program Isadora 6 firmy Troikatronix posiada wiele funkcji skanowania przestrzeni przez

kamerę wideo, Stosowany zarówno do performance interaktywnych jak i instalacji wideo.

- Bardzo ciekawym rozwiązaniem jest zastosowanie kamery podczerwieni dającej

możliwość skanowania wyciemnionej przestrzeni, reagującej na nieoświetlone obiekty znajdujące się w ruchu, a więc np. publiczność odwiedzającą miejsce ekspozycji, lub też ruchome przedmioty będące częścią instalacji.

6 www.troikatronix.com

11

III. Modele interaktywne

Modele interaktywne ukazują zależność pomiędzy ilością równoczesnych akcji i odpowiadającym im reakcjom dźwiękowym lub audiowizualnym. Ta bardzo ważna część rozważań dotyczy form konwersji interakcji. Pierwszy i ostatni model w zestawieniu poniżej obrazują odpowiednio pełną i minimalną kontrolę nad wykonywanymi na żywo strukturami dźwiękowymi lub audiowizualnymi. Równocześnie pierwszy i ostatni model związane są odpowiednio z zawężonym i nieograniczonym zakresem materiału dźwiękowego i wizualnego. Modele interaktywne są otwartą listą określonych kategorii. 1. Model organowy (organ mode) można wyrazić wzorem 1 gest = 1 dźwięk

Jest to klasyczny model sterowania dźwięków syntetycznych z klawiatury MIDI, lub za pomocą wybranych kontrolerów (np. EWI), stosowany również przy zamianie wysokości dźwięku akustycznego na jego syntetyczne odpowiedniki w urządzeniu Pitch to MIDI Converter. W modelu tym zachowujemy pełną kontrolę nad pojedynczym dźwiękiem, jednak posiadamy poważne ograniczenie dotyczące gęstości i złożoności faktury dźwiękowej i wideo.

2. Model szyfrowany (coded mode) - 1 gest = x dźwięków

Ten model rozwiązuje ograniczenia modelu organowego poprzez wprowadzenie tabel konwersji i mapowania systemu powiązanego z pojedynczym gestem i wielowarstwowej reakcji systemu. Jednym z pierwszych zastosowań tego modelu była kompozycja Stanisława Krupowicza Concerto z 1987 roku. Partia komputera zaprogramowana w systemie MIDI Lisp wykonywana za pomocą klawiatury MIDI zapisana została w formie tradycyjnej partytury. Nuty partii komputera nie odpowiadają konkretnym wysokościom dźwięku syntetycznego, lecz uruchamiają różne sekwencje syntetycznych zdarzeń dźwiękowych. W ten sposób pojedynczy gest polegający na wciśnięciu jednego klawisza wyzwala większą ilość zdarzeń dźwiękowych, których złożoność zależy wyłącznie od programisty, kompozytora, autora systemu interakcji.

3. Model dyrygencki (conducting mode)

Pojedynczy gest przekłada się na wybrane grupy parametrów. Pionierem prac nad dyrygowaniem wirtualną orkiestrą komputerową był Max Mathews i jego pierwszy system interaktywny Groove skonstruowany w 1969 r. Do najbardziej znanych kontrolerów Maxa Mathewsa należy Radio Baton sterujący wielopłaszczyznową partią wirtualnej orkiestry poprzez program Conductor 7.

Kontroler wraz z systemem wielokrotnie prezentowany był w Polsce przez Richarda Boulangera z Berklee College of Music w Bostonie. Jego kompozycja Shadows na skrzypce i komputer jest utrzymana w konwencji koncertu skrzypcowego dla solisty wykonującego partię solową i dyrygenta realizującego partię orkiestry sterowanej za pomocą Batuty Radiowej.

7 www.musanim.com/tapper/ConductorProgram.html

12

Richard Boulanger (Radio Baton) i Barbara Stuhr (skrzypce) wykonują Shadows R. Boulangera podczas Festiwalu Audio Art w 1993 r.

4. Automatyczny akompaniament - symultaniczne czytanie partytur

Model użyty po raz pierwszy w systemie Synthetic Performer 8Barry Vercoe (IRCAM 1984) i

prezentowany podczas Konferencji Muzyki Komputerowej w Paryżu w 1984 r. Flecista wykonywał partię fletu wybranych Sonat fletowych Haendla, komputer podążał za wykonawcą realizując partię klawesynu. System zawierał moduł Learn umożliwiający rozpoznawanie niuansów interpretacyjnych konkretnego wykonawcy poprzez cykl prób rejestrowanych przez system komputerowy. Interpretacja dotyczyła w głównej mierze zmian tempa wykonywanej partytury. Flet wyposażony został dodatkowo w sensory optyczne zwiększające znacznie precyzję systemu w czasach, gdy tłumaczenie dźwięku akustycznego na informacje cyfrowe obciążona była sporym marginesem błędu. Roger Dannenberg w tym samym czasie używał modelu automatycznego akompaniamentu 9. Sterowanie systemu odbywało się poprzez klawiaturę MIDI i było bardziej precyzyjnym rozwiązaniem. 5. Muzyka - 1 (music minus one) - tape + organ mode

Połączenie modelu klawiaturowego (organ mode) i modelu odtwarzania (tape mode), bardzo często stosowany w wykonaniach muzyki zarówno poważnej, jak i rozrywkowej, stanowi typowy wariant połączenia syntetycznej orkiestry z solowym wykonaniem. Max Mathews zainicjował wydanie klasycznych koncertów instrumentalnych bez partii solowej do domowego wykonania z orkiestrą odtwarzaną z płyty. 6. Odtwarzacz (tape mode, player mode)

Ten model stosowany od początku istnienia muzyki na taśmę, wykonywanej podczas koncertów poprzez uruchomienie odtwarzania magnetofonu, odtwarzacza plików audio w systemie komputerowym. Gest wykonawcy ogranicza się wyłącznie do początkowego uruchomienia wcześniej skomponowanej partii taśmy, pliku dźwiękowego poprzez jednokrotne naciśnięcie przycisku start/play/enter. Historycznym odtwarzaczem muzyki była katarynka, pozytywka, czy też pianola stosujące mechaniczny zapis muzyki na wałku metalowym.

8 www.youtube.com/watch?v=vOYky8MmrEU

9 http://portal.acm.org/citation.cfm?id=199288.192515

13

Sterowanie na żywo odtwarzaną taśmą z zapisaną muzyką podczas wykonania koncertowego dotyczy głównie korekcji głośności i dystrybucji dźwięku w wielokanałowym systemie audio.

14

IV. Formy sztuki interaktywnej

1. Performance (Wysyg, dark&lightZone, lighting, Doubles)

Zakłada użycie interaktywnych systemów do tworzenia kompozycji audiowizualnych przeznaczonych do wykonania koncertowego, performance, happeningu, sztuki akcji, projektu audiowizualnego. 10

Marek Chołoniewski - WYSYG (1989) 2. Instalacja

Instalacja interaktywna przeznaczona jest do ekspozycji w galerii, przestrzeni otwartej i cybernetycznej, także poszerzona o urządzenia VR (Virtual Reality) lub bezpośrednio w sieci internetowej, dostępna za pomocą wydzielonych i specjalnie zaprogramowanych kontrolerów. Instalacja interaktywna przyjmuje częstokroć formę sztuki wizualnej w stanie zawieszenia, bezruchu, lub zapętlonego automatu dźwiękowego lub audiowizualnego. Instalacja dźwiękowa jest rozwinięciem wcześniejszej formy instalacji i jako taka wypełnia przestrzeń, w której jest ekiponowana eksponowana i wchodzi z nią w nowe relacje. Instalacja dźwiękowa z elementami interakcji pojawia się też jako specyficzna forma megainstrumentu, dostępnego dla publiczności

10

WYSYG - What You See You Get na światło i komputer (1989) Wysyg jest nową formą audiowizualnego performance wykorzystującego system “dyrygowania światłem”. Zmiany światła, uzyskiwane z ruchu lampy trzymanej w ręce odbierane są przez system sensorów optycznych umocowanych do głowy wykonawcy. Każdy z nich steruje niezależnie wybranym parametrem wstępnie przygotowanej partytury zapisanej w pamięci komputera. System działa w następujący sposób: 1. względny czas trwania pojedynczych i złożonych struktur dźwiękowych zależy od częstotliwości otwierania ust 2. “instrumentacja” i przetworzenia dźwięku zależą od wielkości światła padającego na sensor umieszczony na szyi wykonawcy 3. projekcja przestrzenna dźwięku zależy od światła dochodzącego do sensorów umieszczonych przy uszach wykonawcy Kompozycja Wysyg wykorzystuje dwie abstrakcyjne energie - światło i dźwięk. Figury świetlne są bezpośrednio tłumaczone na frazy muzyczne. Dosłownie, to co widzisz jest tym co słyszysz (what you see you get).

15

lub wybranych jej przedstawicieli. Częstokroć instalacja używana jest do koncertów i performance’ów zmieniając okresowo swoją funkcję czasową podczas wielodniowej ekspozycji.

Marek Chlanda.Marek Chołoniewski - Uszy, oczy, nos - instalacja interaktywna (1988) National Gallery Haga 1989

Jan Pieniążek - Obiekt S Festiwal Audio Art w Krakowie 1997

16

3. Gra interaktywna (Small fish, Soundrop)

Częstokroć stanowi poszerzenie formy instalacji, dawniej prezentowana podczas warsztatów, dystrybucji CD-ROM, obecnie dostępna w formie przygotowanej prezentacji wyzwalanej poprzez zestaw czujników, mikrofonów, padów, kamer etc.

Soundrop - muzyczna gra interaktywna

4. Partytura interaktywna - muzyka algorytmiczna (Passage)

Podczas wykonania koncertowego kompozycji Passage (2001) generowane są partytury do ich natychmiastowego wykonania bez możliwości wcześniejszego przygotowania (a’vista). W kompozycji Passage zestaw czujników przymocowanych do pustych pulpitów zamienia ruchy

rąk wykonawców na materiał nutowy powstającej na żywo partytury.

Idea

17

W kompozycji Passage wybór materiału dźwiękowego opiera się na wstępnym przygotowaniu

określonych sposobów selekcji (algorytmów), które w istocie pozbawiają twórcę (w pozytywnym

tego słowa znaczeniu) możliwości podejmowania indywidualnych decyzji w odniesieniu do

poszczególnych parametrów dzieła muzycznego. Wybór wynika zatem z metody, która,

stosowana ze ścisłą konsekwencją, tworzy określone struktury dźwiękowe. W ten sposób

twórca wyzwala się częściowo od własnych indywidualnych preferencji; wkracza w obszar

eksperymentu, który w przypadku kompozycji Passage został poddany ścisłej kontroli.

Kompozycja jest sumą doświadczeń z wieloletniej pracy nad komputerowymi kompozycjami

algorytmicznymi, w których zniesiony został podział na muzykę instrumentalną i komputerową,

zniesione zostały również granice stylistyczne i materiałowe w odniesieniu do podstawowych

elementów dzieła muzycznego.

Forma utworu

Kompozycja składa się z czterech części: I. Wstęp, II. Teatr Gestów, III. Partytura, IV. Film.

Pierwsze dwie części to performance, w których muzycy poprzez akcje parateatralne sterują

muzycznym systemem komputerowym, tworzącym «na żywo» wielopłaszczyznową strukturę

dźwiękową. Każdy z muzyków realizuje niezależną partię. System komputerowy tworzy

równocześnie partyturę, stanowiącą podstawowy materiał nutowy do wykonania III i IV części

utworu. Muzycy wykonują partie instrumentalne pojawiające się przed nimi na ekranie

zawieszonym nad sceną. Dodatkowo ruch instrumentów i zmiana pozycji muzyków w III części

wpływa na przetwarzanie dźwięków instrumentów akustycznych. Ostatnia, IV część utworu

przyjmuje formę audiowizualnego spektaklu, gdzie do interaktywnej transformacji dźwięków

instrumentalnych dołączona zostaje projekcja filmowa (animacja komputerowa), sterowana

przez ruch muzyków i ich gesty.

Obsada

Passage w swej oryginalnej formie wykonuje oktet składający się z dwóch kwartetów: dętego

drewnianego (flet, obój, klarnet i fagot) i smyczkowego (skrzypce, altówka, wiolonczela i

kontrabas). Ponieważ wszyscy muzycy są równocześnie «performerami», wykonującymi

specyficzny «teatr gestów», ich fizyczne powiązanie z instrumentami, możliwość ruchu wraz z

instrumentem jest jednym z podstawowych założeń technicznych realizowanego utworu.

Obsada zmieniała się wielokrotnie od wykonania solowego po zespoły składające się z

instrumentów etnicznych i własnej konstrukcji.

A vista

Przejście (Passage) z II do III części utworu związane jest z poważnym problemem natury

technicznej. Materiał w postaci tradycyjnie skomponowanej partytury pojawia się na ekranie po

raz pierwszy podczas wykonywania utworu. Kompozycja jest poliwersyjna. Materiał «komponuje

się» za każdym razem w nieco inny sposób. Muzycy wykonują zatem III i IV część a vista.

Przybliżone wykonanie graficznej partytury gestu jest temperowane i uśredniane rytmicznie

przez interaktywny system komputerowy. Koncepcja utworu wyklucza wcześniejsze

przygotowanie indywidualnych partii przez poszczególnych muzyków.

Wykonanie odbywa się z pomocą dyrygenta lub systemu słuchawek z impulsem metronomu

przekazywanym z komputera indywidualnie do każdego z muzyków (zasada ta była wielokrotnie

stosowana w utworze Like Breathing).

Gest

Wyjściowym materiałem źródłowym dla kompozycji Passage jest gest, który przyjmuje dwie

podstawowe formy: - figur geometrycznych, - ekspresji muzycznych.

18

Gest wykonany bliżej (wyżej) źródła światła (high) oznacza wyższą wartość - dźwięk wyższy.

Gest bliżej podłogi, oddalony od źródła światła (low) oznacza wartość niższą - dźwięk niższy.

Interaktywny optyczny system komputerowy reaguje na zmianę położenia ręki oraz na jej

pozycję.”

Do realizacji utworu zaprojektowano patch w systemie Max/MSP, który zamienia gesty

wykonawców na strumień danych przekazywany do programu notacji muzycznej Finale. Do

tego celu można zresztą zastosować dowolny program notacyjny.

5. Instalacja miejska (GPS-Art)

Strategie mapowania przestrzeni miejskiej i sterowania nagraniami dźwięków i obrazu ulic miast przez samochód wyposażony w interaktywny system GPS. GPS-Art to nowa dziedzina działań artystycznych opartych na ruchu w otwartej przestrzeni.

GPS-Art to globalny instrumnt interaktywny służący do tworzenia i przetwarzania materiału dźwiękowego i wizualnego, łączy w sobie elementy instalacji dźwiękowej i wizualnej tworząc nowe fromy przekazu. Projekt obejmuje działania w gigantycznych skalach plenerowych i urbanistycznych. Może być realizowany na ziemi, powietrzu, pod wodą, a także w przetsrzenii kosmicznej. Wszystkie projektu GPS-Art tworzone są z wykorzystaniem urządzenia GPS-12 (Global Positioning System) firmy Garmin, z bezprzewodowymi odbiornikami Bluetooth, a także z wykorzystaniem telefonii komórkowej. GPS-12 określa swe położenie na podstawie pozycji 12 satelitów zawieszonych nad północną półkulą Ziemi. GPS-12 stosowany jest w nawigacji i określna interaktywnie wiele parametrów topograficznych, m.in. położenie geograficzne (w sklali od 10m do tysięcy kilometrów), wysokość nad poziomem morza, prędkość i wiele innych. Pomiary stanowią punkt wyjścia dla wielu różnych działań artystycznych. W latach 2000 – 2007 koncepcja dztuki GPS-Art realizowana była poprzez serię manewrów artystycznych GPS-Trans 1 – 8. GPS-Trans to transmisja w czasie i przestrzenii. Wcześniej nagrywany, montowany i przetwarzany materiał audio, foto i wideo sterowany jest na żywo poprzez zestaw synchronizowanych ze sobą urządzeń: GPS, telefonów komórkowych, szeregu systemów komputerowych pełniących funkcję serwerów, odbiorników i stacji przesyłowych i nadawczych. GPS-Trans realizowany jest równocześnie w otwartej przestrzenii miejskiej (arenie), skanowanej przez anonimowy samochód-nadajnik z zainstalowanym systemem GPS, będący głównym wykonawcą kompozycji audiowizualnej/happeningu oraz dwóch przestrzeniach publicznych, w których znajdują się odbiorcy tego działania. Podstawową przestrzenią odbioru działania w latach 2000 – 2004 była globalna sieć Internetowa z dołączoną do niej galerią Bunkier Sztuki w Krakowie. Od 2005 roku główną przestrzenią odbioru działania GPS-Trans stanowi galeria sztuki:Galeria Krzysztofory i Bunkier Sztuki w Krakowie, w Warszawie w Zamek Ujazdowski, a w Chicago galeria Deadthech. Samochód w projekcie pełni w projekcie funkcję wykonawcy grającego na instrumencie, którym jest całe miasto z wyselekcjonowanymi sektorami, dzielnicami. Mapa miasta stanowi rodzaj partytury i gigasamplera równocześnie. Parędziesiąt sektorów miasta (w Krakowie 63, a w Chicago 83) reprezentowanych jest w postaci nagranych wcześniej sekwencji naturalnych dźwięków otoczenia, głosów ludzi i zwierząt naturalnych szumów miejskich, przejeźdźających samochodów, odgłosów najbardziej charakterystycznych dla wybranych dzielnic miasta, a od GPS-Trans 4 simultaniczne nagrania wideo. Pierwszy projekt GPS-Trans 1 wykonany został w grudniu 2000 roku w postaci czterech bloków

3-godzinnych, w sumie 12 godzin jako połączenie transmisji odgłosów miasta, przetwarzanych i transmitowanych na żywo przez Internet. Był modelem prywatnego radia internetowego. Dźwięki ścisłego centrum Krakowa wokół Rynku transmitowane były poprzez 16 telefonów

19

komórkowych miksowanych na żywo poprzez połączenie konferencyjne. Dźwięki poddawane były przetworzeniom i wysyłane poprzez indywidualny kanał audio do Internetu i odbierane z ok. 14 sekundowym opóźnieniem. Opóźnienie sygnału audio przesyłanego przez Internet, stanowiącego w tamtych czasach poważny problem techniczny, potraktowano jako walor i wykorzystano do uruchomienia nowatorskiego procesu artystycznego Internet Delay. Zapętlenie sygnału audio poprzez kontrolowane na żywo sprzężenie zwrotne (feedback) wykorzystano do utworzenia innego procesu przetworzenia dźwięku Internet Wave. GPS-Trans 2 był pełnym połączeniem technologii komórkowej, GPS, oraz zainicjowanego wcześniej wykorzystania Internetu jako procesora przetwarzania sygnału audio. Najważnejszym jednak elementem było potraktowanie miasta jako gigasamplera z poruszającym się samochodem, pełniącym rolę wykonawcy/nadajnika przesyłającego koordynaty, wykorzystywane jako zmienne w tworzeniu na żywo kompozycji muzycznej i audiowizualnej. Było także traktowane jako forma przewodnika po mieście, nazwane z tego powodu: dźwiękową mapą miasta Krakowa. Specjalnie w tym celu utworzony algorytm w programie Max/MSP traktował przestrzeń urbanistyczną jako 3-wymiarową strukturę porównywalną do gigantycznego namiotu rozwieszonego nad miastem. Samochód poryuszający się po arenie posiadał maszt wirtualny, wyznaczający poziom głośności materiału audio z obszaru, w którym się znajdował. Samochów/nadajnik sygnału GPS odtwarzał/wykonywał wcześniej nagrane dźwięki z maksymalnym poziomem głośności, podczas gdy dźwięki rejonów sąsiadujących odtwarzane były z niższą głośnością. Rejony miasta najdalej położone od miejsca przejazdu samochodu odtwarzane były najciszej. Cały proces wykonywany był na żywo z założeniem, że cały materiał audio przesyłany jest równocześnie, ale słyszymy głównie dźwięki rejonu miasta, przez który samochód przejeżdża. Algorytm realizujący te założenia był procesem dynamicznie zmieniającym wiele koordynatów rónwocześnie realizowanym poprzez specjalnie dedykowane urządzenia komputerowe. Podczas realizacji projektu GPS-Trans 2 użyto 7 niezależnych systemów komputerowych. GPS-Trans 3 do dźwięków miasta dołączył serię zdjęć, których odtwarzanie odbywało się na zasadzie fotoplastikonu, przy czym szybkość oglądanych w Internecie zdjęć sterowana była na żywo przez szybkość samochodu/nadajnika/wykonawcy. Zatrzymanie samochodu w dowolonym miejscu powodowało zatrzymanie procesu odtwarzania zdjęć. GPS-Trans 3 stanowił audiowizualną mapę miasta Krakowa. Pierwsze trzy projektu GPS-Trans 1 – 3 emitowany był głównie w Internecie, i wybranej przestrzeni publicznej, miejskiej galerii Bunkier Sztuki w Krakowie. Bardzo ważnym elementem wszystkich projektów internetowych jest ich dostępność. Włączenie działań GPS-Art do określonych działań medialnych od początku istnienia projektu było jednym z nadrzęnych zadań. GPS-Trans 1 był częścią projektu café 9, a także częścią ekspozycji dotyczącej nowych mediów w Bunkrze Sztuki w Krakowie. GPS-Trans 2 emitowany był poprzez czeską rozgłośnię internetową Radio Jeleni. GPS-Trans 3 był jednym z trzech europejskich projektów będących częścią międzykontynentalnego projektu internetowego Williama Duckwortha Cathedral11 transmitowanego przez serwer Akamai. Oglądalność projektu mierzona była w dziesiątkach tysięcy odbiorców. GPS-Trans 4 – 5 zmienił priorytet odbioru ze wskazaniem na określoną, zamkniętą przestrzeń publiczną (Galeria Krzysztofory, Bunkier Sztuki, Zamek Ujazdowski, Deadtech) z towarzyszącą tym działaniom transmisją internetową. Do GPS-Trans 4 zrealizowanego w Galerii Krzysztofory w Krakowie 30 czerwca 2003 roku

dołączono nowy element jakim był obraz wideo. W samochodzie zostały umieszczone 4 kamery cyfrowe filmujące odpowiedznio: przód, tył oraz lewą i prawą stronę ulic miasta, przez które przejeźdźał samochód według ściśle określnego planu. Tak nagrany materiał wideo i audio został następnie wprowadzony do czterech komputerów z podłączonymi do nich czterema

11

www.monroestreet.com/Cathedral

20

projektorami wyświetlającymi nagrane wcześniej filmy na cztery ekrany tworzące czworobok w Galerii Krzysztofory w Krakowie. Materiał audio wykorzystywany był do przetworzeń na żywo i miksowany był z muzyką wykonywaną przez zespół Improvisers Ensemble tworzących muzykę do dźwięków miasta. Odtwarzanie wcześniej nagranego materiału wideo i audio odbywało się na żywo poprzez ruch samochodu po ulicach wcześniej nagranych przez cztery zsynchronizowane ze sobą kamery. Tym razem samochód wyposażony był w system GPS transmitujący koordynaty położenia i szybkości samochodu poruszającego się po mieście. A więc transmisja w czasie i przetsrzenii. Publiczność poprzez wejście w przestrzeń pomiędzy i na zewnątrz czterech ekranów stała się żywym i aktywnym uczestnikiem procesu audiowizualnej transmisji ulic miasta Krakowa. Była częścią ruchu samochodu sterującego na żywo odtwarzanie materiału audiowizualnego z przeszłości sterowanego w teraźniejszości. Na podobnych zasadach został przygotowany i wykonany projekt GPS-Trans 6 w Zamku Ujazdowskim w Warszawie w grudniu ubiegłego roku podczas kolejnej edycji warszawskiego Festiwalu Audio Art. GPS-Trans 5 zrealizowany w galerii Bunkier Sztuki 16 stycznia 2005 roku opierał się m.in na żywej transmisji audio i wideo ulic miasta Luksemburg (Marcin Wierzbicki), które stanowiły dynamiczną partyturę dla 9-osobowego międzynarodowego zespołu improwizujących muzyków w składzie: Marek Chołoniewski, Tomek Chołoniewski, Krzysztof Iwanicki, Rafał Mazur, Tomek Nazarewicz, Keir Neuringer, Sasha Pecaric, Gilad Roth, Łukasz Szałankiewicz. GPS-Trans 6 wykonany został po raz pierwszy poza Krakowem w Centrum Sztuki

Współczesnej, Zamek Ujazdowski w Warszawie. Nagrane symultanicznie ulice stolicy stanowiły podstawowy materiał operacji audioziwualnych podczas warszawskiej edycji festiwalu Audio Art – Przestrzenie Dźwięku. Projekt zrealizował 8 grudnia 2005 roku 4-osobowy zespół w składzie: Marek Chołoniewski, Marcin Wierzbicki, Maciej Walczak i Jan Chołoniewski. Kolejna realizacja to GPS-Trans 7 w Deadtech Gallery w Chicago 6 kwietnia 2007 roku. Jedno z największych miast amerykańskich zostało podzielone na 83 sektory, nagrane setki struktur dźwiękowych oraz wiele godzin wideo rejestrując centrum miasta na zachód od jeziora Michigan. Podczas jazdy samochodem z zainstalowanym systemem GPS poczwórna projekcja wideostanowiła ruchomą partyturę dla 5-osobowego zespołu muzyków pod kierunkiem Ryana Igebritsena, koordynatora projektu. Podczas GPS-Trans 8 w Krakowie 7 maja 2007 roku wykonano po raz pierwszy synchronizację 4 miast, które wcześniej brały udział w realizacji działań GPS-Art. W realizacji projektu brał udział zespół Improvising Artists. Połączono na 4 ekranach projekcje z Krakowa, Warszawy, Luksemburga i Chicago. W przygotowaniach i realizacji większości projektów GPS-Trans wzięły udział 4 osoby: Marek Chołoniewski, Marcin Wierzbicki, Jan Chołoniewski i Ryan Ingebritsen. W 2009 roku zrealizowano dwie kolejne edycje projektu. 22 marca w ramach międzynarodowych warsztatów COOP w Centrum Sztuki Solvay w Krakowie odbyła się kolejna odsłona projektu GPS-Trans 9. Miesiąc później działania sztuki sieciowej z wykorzystaniem technologii GPS powiązano z festiwalem Multiplace koordynowanym w Bratysławie. Obrazy i dźwięki Bratysławy, Krakowa i Berlina nakładały się wzajemnie na mapy tych aglomeracji tworząc niezwykle zróżnicowany pejzaź dźwiękowy nałożony na wyrafinowaną strukturę obrazu wideo rejestrowaną we wszystkich miastach biorących udział w projekcie GPS-Trans 10. Translokacja poprzez “multiple mapping” to jedna z metod tworzenia kompleksowych struktur audiowizualnych koordynowanych na żywo przez samochód przemierzający ulice miasta. W chwili obecnej trwają ostatnie przygotowania przed premierowym projektem Derive - GPS-Trans 11 w Pecs, europejskiej stolicy kultury. Komppozycja zamówiona przez European Bridges Ensemble zostanie przez ten zespół wraz z kompozytorem i Marcinem Wierzbickim wykonana 10 grudnia w hallu Uniwersytetu w Pecs. Ostatnią odsłoną projektu był GPS-Trans 12 we Wrocławiu wykonany podczas ostatniej edycji festiwalu Musica Electronica Nova. Samochód poruszający się po ulicach Wrocławia sterował

21

przetworzeniami obrazu wraz z kwartetem improwizujących muzyków w klubie Puzzle. Spektakl zlożony był z dwóch części, z wykorzystaniem materiału dokonanego w ciągu dnia, oraz w nocy poprzedzającej wykonanie projektu. Szczegóły na temat wszystkich projektów GPS-Art dostępne na stronie www.gps.art.pl.

6. Interaktywna sztuka sieciowa

jest przeniesieniem terenu działań interaktywnych z realnie istniejących pomieszczeń do wirtualnej przestrzeni cybernetycznej, w której formy wizualne symulują obiekty, pomieszczenia i tereny otwarte, jak również odnoszą się do nierealnych form wizualnych poddanych nowym prawom i regulacjom (Second Life). Projektowanie form sztuki sieciowej stanowi analogię do świata gier komputerowych, a także daje możliwość sieciowego współdziałania wielu wykonawców znajdujących się w różnych miejscach na świecie. Tak skonstruowaną jest aplikacja Magic Piano firmy Smule. Włączając tryb duet mamy możliwość współdziałania z anonimową osobą połączoną z nami na żywo i równoczesnej gry na 2 wirtualnych fortepianach w duecie w dwóch różnych miejscach na świecie.

Magic Piano (Smule) iPad

V. Technologie interaktywne

1. Instrument, kontroler

Część fizyczna instrumentu, panel urządzenia, sensor, czujnik, źródło, wejście... Ta część systemu interaktywnego jest bezpośrednio powiązana z gestem wykonawcy. Te dwa elementy gest i kontroler wpływają na siebie, zarówno w fazie projektowania, jak i wykorzystywania określonych parametrów urządzenia. Należy je traktować łącznie. Jednak ich opis, zasada działania powiązane są z różnymi dziedzinami i w wielu przypadkach są powiązane z różnymi tradycjami. To jeden z ważniejszych dziedzin integracji sztuki z technologią. Obecnie stanowi najważniejszą część działalności wielu laboratoriów, studiów projektowych, instytutów badawczych. Instrument w swej elektroakustycznej formie rozpadł się już w latach 50-tych na dwie niezależne części: akustyczną i fizyczną. W klasycznym i analogowym studio elektroakustycznym (lata 50-te do końca 70-tych), współczesnym systemie komputerowym (od lat 80-tych) instrument istnieje głównie w formie czysto akustycznej. Jest nagraniem, próbką i plikiem dźwiękowym o różnym poziomie złożoności. Nagranie instrumentu może bowiem dotyczyć pojedynczego dźwięku, motywu, jak i dłuższej frazy, określanej zazwyczaj jako zdarzenie dźwiękowe. Rozpad jednolitej struktury estetycznej i stylistycznej instrumentu na 2 niezależne, na nowo integrowane części jest procesem charakterystycznym dla muzyki kreowanej z pomocą urządzeń i procesów technologii elektroakustycznej i cyfrowej II połowy XX wieku. W chwili obecnej proces ten związany jest z istnieniem większej ilości warstw, w których samo podstawowe nagranie

22

dźwięku stanowi punkt wyjścia dla bardziej złożonych manipulacji barwowych i przestrzennych. W rozbudowanych systemach komputerowych przyjmują one postać wtyczek programowych, znakomicie nadających się do niezależnego i symultanicznego sterowania, będącego składową wielowarstwowej interakcji. Drugą część instrumentu stanowi jego fizyczna część, która przyjmuje obecnie różne formy kontrolerów, od bardzo typowych “instrumentalnych” ekwiwalentów tradycyjnych klawiatur, przez zestawy mikrofonów, czujników światła i sensorów ruchu po stosowane w nawigacji systemy GPS. a. kontroler - instrument. Fizyczna część instrumentu tradycyjnego przyjmuje formę kontrolera instrumentalnego posiadającego większość najważniejszych elementów jak klawisze, klapki, membrany, sztabki, ustniki, struny, Przez to kontrolery instrumentalne wykorzystują umiejętność gry na tradycyjnym instrumencie, Kontroler w formie tradycyjnego instrumentu umożliwia stosowanie naturalnych technik instrumentalnych pozwalając na wirtuozowskie traktowanie wykorzystanie interaktywnego systemu komputerowego na wzór gry na instrumencie tradycyjnym. Najczęściej w taki przypadku stosujemy klawiaturę MIDI, która w swoim podstawowym użyciu pozwala na wykonywaniu partii instrumentu z dowolnie wybraną barwą dźwięku, z bogatej palety znanych dźwięków instrumentalnych, dźwięków syntetycznych, głosów wokalnych, odgłosów przyrody, ale też efektów dźwiękowych, struktur industrialnych, abstrakcyjnych zdarzeń dźwiękowych. Im bardziej złożone struktury dźwiękowe poddawane są kontroli poprzez klawiaturę tym bardziej model organowy wspomniany w III rozdziale przechodzi w model szyfrowany, gdzie pojedynczy gest wyzwala złożoną strukturę, zdarzenie dźwiękowe. Posługiwanie się klawiaturą (klawiatura MIDI), kontrolerem dętym (EWI), instrumentami strunowymi bez pudła rezonansowego (Zeta Violin), czy też kontrolerami

perkusyjnymi umożliwia wykorzystanie naturalnych technik instrumentalnych, tym samym zwiększa atrakcyjność i możliwość wprowadzania niuansów interpretacyjnych, wyrafinowaną artykulacją i ekspresją trudno dostępną na poziomie technik wykonawczych przy zastosowaniu nowych kontrolerów obsługiwanych gestem technicznym. Równocześnie jednak przejście z technik instrumentalnych do globalnego sterowania wybranymi grupami parametrów w modelu szyfrowanym, dyrygenckim i automatycznego akompaniamentu jest jednak zdecydowanie bardziej wyrafinowany, otwiera możliwości łączenia i nakładania struktur, grupowego wyzwalania wcześniej przygotowanych sekwencji zdarzeń. b. mikrofon, w tym kontaktowy (piezzo) pełniący przede wszystkim funkcję rezonansu płaszczyzny i przestrzeni (One Piece of Table 12). Mikrofon akustyczny i kontaktowy dający separację dźwięku od rezonansu otoczenia pełnią te funkcje, tym samym bardzo dobrze nadają się do specjalistycznych nagłośnień, ale też do punktowego odbierania drgań instrumentu w określonym miejscu jego korpusu. Przymocowanie kilku mikrofonów kontaktowych do instrumentu stanowi punkt wyjścia do koncepcji mapowania instrumentu/obiektu dźwiękowego, gdzie tworzymy specyficzne terytoria na powierzchni instrumentu dla uzyskania wielopunktowego sterowania. Przy zastosowaniu wielu mikrofonów kontaktowych podłączonych do interfejsu z wieloma wejściami audio jesteśmy w stanie utworzyć system polifoniczny, wielokanałowy, gdzie wybrane pola na korpusie instrumentu traktowane są jak osobne instrumenty z bogactwem brzmieniowym nakładanym na naturalne

12

Marek Chołoniewski - One Piece of Table (1999)

Przeniesienie powierzchni stołu na akustyczną przestrzeń dźwiękową zawieszoną nad stołem poprzez bezpośrednie podłączenie 4 mikrofonów do 4 głośników umieszczonych na suficie w rogach pomieszczenia. Dźwięki przedmiotów przesuwanych na stole, odgłosy akcji wykonywanych na blacie są wzmacniane bezpośrednio w 4-kanałowej przestrzeni akustycznej nad wykonawcami i publicznością. Stół istnieje w dwóch postaciach: realnej wizualnej na podłodze i wirtualnej, akustycznej na suficie. W utworze stosuję także dźwięki syntetyczne wyzwalane przez pojedyncze impulsy akustyczne dzięki technice Audio Time Triggering opracowanej w latach 80-tych.

23

brzmienia akustyczne instrumentu. Stosowanie mikrofonów akustycznych o specyficznej charakterystyce przestrzennej umożliwia także stosowanie ich do zastosowań interaktywnych. Umieszczenie mikrofonów typu gun shot daje możliwość dyskretnego skanowania przestrzeni wykonawczej i wprowadza możliwości monitorowania akustycznego całej przestrzeni sceny i akustycznego mapowania wybranych sektorów. c. fotorezystor (photocell) używany jako sensor gestu i ruchu tłumaczy ruch w oświetlonej przestrzeni, daje możliwość tworzenia efektu “rezonansu obrazu”, quadMixer Fotorezystor jest elementem, którego oporność ulega zmniejszeniu wraz z jego oświetleniem. Wiązka światła może ulegać zmianie przez przybliżanie i oddalanie źródła światła (Wysyg), przez jego zasłanianie (Lighting), a także przez odbijanie (dark&lightZone). Można także wykorzystać naturalne zmiany wielkości światła padającego na fotorezystor będący częścią instalacji interaktywnej reagującej na zmiany pogody, czy też naturalne zmiany cyklu dobowego - dzień/noc. Właściwe użycie fotorezystora wiąże się przede wszystkim z doborem właściwego modelu. Podstawowa wartość fotorezystora to jego oporność. Stosujemy fotorezystory zarówno o niskiej jak i wysokiej oporności. Fotorezystor działa jako część systemu elektronicznego i jego funkcja może albo zastępować fizycznie występujące w układzie potencjometry (MCOS), lub też być oryginalnie zaprojektowana i podłączona do specjalistycznego interface (Arduino).

d. akcelerometer, żyroskop jest czujnikiem ruchu, dokonującym pomiaru pozycji w 3 podstawowych współrzędnych x, y, z. Pamiętać należy, że bardzo trudno zmiany tych współrzędnych od siebie oddzielić. Odbiór danych z tego urządzenia musi być precyzyjnie interpretowany. Dobrym rozwiązaniem jest wykorzystywanie zmian parametrów w zawężonym zakresie. To rozwiązanie ogranicza wprawdzie rozdzielczość układu. Należy równocześnie pamiętać, że fotorezystor jest elementem analogowym, a więc jego rozdzielczość jest dużo wyższa niż rozdzielczość cyfrowego odbiornika danych. Zawężanie więc zakresu działania akcelerometru niekoniecznie musi wpływać na ograniczenie rzeczywistej rozdzielczości układu. Wykorzystywanie połowy zakresu od środka skali daje nam możliwość oddzielenia od siebie współrzędnych i pojedynczego przetwarzania ruchu w odniesieniu do każdej współrzędnej. Czujnik ruchu znajduje się w jednym z najtańszych urządzeń, jakim jest Wii Remote, kontroler zaprojektowany do konsol gier komputerowych. Posiada szereg czujników znakomicie nadających się do otwartej formy kontrolera. Dane wysyła poprzez bezprzewodowy port Bluetooth i może być odbierany przez szereg programów, służących także do konwersji protokołu OSC na MIDI. Jednym z nich jest program Osculator nadający się do równoczesnego odbioru danych z kilku urządzeń wyposażonych w czujnik ruchu (iPhone, iPad, iPod Touch, Wiimote).

Nintendo Wii Remote + Nunchuck

e. podczerwień (IR). ISA Harp jest instrumentem zaprojektowanym przez Petera Sycha. Oryginalnie służył jako kontroler sterujący 16 strunami harfy MIDI. W późniejszym okresie został rozbudowany do 32 strun, a ostatnia wersja powiększona do ramy tanecznej otrzymała nazwę ISA-Door. W pionowej i poziomej ramie instrumentu/kontrolera umieszczonych jest 32 czujników podczerwieni reagujących na przecięcie promieni i tym samym wyzwalających impulsy sterujące włączeniem i wyłączeniem dźwięku w module MIDI. Typowy układ kontrolera z podłączonym do niego systemem komputerowym, w którym system czujników podczerwieni

24

pełni funkcję źródła impulsów reagujących na gest konwertowanych na dźwięki w module dźwiękowym lub systemie komputerowym. W roku 2009 podstawowe funkcje przecięcia promieni podczerwieni zostały poszerzone o patch w systemie Max/MSP służący do skanowania szybkości ruchu w synchronizacji z pozycją obydwu rąk wewnątrz ramy ISA Harp. Algorytm opracowany przez Marcina Pączkowskiego posłużył do realizacji interaktywnej instalacji audiowizualnej IterEter zamówionej przez Polskie Stowarzyszenie Muzyki Elektroakustycznej i po raz pierwszy prezentowanej podczas Festiwalu Warszawska Jesień w 2009 roku. Instalacja była eksponowana w dziale muzyki klasycznej w sklepie EMPiK Megastore w Warszawie przy ul. Marszałkowskiej. Instalacja prezentowana była także na Festiwalu Audio Art w Krakowie, Festiwalu Muzyki Nowej w Katowicach w 2010 roku oraz festiwalu Musica Electronica Nova we Wrocławiu w 2011 roku. Opis instalacji dostępnej w części flashowej na stronie www.pseme.com/itereter najlepiej oddaje charakter, formę i wewnętrzną strukturę instalacji. f. ultradźwiękowa technologia stosowana jest przez Zbigniewa Karkowskiego do performance’ów interaktywnych w ramach performance’ów nieistniejącejgo już zespołu Sensorband Trio.

Zbigniew Karkowski (Festiwal Audio Art 1995)

Logos Duo z Gandawy ze swoim pionierskim projektem Holosound. Zawieszony na statywie transmiter ultradźwiękowy odbiera zmiany generowanego przez umieszczone na podłodze trzy odbiorniki ultradźwiękowe. System komputerowy analizując zmiany fali ultradźwiękowej w trójwymiarowej bryle pomiędzy transmiterem i odbiornikami stanowi niewidzialny interaktywny system skanujący ruch wykonawcy.

25

Logos Duo (Festiwal Audio Art 1997)

2. Interface to urządzenie pełniące funkcję konwertera danych otrzymywanych z czujników,

sensorów, wiązki światła podczerwieni, mikrofonów i wielu innych mieszanych technologii na ogólnie stosowane protokoły jak MIDI, OSC.

a. Kontroler MIDI poszerzony o wejścia dla fotorezystorów i innych urządzeń o zmiennej

oporności. Stosowany od 2001 roku przez Marka Chołoniewskiego jako alternatywa dla autorskiego interfejsu skonstruowanego w 1999 roku. Na zdjęciu kontroler Evolution X-Session poszerzony o 17 portów bezpośrednio połączonych z 17 potencjometrami pełniącymi kontrolę wybranych parametrów w różnych aplikacjach audiowizualnych.

b. MIDI Tron 13 opracowany przez Erica Singera był jednym z pierwszych ogólnie dostępnych

interfejsów zaprojektowanych specjalnie do zastosowań interaktywnych. Łączony z systemem komputerowym za pomocą portów MIDI posiada 20 wejść/wyjść dowolnie programowalnych. Do interfejsu dołączony jest patch w Max/MSP umożliwiający pełną kalibrację systemu.

13

http://eroktronix.com

26

c. Eobody14 jest konwerterem interaktywnym. W odróżnieniu od MIDI Tron jest urządzeniem

kompletnym i zamkniętym. Umożliwia bezpośrednie połączenie z komputerem za pomocą portu USB oraz MIDI. Posiada 8 gniazd wejściowych do podłączenia szeregu czujników specjalnie kalibrowanych dla tego urządzenia. Są to czujniki optyczne, akcelerometry, czujniki grawitacji, położenia w 3-wymiarze. Łatwy w obsłudze, nie wymaga dodatkowej kalibracji.

d. I-CubeX 15 jest jednym z najmniejszych systemów zaprojektowanych do różnych zastosowań interaktywnych. Jednym z naczelnych założeń firmy przy projektowaniu systemu I-CubeX była maksymalna miniaturyzacja, wyciszenie działania podzespołów i duża odporność na zmienne warunki otoczenia. Idealnie nadaje się do umieszczenia z trudno dostępnych miejscach, jako część kostiumów interaktywnych.

14

www.eowave.com/products.php?prod=39 15

http://infusionsystems.com

27

e. Arduino 16 jest obecnie najczęściej stosowanym interfejsem do

zastosowań interaktywnych. Produkowany od lat wytworzył sporą rodzinę urządzeń elektronicznych z bardzo określonymi parametrami do różnych zastosowań. Arduino jest otwartym systemem sprzętowym umożliwiających implementację gotowych prostych aplikacji obsługi czujników podłączanych do wejść i wyjść analogowych oraz cyfrowych. Może być instalowany przewodowo lub bezprzewodowo. Jego miniaturowa wersja znakomicie nadaje się do projektowania kostiumów interaktywnych. Jest bardzo konkurencyjny dla innych rozwiązań ze względu na relatywnie niską cenę.

16

www.arduino.cc

28

VI. Algorytmy interaktywne Powstają od bardzo dawna. Jednym z najstarszych systemów szczególnie rozwijanych do celów interaktywnych jest program, język programowania obiektowego Max/MSP17. Darmową alternatywą jest system PureData18. Trzecim poważnym darmowym konkurentem dostępnym na podstawowe platformy jest SuperCollider19. Algorytmy interaktywności powstają jednak niezależnie od stosowanych systemów oprogramowania i dotyczą zasadniczych formuł estetycznych. Autorskie metody sterowania strukturami dźwiękowymi i audiowizualnymi powstawały stopniowo od połowy lat 80-tych w grupach o różnym stopniu zaawansowania: 1. klasyczne

- nagłośnienie, rewersja przestrzeni widzialnej

- przetworzenie, modulacja, DSP

- Pitch to MIDI Converter

- Amplitude to CC Converter 2. detekcji

- Audio Time Triggering (ATT) - detekcja sygnałem audio zamienia zdarzenia akustyczne na serie implusów sterujących odtwarzaniem sekwencji cyfrowych. Premiera 1988 - komputer Yamaha CX5M - kompozycja Follow Me. (sterowanie MIDI Timing Clock)

- Light Time Triggering System (LTTS) - detekcja ruchem tłumaczy zmiany światła na serie instrukcji sterujących odtwarzaniem komputerowych sekwencji dźwiękowych. Premiera 1989 - komputer Yamaha CX5M kompozycja Wysyg.

- sterowanie MIDI Timing Clock

- Multi Controller Optical System (MCOS) - wielostopniowe sterowanie za pomocą wybranych kontrolerów - detektorów ruchu

- ControllerHierarhicAudioOpticalSystem (CHAOS) jest połączeniem systemu ATT z MCOS. Stosowany może być w oparciu o dowolnie wybrany interfejs, z zastosowaniem różnych urządzeń audio i wideo.

3. kompleksowe

MaWe 20 - MultiAplicantWaveEnvironment - Zintegrowany system interaktywny - patch w systemie Max/MSP. Zaprojektowany w 2003 roku przez Marka Chołoniewskiego i Marcina Wierzbickiego system przeznaczony był do początku do zintegrowanych procesów kompozycyjnych i wykonawczych. Rozwijany przez ostatnie 8 lat jest ciekawym rozwiązaniem programu muzycznego, w którym większość procesów kompozycyjnych i wykonawczych dotyczy metod interaktywnych. MaWe jest patchem w systemie Max/MSP, dostępnym na dwóch podstawowych platformach systemowych (MacOs, Windows). Przy jego pomocy skomponowano parędziesiąt utworów o bardzo różnej stylistyce. System MaWe jest syntezą najważniejszych elementów stosowanych w dźwiękowej sztuce interaktywnej. Może być stosowany zarówno w kompozycjach muzycznych jak i instalacjach dźwiękowych oraz audiowizualnych (moduł Movie).

17

www.cycling74.com 18

http://puredata.info 19

http://supercollider.sourceforge.net 20

www.mawesys.com

29

W modularnej strukturze systemu MaWe klawiatura komputera pełni funkcję podstawowego kontrolera. Może być równocześnie dublowana przez klawiaurę MIDI, Pitch to MIDI Converter, zewnętrzny moduł Amp_to_CC tłumaczący głośność dźwięku na informacje CC. Ważną częścią systemu jest zestaw wtyczek programowych dostępnych poprzez Plug-ins Manager zawierający 16 wejść dla zestawu oryginalnych algorytmów DSP oraz dający możliwość podłączenia wtyczek w formacie VST, które mogą być używane zarówno w formie wirtualnych instrumentów jak i procesorów. Wszystkie zmienne systemu mogą być sterowane przez zewnętrzne kontrolery dzięki programowalnym modułom: MIDI Module, Action Manager, Polycontroller Engine i Snapshot Manager. System jest używany od lat zarówno do tworzenia i wykonywania kompozycji muzycznych, projektów audiowizualnych jak i instalacji interaktywnych, dźwiękowych i wizualnych. System został zaprojektowany do obsługi wielokanałowej projekcji dźwięku (surround). 8 wyjściowych kanałów audio może wyznaczać formę przestrzennej projekcji kompozycji elektroakustycznej lub bryłę struktury przestrzennej interaktywnej instalacji dźwiękową dostępnej w jednym lub kilku niezależnych od siebie pomieszczeniach. W podobny sposób możemy zaprojektować rozmieszczenie konstelacji czujników wejściowych, dających szczególne możliwości synchronizacji zdarzeń, impulsów dostarczanych do systemu z różnych miejsc, tworząc zintegrowany system przestrzeni interaktywnych. System MaWe został zaprojektowany jako wszechstronny system interaktywny. Może być stosowany do działań muzycznych na żywo oraz do rejestracji i przetwarzania materiału dźwiękowego, do wykorzystania w działaniach studyjnych (np. muzyka na taśmę, przygotowanie ścieżki dźwiękowej do filmu, etc.). Dzięki modułowi „Movie” może być także użyty jako kompleksowe narzędzie do tworzenia skomponowanej lub improwizowanej ścieżki dźwiękowej do filmu. Biorąc pod uwagę różnorodność zastosowań oraz fakt, że program może być uruchomiony na komputerach o różnej mocy obliczeniowej i parametrach system MaWe został zaprojektowany w pięciu głównych odmianach, oferujących różny zestaw możliwości przy różnym obciążeniu procesora. Trzy z tych odmian posiadają dodatkowo opcję 8-kanałowej projekcji dźwięku. Głównym zadaniem MaWe jest odtwarzanie i nagrywanie plików dźwiękowych. Jakkolwiek MaWe oferuje szeroką gamę możliwości w tej dziedzinie, poszczególne moduły spełniają określone funkcje, a co za tym idzie różnią się pod względem obsługi i wykonywanych zadań.

30

Przygotowany materiał dźwiękowy podczas odtwarzania może być poddawany złożonym przetworzeniom. Wybrane moduły systemu zostały zaprojektowane do specyficznych zastosowań. Moduł MIDI posiada funkcję Learn do automatycznego przyporządkowania kontrolerów i wybranych parametrów sterowania. Szczególnie ważnym w systemie MaWe jest moduł Action Manager umożliwiający kompleksowe sterowanie wybranymi parametrami. Połączenie zmiennych obiektów graficznych do zewnętrznych kontrolerów MIDI stanowi podstawową zasadę tworzenia związków par wybranych kontrolerów21. Przyporządkowanie poszczególnych kontrolerów w różnych zakresach i kierunkach dostępny jest poprzez Polycontroller Engine. Zapis i interaktywne wyzwalanie struktur Macro dostępne jest poprzez moduł Snaphot Manager.

21

W instalacji qub ISA Harp jest kontrolerem sterującym odtwarzanie parudziesięciu plików audio z równoczesną projekcją dźwięku w systemie surround z zastosowaniem oryginalnego algorytmu “cienia rąk” polegającego na pozostawianiu brzmiących ścieżek w miejscach opuszczenia rąk z ramy ISA Harp.

31

VII. Zastosowania interakcji do wybranych projektów 1. Garage (2000)

interaktywny performance/instalacja, kompozycja audiowizualna na orkiestrę kameralną, ograniczoną publiczność, samochody i transmisję radiową.

Założenia

Orkiestra wykonuje partyturę specjalnie skomponowaną dla tego projektu. Muzycy znajdują się w wyciemnionym wielopoziomowym garażu. Samochody poruszające się po garażu oświetlają muzyków znajdujących się na zakrętach labiryntu wielopiętrowego garażu, sterując poziomem głośności poszczególnych instrumentów wg podstawowej zasady więcej światła głośniejsze dźwięki, mniej światła ciszej. Sterowanie głośnością odbywa się poprzez czujniki światła znajdujące się przed każdym muzykiem. Wykonywanie kompozycji transmitowane jest na żywo przez lokalną rozgłośnię radiową. Kierowcy i pasażerowie samochodów poruszających się po garażu słuchają muzyki wykonywanej przez orkiestrę poprzez radioodbiorniki w samochodach. Są zarówno współwykonawcami utworu jak i jego słuchaczami.

Przestrzeń

Projekt przeznaczony jest do wykonania w wielopiętrowym, wyciemnionym garażu. Dużych rozmiarów garaż może zastąpić wielopiętrową konstrukcję. Ścieżki garażu są od siebie odseparowane dla lepszej akustycznej izolacji. Cała przestrzeń musi być całkowicie wyciemniona. Z tego powodu podziemny garaż najlepiej nadaje się do realizacji projektu. Innym rozwiązaniem jest realizacja projektu w sezonie zimowym w godzinach wieczornych i nocnych.

Orkiestra

Zespół składa się z 12 - 16 muzyków. Dźwięki instrumentów są transmitowane wyłącznie za pomocą mikrofonów kontaktowych. Preferowany jest zestawienie instrumentów skrzypcowych z perkusyjnymi. Muzycy znajdują się na poszczególnych zakrętach garażu. Samochody przejeżdżające przez kolejne poziomy, lub sektory garażu oświetlają muzyków znajdujących się na zakrętach. Światło steruje poziomem głośności poszczególnych instrumentów poprzez system optyczny sterujący niezależnie głośnością sygnału akustycznego każdego instrumentu. Wszystkie linie z poszczególnych mikrofonów przesyłane są do samochodu transmisyjnego, w którym odbywa się miksowanie wszystkich instrumentów, Muzycy wykonują swoje partie z słuchawkami na uszach, w których otrzymują końcowy rezultat wykonywanego utworu, a także dodatkowe instrukcje dotyczące poszczególnych wejść, dynamiki, a zwłaszcza tempa wykonywanego utworu.

Wykonania krótkotrwałe i długotrwałe

Ilość samochodów wpuszczanych stopniowo do garażu w pierwszej części utworu powoduje powolne zagęszczenie faktury i powstanie ogromnej zmienności dynamicznej pomiędzy poszczególnymi partiami. Wyjeżdżające z garażu samochody powodują rozrzedzenie faktury utworu. W przypadku wielogodzinnych wykonań możemy wprowadzić różne stopnie zmienności wykonywanej wielokrotnie partytury. Niezależnie od ściśle zapisanego materiału muzycznego otrzymywać będziemy zmienną dynamicznie fakturę utworu. 2. Kłącza (2008) wg Deluze to instalacja interaktywna obejmująca podziemne przestrzenie Centrum Sztuki Współczesnej w Zamku Ujazdowskim w Warszawie. Projekt obejmuje liniową i równoczesną synchronizację 16 (8) ścieżek dźwiękowych przebiegających korytarzami łączącymi pomieszczenia ekspozycyjne wystawy przygotowanej przez BWA w Białymstoku we wrześniu/październiku b.r.

32

Do realizacji projektu wykorzystane będą technologie interaktywne tworzące jeden zintegrowany system dźwiękowy wykorzystujący programy Max/MSP (www.cycling 74.com) oraz Main Stage (www.apple.com). Poszczególne struktury dźwiękowe będą inicjowane przez publiczność w zależności od miejsca i szybkości poruszania się w korytarzach i pomieszczeniach końcowych. Ilość i gęstość struktur dźwiękowych zależeć będzie od ilości osób znajdujących się w poszczególnych pomieszczeniach ekspozycji. Każda sala ekspozycji dysponować będzie materiałem adekwatnym do tematów eksponowanych w poszczególnych częściach ekspozycji. Ruch i bezruch odwiedzających wystawę wprowadzać będą na żywo nawarstwienia i rozwarstwienia złożonej i cały czas zmieniającej się kompleksowej struktury dźwiękowej. Puste pomieszczenia zamierać będą w bezgłośnej i wyciszonej strukturze zawieszonej w oczekiwaniu na kolejne osoby odwiedzające wystawę.

VIII. Sztuka i technologia

System MaWe stanowi oryginalny przykład integracji wielu elementów, które w tradycyjnym modelu tworzenia kompozycji muzycznej są niedostępne. Modułowy system MaWe jest “instrumentem” służącym zarówno do komponowania jak i wykonywania muzyki. Linia podziału pomiędzy tymi procesami jest umowna. Obydwa procesy nakładają się na siebie i wpływają wzajemnie na siebie, stymulują procesy wzajemnych oddziaływań, równoległych i komplementarnych. Od kompozytora/wykonawcy zależy, który z używanych procesów stosowany jest do jakich celów. System MaWe został wykorzystany w wielu profesjonalnych projektach, a także wielu pracach studenckich. Dostępny jest na stronie www.mawesys.com. MaWe jest systemem darmowym, ogólnie dostępnym (Mac, Windows) zaprojektowanym także do działań edukacyjnych. Jest częścią programu projektowania technologii muzycznej dostępnej zarówno dla wykształconych muzyków, jak i amatorów. O rzeczywistym potencjale muzycznych programów komputerowych decyduje ich dostępność, łatwość obsługi, a co najważniejsze szeroki zakres zastosowań artystycznych. Przegląd kompozycji zrealizowanych za pomocą systemu MaWe najlepiej świadczy o jego wysokich walorach artystycznych.

Łączenie sztuki i technologii jest procesem ciągłym, naturalnie związanym z rozwojem cywilizacji ludzkiej. Pierwsze instrumenty muzyczne stanowią szczególny przykład wykorzystania technologii do zaspakajania głównych potrzeb życiowych, wśród których rytualne formy obrzędowe stanowiły ich szczególny przypadek. Rozwój technologiczny ostatnich dekad, a zwłaszcza powstanie społeczeństwa informacyjnego uruchomiło szereg procesów znacznie oddzielających naszą epokę od okresów wcześniejszych. W procesie tworzenia i wykonywania muzyki koncepcja instrumentu jest szczególnie ważna. Zastosowanie technologii elektronicznej i komputerowej w tworzeniu i wykonywaniu muzyki było jedną z zasadniczych przemian estetycznych i stylistycznych w II połowie XX wieku. Proces ten uległ ogromnemu przyspieszeniu w ostatnich latach. Zastosowanie systemów i instrumentów interaktywnych w połączeniu z typowym dla muzyki elektroakustycznej i sztuki audiowizualnej nieograniczonym bogactwem środków brzmieniowych i wyrazowych spowodował powstanie nowych form interaktywnej sztuki audiowizualnej.