Projekt AIR iz ust njegovih avtorjev

Na sedežu programa Ars, na Radiu Slovenija, smo 14. decembra 2023 prisluhnili avtorjem tehnološkega dela platforme AIR: Gregorju Piršu, Janu Joni Javoršku in Mihi Valenčiču; četrti ustvarjalec, Joh Dokler, ni bil prisoten. Z njimi se je pogovarjala Anamarija Štukelj Cusma. Platformo so zasnovali v okviru evropskega projekta B-AIR (Creative Europe 2020–23), kjer si je devet mednarodnih partnerjev zadalo nalogo, da razišče povezave med umetnostjo in znanostjo, preuči vpliv zvoka na človeka ter ustvarja zvočno in radijsko umetnost za dojenčke, malčke in ranljive skupine. AIR deluje kot mednarodna radijska platforma za umetniško spletno sodelovanje v realnem času. Dopolnjujejo in nadgrajujejo jo tehnologije analize in označevanja zvočnih tekstur z vmesnikom za strojno učenje in je trajna naložena na strežnikih Instituta Jožef Stefan v obliki zvočne skulpture. Drugače povedano, gre za umetniški spletni kanal, ki »prisluškuje svetu zvočnih dogodkov, jih pomni in v času, ko se na njem nič živega ne dogaja, predstavlja njihove fragmente v vedno novih in novih kombinacijah, vse do konca časa ali pa naše tehnološke ere«.

Kot so avtorji zapisali na svoji spletni strani, je namen platforme AIR razširiti ponudbo profesionalne radijske studijske infrastrukture in satelitskih zvočnih tokov z umetniško in refleksivno spletno radijsko platformo. »Zvočna in radijska umetnost za dojenčke, malčke in ranljive skupine, ki smo jo zasnovali v okviru projekta B-AIR, se predstavi tudi na kanalu AIR. Kot mednarodna radijska platforma za umetniška spletna sodelovanja v realnem času, nadgrajena in dopolnjena s tehnologijami shranjevanja, teksturne analize zvoka in inteligentnega re-kombiniranja zvočnih materialov, je platforma AIR pravzaprav 'končna ustvarjalna meta-refleksija’ umetniških zvočenj, ustvarjenih v treh letih projekta B-AIR. Zvočna skulptura iz fragmentov zvočnih materialov B-AIR, ki bo ostala kot mnogoobrazen, izmuzljiv, pa hkrati trajen spomenik ustvarjalnim prizadevanjem projekta B-AIR.«

Ideja za projekt se je porodila leta 2018 na srečanju evroradijske skupine zvočnih umetnikov Ars Acustica, kjer je skladatelj in urednik uredništva za resno glasbo programa ARS Gregor Pirš začutil, da bi bila ta ideja potencialno zanimiva, in jo je predstavil kot enega od projektov, s katerimi naj bi se ta skupina v bodoče ukvarjala. Stvar je ostala na ravni zamisli vse do trenutka, ko sta moči združila s Saško Rakef Perko in z uspehom na razpisu Creative Europe s projektom B-AIR odprla možnosti za partnersko sodelovanje med ustanovami pod vodstvom RTV Slovenija. In to je omogočilo tudi razvoj osrednje osi projekta B-AIR, platforme AIR. 

Praktična zgodba o AIR se začenja pri hardverskih kapacitetah. Kot je pojasnil Jan Jona Javoršek, vodja Centra za mrežno infrastrukturo Instituta Jožef Stefan, ima inštitut že nekaj izkušenj z zagotavljanjem tovrstne infrastrukture. Poskrbeli so za začetne sisteme za testiranje, opremljene z udobnimi skladiščnimi kapacitetami in neposredno povezljivostjo s hrbtenico inštituta ter prek nje z nacionalnim omrežjem Akademske raziskovalne mreže (Arnes) in GÉANT. Ta postavitev omogoča dodatno povezljivost, vključno s povezavami z nizko zakasnitvijo (tj. na podlagi izkušenj z LOLA, sistemom za pretakanje zvoka in videa z nizko latenco, kot sta LoLa na Arnesu in LoLa [https://lola.conts.it]). Kasneje v projektu, ko so bile posebne zahteve dobro znane, so sisteme nadgradili z namenskimi strežniki B-AIR, opremljenimi s sistemi za vroče varnostne kopije, kar zagotavlja, da bo platforma umetnikom na voljo še dolgo časa. 

Institut Jožef Stefan je zagotovil strokovno ekipo, ki je vključevala zunanje sodelavce in razvijalce in je sestavila ogrodje iz različnih modulov odprtokodne programske opreme – Jack Connection Kit in Jacktrip. Na ta način so glasbenikom zagotovili nizko zakasnitev v živo po internetni povezavi. Ekipa umetnikov in producentov, združena pod okriljem programa Ars RTV Slovenije, je pod budnim očesom razvijalca Mihe Valenčiča opravila obsežno testiranje. Miha Valenčič je pripravil tudi podrobna navodila za priklop na umetniške seje. Sledila je stopnja ustvarjanja avtorske programske opreme. Osrednje stičišče sistema, spletna mešalna miza air-coremixer, je v vizualnem okolju za delo z zvokom PureData ustvaril Gregor Pirš. Miha Valenčič je na odprtokodnih knjižnicah zasnoval AIR Recorder, sistem za samodejno hkratno shranjevanje vseh stez vsakega posameznega projekta, Joh Dokler pa centralni odločevalni modul, airblender, ki deluje kot nekakšen strojni didžej ali tonski mojster v obliki digitalne marionete.

17. januarja 2023, na rojstni dan umetnosti (dogodek evroradijske skupine Ars Acustica), je napočil čas za krst prve faze projekta. Umetniško vodenje sodelovalnega zvočnega tkanja The Kitchen je za ta posebni evroradijski večer na pobudo Marcusa Gammla, člana in nekdanjega predsednika skupine EBU Ars Acustica, prevzel britanski elektronski glasbenik Matthew Herbert. Ob sodelovanju oddaljenih zvočnih virov, s katerimi je upravljala ad hoc skupina umetnikov na relaciji Dunaj–Karlsruhe–London–Los Angeles (Alien Productions – Martin Breindl, Norbert Math in Andrea Sodomka, Eric Maltz, Kim Wichera, Samantha Simmons, Hayden Dean), je pripravil uro zvočenja na temo kuhinje, kuhanja, hrane, receptov in kuhinjskih potrebščin. To je tudi prvi posnetek v knjižnici platforme AIR. Pri izvedbi projekta The Kitchen so se avtorji spopadli s problemom, kako priklapljati posamezne umetnike na njihovem domu oziroma kako premoščati razlike med različnimi tipi programske opreme in operacijskih sistemov. Spletna mešalna miza air-coremixer se je izkazala za učinkovito orodje, saj v svojem jedru združuje možnost nadzora v živo (GUI) in oddaljenega tekstnega algoritmičnega krmiljenja preko strojnih ukazov (po protokolu OSC), s katerimi je mogoče v trenutku nasloviti kompleksne kombinacije stez in parametrov. Sodelujočim umetnikom v živo preko povezave Jacktrip ponuja oddaljeni zvočni monitoring v obliki minus-miksa in minimalne zakasnitve, tako da lahko vsi sledijo razvoju zvočenja, kot da bi bili prisotni v studiu. Obsega lahko poljubno število kanalov in omogoča preprosto in intuitivno oddaljeno delo v realnem času. To vključuje prelivanje zvokov po kompleksnih krivuljah, množično nadziranje standardnih mešalnih funkcij s pomočjo zgoščenih besedilnih ukazov, predvajanje ali snemanje zvočnih datotek na posameznih stezah neposredno na strežniku, oddaljeno predposlušanje posameznih kanalov, avtomatično skrb za mikrokozmetiko končne zvočne slike in različne načine monitoringa stanja mešalnih parametrov po protokolu OSC. Namenjena je vključevanju v različne umetniške scenarije in softverske kontekste, zaradi odprtokodne zasnove pa ponuja tudi možnost hitrega nadaljnjega razvoja v skladu z različnimi umetniškimi idejami. Kadar air-coremixerja ne uporabljajo za izvedbo živih zvočnih dogodkov, ta deluje kot kompleksen večkanalni predvajalnik, s pomočjo katerega Doklerjev airblender ves čas producira neskončni zvočni tok AIR (Abstract Infinity Radio). Ta del avtorji štejejo za drugo fazo projekta. 

Na prizoriščih B-AIR-ovih zvočnih dogodkov, ki so zaobjeli široko paleto žanrov, od simfonične glasbe in zvočne umetnosti do radijske igre (vse seveda za dojenčke, malčke in ranljive skupine), je nastala vrsta posnetkov, denimo posnetki treh simfoničnih koncertov projekta B-AIR (novosti skladateljic Larise Vrhunc, Svetlane Maraš, Petre Strahovnik in skladatelja Mateja Bonina), posnetki iz zakladnice projekta The Evening of Sounds, nastali v sodelovanju med Univerzo vzhodne Finske in finskim radiem YLE, posnetki zvočno-umetniških raziskovanj v okviru festivala B-AIR Global SpecifiCity (Tomaž Rauch, Aernoudt Jacobs, duo Merzouga, Radio Cona) idr. (https://b-air.infinity.radio/en/channels/air-channel/air-recordings/) Ti posnetki so praviloma mnogokanalni, tako da obsegajo več različnih zvočnih vtisov s posameznega dogodka. Umeščeni so v AIR-ovo knjižnico na strežniku in so podlaga za oblikovanje končne zvočne podobe AIR. Pomemben most med njimi in komandnim modulom (Doklerjevim airblenderjem) je zbirka analitičnih orodij, zasnovanih v sistemu PureData, ki jo je avtor Gregor Pirš poimenoval airoscope. Na podlagi kompleksne in dokaj intuitivne analize tempa, dinamike, tonskih višin in potencialno še drugih parametrov slišanega pripravljajo ta orodja metapodatke, na podlagi katerih se potem airblender odloča za uporabo posameznih fragmentov posnetkov. Pri tem se po Doklerjevih besedah naslanja na nabor hevristik, razvitih s človeško interakcijo s sistemom, pa tudi na stohastiko, ki zagotavlja elemente nepredvidljivosti in odpravlja morebitno ponavljanje. Dokler je razvil številne algoritme, ki izbirajo, kaj naj se predvaja (trenutno v osemkanalnem okolju) v določenem trenutku. Algoritmi segajo od preprostih rešitev, kot je »predvajaj del zvočnega posnetka na kanalu x«, in postajajo postopoma bolj zapleteni v smislu tega, kaj počnejo, in tega, kako so orkestrirani po različnih kanalih. En primer kompleksnejšega enoslednega algoritma je tisti, ki predvaja drseče okno z različnimi velikostmi oken na podlagi Fibonaccijevega zaporedja. Ali pa na podlagi analize temperamenta odigra progresijo delov, ki sledijo določeni sekvenci tonskih višin. Končni rezultat tega kompleksnega procesiranja potem prevzame zadnji člen zvočne verige, strežnik za pretočne vsebine, ki ga je postavil Miha Valenčič. Tu se tehnološka veriga platforme AIR konča in pretopi v dejanski zvočni rezultat, javno dosegljiv na spletu: https://b-air.infinity.radio/en/channels/air-channel/. 

Projekt B-AIR se je uradno končal 22. decembra 2023, platforma AIR pa svoje življenje in razvoj nadaljuje. 17. januarja 2024 bo program Ars Radia Slovenija z njo sodeloval v okviru projekta rojstni dan umetnosti evroradijske skupine Ars Acustica. Od tod dalje pa so stvari odprte za vse zvočne avanturiste, tehnologe in ustvarjalce platforme ter tudi za morebitni nov projekt, ki bi prototipske tehnološke rešitve platforme razvijal dalje. Načrt razvijalcev je, da vzpostavijo platformo za širšo umetniško iniciativo, ki bi AIR zgotovila nove zvočne materiale. Tehnološko pa jo v bodoče želijo razširiti z možnostjo evalvacije posameznih zvočnih situacij, ki bi pozneje omogočila uporabo metod strojnega učenja pri odločitvah o tem, kako naj se zvočni fragmenti združujejo med seboj. Pomembna razlika med filozofijo platforme AIR in v zadnjih letih vse popularnejšo uporabo umetne inteligence je, da AIR ne želi nadomestiti pristne umetniške iniciative s strojnimi metodami, ampak ravno nasprotno: osrednji namen je razširiti človeško ustvarjalnost s strojnimi metodami oziroma v končni konsekvenci narediti stroj bolj človeški. 

* Pri pripravi tega prispevka sta sodelovala Gregor Pirš in Jan Jona Javoršek.