Keuda2022kasikirjoitus
Metaversumi oppimisen, tekemisen ja kohtaamisten tilana
Risto Linturi
Esityksessään Linturi tarkastelee paljon lupaavan Metaversen nykytilaa, yhteensopivuuksia, kehitystyökaluja, mahdollisuuksia ja sovelluksia. Julkisuudessa näkyneen Metaksi muuttuneen Facebookin sijaan NVidia on yksi metaversumin keskeisiä toimijoita, Pixar keskeisimpien rajapintojen kehittäjä. Linturin esitys on tuotettu metaversessä ja sen tekemiseen on osallistunut useita tekoälyjä.
Alkulogo 33s
RistojaEcho (Echo etsii Riston ja herättää tämän puhumaan.)
SpeecheloEcho1 49s (VirtHKI_Echo): Hei kaikki, Riston piti olla puhumassa, mutta hän on hukkunut johonkin pelimaailmaan. Tämä maasto on kyllä aikamoista hiekkaerämaata. Nyt näkyy jotakin – olisiko muistelemassa vanhoja?
Täällä Virtuaali-Helsingin pioneeriajan vanhoissa raunioissa hän ei näytä olevan. Minä olen Windwalker Echo ja metsästän yleensä jättiläisiä.
WindwalkerEchoMeetsRisto: No – nyt Risto näkyy. Löytyy virtuaalimaailman reunalta. Taitaa olla jumissa. Käyn tökkäämässä, josko heräisi käyntiin.
Risto 23s: Jaahas, tervehdys Echo ja kaikki te muutkin. Nyt olemme Unreal Engine -alustalla. Täällä pelaajat ja heidän hahmonsa voivat kohdata toisensa ja jutella keskenään samalla, kun pelaavat tai opettelevat virtuaalitodellisuuteen rakennettujen tehtävien parissa.
Viikinkilinnavideo 44s: Olen luvannut puhua Metaversestä ja täällä nyt sitten olen. Muutama kolleega järjesti keskustelun metaversestä – ja istuivat kameran ääressä. En ymmärrä – metaversumista puhutaan metaversessä. Siirryin nyt vanhaan viikinkilinnaan. Metaversumi oppimisen, tekemisen ja kohtaamisen tilana. Edetään tuossa järjestyksessä. Aloitetaan tilan ja paikan merkityksestä. Siirrytään paikkaan, jonka merkitys on helpompi muistaa.
OvalOfficeRisto 52s: Tämän presidentillisen virkahuoneen ostin samalla hinnalla kuin virtuaaliset housut. Virtuaalisia tiloja on varsin helppo tehdä. Ja paikat ovat oppimiselle tärkeitä. Ihminen muistaa tarinoita. Tarinoihin liittyy roolihenkilö, aika ja paikka, olipa kerran, kauan sitten, pieni kissa valkoisessa talossa. Kehoni liikkeet ja ilmeeni ovat mocap-varusteilla tehtyjä, palaan siihen myöhemmin. Kokonaisuutena nyt ollaan iClone7 puolella, jossa olen pääosan animaatioistani tehnyt.
Keittio 1:10s:Nyt siirryin omaan keittiööni. Skannasin tämän iPhonen avulla. Ammattimaisemmilla vehkeillä saa laadukkaampaa jälkeä aikaan, mutta jo tässä huomaatte, miten helppo on tuottaa tilaan liittyvää opetusaineistoa – vaikkapa esitellä tilaan liittyviä varusteita. Ja tämänkin tilan saa toki siirrettyä peliympäristöön muidenkin vierailtavaksi.
Glue 1:04s: Kohtaamisten merkitys on opetuksen ydin. Voimme kohdata ongelmia ja mahdollisuuksia. Peleissä ne motivoivat ja innostavat. Ihmisten kohtaaminen on tärkeää merkitysten ymmärtämiselle. Tässä on Glue -ympäristö. Monille tuttua Alt Space -tyyliä, mutta kaikilla mausteilla. Nykyversio sisältää sen, minkä Microsoft ja Meta lupaavat omaksi metaversumikseen, Teamsin seuraajaksi. Huomaatte, että hahmot ovat nukkemaisia – kaikilla ei ole vielä ole tehokasta pelikonetta, joka näköismalleihin vaaditaan ja lisäksi – kuten ehkä jo huomasitte, hieman pieleen menneet näköismallit näyttävät hiukan kammottavilta. Mutta eteenpäin kuin mummo lumessa.
Piano 42s + 28s: Tätä soiton opetukseen liittyvää ohjelmaa kokeilin. Odottelen seuraavaa versiota, johon saan oman hahmoni. Ohjelmaan syötetään musiikki, jonka soittaja sitten esittää. Myöhemmässä versiossa pianon ääreen voi asettua virtuaalilasien avulla ja pyrkiä matkimaan soittavia käsiä. Mallioppiminen on tarinoiden lisäksi luonnollisimpia oppimisen tapoja. (Tähän 7:02s)
Metsa 46s: Siirrytään metsään. Tämä 50km2 metsä on osoitus Unreal Enginen voimasta. Näette tässä reaaliaikaisen ruutukaappauksen. Lentäminen on jo pitkään opeteltu simulaattorilla. Myös autoilu, metsätyökoneiden käyttö ja lukuisat muut taidot voidaan opetella aluksi simulaattorien avulla. Yritin opetella laulamaan, kiinnittäkää tässä huomiota erityisesti huulisynkkaan. Kasvonilmeet ja huulisynkan on äänitteen perusteella tuottanut Omniversen Audio2Face.
Metsalaulu 34s.
Pariisi 41s: Katsotaan samantien kaupunkimaisemaa. Tämä osa Pariisia on siirretty paikkatietojärjestelmien globaalin markkinajohtajan tietokannasta. Unreal Engine kykenee lukemaan hyvin monenlaisia 3D-malleja. Lähes mikä osa maailmaa tahansa on jollakin tarkkuudella siirrettävissä näille pelialustoille. Siirsin tuonne vielä auton ja ryhdyin ajamaan. Vähän kesken tämä jäi, kun mallissa oli vain rakennukset, ei katuja. Mutta saatte kyllä idean.
BMW_Tehdas 1:29s: Digitaaliset kaksoset ovat erityisen tärkeitä oppimiselle. Tämä on BMW:n uuden tehtaan digitaalinen kaksonen. Tehtaaseen voi mennä virtuaaliselle vierailulle. Kaikki koneet toivovat ja ihmiset suorittavat kaikkia työvaiheita, jotka autojen valmistus kokoonpanolinjalla vaatii. Tämä on toteutettu NVidian Omniverse -ympäristössä. Omniverse on kiehtova alusta. Se perustuu Pixarin USD-formaattiin, joka on vähän sama kuin HTML internetissä. USD mahdollistaa sen, että kehittäjät voivat kohdata toisensa Omniversessä – kukin omilla työkaluillaan. Joku voi tuoda ympäristön ESRIn paikkatietosovelluksella, toinen tehdasmallin Catialla, kolmas ihmiset jo mainitsemallani iClonella ja näin edespäin. Kukin voi muokata omia osuuksiaan omilla sovelluksillaan ja yhteinen kuva muodostuu Omniversessä sen mukaan. Katsotaan seuraavaksi iClonessa tekemäni räppi, jonka olen siirtänyt USD -formaattiin ja tässä näette sen Omniversen renderöimänä.
Vessatanssi: 48s (12:00s tähän)
Kirjastopuhe (1:15s) (tekstiselityksellä)
Synthesiaruutu 44s: Katsotaan muutamia hyödyllisimpiä työkaluja yksi kerrallaan. Aloitetaan yksinkertaisimmasta, joka auttaa vaikkapa kielenopiskelussa ja aina, kun ette halua katsoa itse kameraa. Tämä on synthesia. Valitaan puhuva pää – otan omani. Voin ladata äänitteen, mutta kopioidaan DeepL-ohjelman japaniksi kääntämä lause, jossa kehutaan Keudaa. Ja lisään pari muutakin. Käynnistän prosessin, hyppäämme odotuksen yli ja katsotaan nyt tulos.
Synthesia 1:15s: Keuda on hieno oppilaitos, ja tämä seminaari on aivan paras Suomessa, on kunnia osallistua tähän! japani, italia, kreikka, saksa (13:56s)
Replicaruutu 39s: Replica on kiehtova tekoälyohjelma. Sillä voi tuottaa luonnenäyttelijöiden, siis ääninäyttelijöiden puhetta tekstistä. Sotaisia, haikeita, nuoria, karuja, murteisia, romanttisia, vanhoja ääniä. Ohjelma onnistuu yllättävän hyvin lukemaan ja rytmittämään jopa runoja. iClone-ohjelman kanssa Replica toimii yhteen siten, että se tuottaa kasvoanimaation puheeseen sopivalla tavalla. Katsotaan esimerkki:
Replican Herculeksen lukema sonetti 55s
CharacterCreator 38s: Character Creator on yksi kehittyneimmistä ihmishahmojen tekoon keskittyneistä välineistä. Muutaman tunnin työllä ihmiset saa mallinnettua varsin tarkasti, etenkin jos taiteellisia lahjoja on minua enemmän. Hahmot voi vaatettaa haluamallaan tavalla. Hahmoja ja vaatteita on runsaasti ostettavissa. Täältä hahmot siirtyvät vaatteineen USD- tai FBX- tai iClone -formaatissa muihin sovelluksiin.
iCloneruutu 31s: iClone on animointisovellus. Sovellukseen voidaan ladata maisemia, tiloja ja esineitä sekä hahmoja. Hahmot saadaan liikkumaan joko vaivalloisena käsityönä siirtelemällä kaikkia niveliä tarpeen mukaan tai käyttämällä valmiiksi nauhoitettuja animaatioita. Näitä voi tuottaa mocap -varusteilla itse tai käyttää muiden tekemiä nauhoitteita.
Mocap 1:06s: mocap-välineitä on erikseen kasvoja ja kehoa varten. Tavallisimmin kasvoanimaatio tuotetaan iPhonen ARKIT -pohjaisella sovelluksella, eli kamera muuttaa kasvonilmeet animaatioksi. Kuten aiemmin sanoin – myös äänen mukaan voidaan tuottaa kasvoanimaatio. iClone osaa sen suoraan tyydyttävästi, mutta sovelluksista Omniversen Audio2Face ja Replica paljon paremmin. Kehon liikkeiden animointi käsin tuottaa helposti kömpelön tuloksen. Kamerakuvasta kehon liikkeitä jäljittävät järjestelmät ovat tyypillisesti hyvin kalliita, mutta Omniversen Machinimaan sisältyvä maksuton ohjelmisto kykenee tyydyttävään tulokseen. Päälle puettava mocap -puku on astetta arvokkaampi, mutta tuottaa varsin hyvää laatua.
Senseglove-video 1:30s tähän 20:38s tässä
USD_FBX 50s: iClone on hyvä ohjelmisto animointiin, mutta sillä on rajansa. Tulokset on siirrettävä muille alustoille, jos halutaan kohtaamisia virtuaalimaailmassa tai laajoja ja laadukkaita ympäristöjä. Mallit animaatioineen voi siirtää vanhassa FBX - tai uudemmassa nopeasti yleistyvässä USD -tiedostoformaatissa. FBX on Autodesk-taustainen ja laajasti tuettu siirtoformaatti. USD on Pixarin elokuvakehitystään varten luoma ja avoimeen koodiin luovuttama rajapinta, joka sisällön lisäksi tukee reaaliaikaista yhteiskehittämistä eri välineillä.
Matrix 1:21s: Näytin aiemmin reaaliaikaisen videon Unreal Enginen tuottamasta metsästä. Tässä toinen animoitu esimerkki reaaliaikaisesta suorituskyvystä RTX 3090 -grafiikkaprosessorilla varustetusta PC:stä. Kyse on Unrealin uudesta UE5 -versiosta ja Matrix-elokuvasta tutusta kaupungista. Varsinaisiin pelikoneisiin tästä on saatavana myös pelattava versio, jossa Keanu Reeves ja Carrie-Anne Moss ovat hämmentävän todellisen näköisinä mukana. Tässä on tyytyminen tekoälyn liikuttelemiin Metahuman hahmoihin ja autoihin. Omat hahmoni voisin toki sijoittaa tuonne mukaan ja rakentaa tämän päälle jonkin pelin. Tai ihan tällaisenaankin tämän voisi tuottaa kohtaamispaikaksi pilvipalveluun tai riittävän tehokkaiden koneiden omistajille.
OmniverseR 1:08s: Kun halutaan elokuvalaatua, voidaan kuvien laskentaan eli renderöintiin käyttää enemmän aikaa. Uusin tekniikka laskee valonsäteiden heijastumista ja taittumista eri pinnoista useiden “pomppujen” päähän. Pintamateriaalien valinta siten, että ne heijastavat valoa oikealla tavalla on hifistelyä, mutta lopputuloksen erottaminen oikeasta todellisuudesta vaatii ammattilaisen silmää. Yhä useampi suunnittelutehtävä voidaan tehdä näillä tekniikoilla. Tässä Omniversessä renderöity esimerkki – ensikertailaisen räpellystä, kun en osaa Omniversen kameratekniikkaa ja valaistusta kunnolla. Hahmon animaatioineen toin iClonen puolelta USD-tiedostona, ullakkohuone tuli Omniversen mukana.
Maxinevideo 55s – tekstillä NVidian Maxine lupaa paljon ja odotan tätä saataville!
Loppulogo 10s