Keväällä 2023 vastaan tuli useita houkuttelevia lehtijuttuja siitä, kuinka tekoäly korvaa kohta monien ihmisten työt tai vähintäänkin sujuvoittaa niitä. Hankekirjoittamisessa on paljon sellaisia työvaiheita, jotka vaativat paljon selvittelyä, tiedonhakua, aineistojen käsittelyä ja tulkitsemista – intuitiivisesti ajateltuna selkeitä mahdollisuuksia tekoälyn ja etenkin suurten kielimallien hyödyntämiselle siis.
Toinen meistä suunnittelee työkseen Jyväskylän ammattikorkeakoulussa paikallisia, kansallisia ja kansainvälisiä hankkeita ja auttaa muita niiden suunnittelussa. Toinen opiskelee Jyväskylän yliopistossa tieto- ja ohjelmistotekniikkaa. Kevään lopulla saimme kuulla, että Jyväskylän yliopistolle palkataan ohjelmistoalan opiskelijoita kesätyöläisiksi selvittämään ja testailemaan ChatGPT:n rajoja ohjelmoinnissa ja muussakin työnteossa. Tämän kirjoituksen opiskelijasta tuli yksi kesätyöläisistä. Tunsimme toisemme ennalta, joten jossain sivulauseen sivulauseessa päätimme, että testaisimme kesän aikana myös ChatGPT:n hyödyntämistä hankekirjoittamisen apuna.
Ennakkoluulot testailuun lähdettäessä
Tämän tekstin hankekirjoittamisen ammattilaisen oletus oli, että ChatGPT Googlen kaltainen hakupalvelu, mutta vain älykkäämpi. Sellainen, jota voi pyytää myös käsittelemään datamassoja ja tekemään niistä hyödyllisiä synteesejä. ChatGPT:n kykeneväisyyttä ja soveltuvuutta hankekirjoittamiseen hän epäili oikeastaan vain kahdelta osin: Ensinnäkin monet työvaiheet hankekirjoittamisessa ovat hyvin luovia ja vaativat paljon pähkäilyä ja ideointia sekä rahoitusinstrumenttien linjausten huomioonottamista. Nämä ovat juuri ne vaiheet, joissa ammattitaito hanketyöstä usein hyödyttää parhaiten hankekirjoittamisprosessia. ChatGPT:llä ei oletettavasti olisi tätä aika intuitiivistakin työtapaa ja kokemuspankkia käytössään, minkä vuoksi se ei välttämättä pystyisi olemaan ideointivaiheessa hyödyksi. Toiseksi aiempien tietojen ja tutkimusten (Wu, Duan & Ni, 2023; Beerbaum, 2023) perusteella meillä oli myös oletus siitä, että ChatGPT:lle ei kannata jakaa mitään sensitiivisiä tietoja, koska juuri kukaan ei pysty hallitsemaan sitä prosessia, mihin tietoja tullaan lopulta tekoälytyökalujen kautta käyttämään. Open AI tosin vakuuttaa, että haut ovat täysin tietoturvallisia (ks. https://openai.com/enterprise-privacy). Chat GPT:n asetuksissa kuitenkin lukee, että yritys tallentaa kaikki keskustelut. Näin ollen myös aiheutti epävarmuuden tuntemuksia, uskaltaako ChatGPT:lle antaa työstettäväksi sellaisia datamassoja, joiden työstämisestä olisi hankekirjoittamisprosessissa hyötyä.
Opiskelijalla oli käytössään ChatGPT-4, eli avoimesta versiosta päivitetympi ja kattavampi versio, jonka avulla pystyimme käsittelemään isompia tekstimassoja ja käyttämään myös joitakin lisäominaisuuksia, kuten internetin reaaliaikaisia hakuja. Myös tuo versio oli avoin, mutta sen käyttölisenssi maksoi noin 23 euroa kuukaudessa. ChatGPT on OpenAI:n GPT perheen käyttäjäystävällinen versio, joka mahdollistaa interaktion mallien kanssa chat-tyyliin. GPT-4 on chatin alla toimivista malleista yksi kattavimmista ja vertailutesteissä (ks. esim. https://lifearchitect.ai/report-card/ tai https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard) erinomaisesti suoriutunut, ja tietysti halusimme hyödyntää alalla sillä hetkellä eniten kohistua ja kaikille helposti saatavilla olevaa tekoälypalvelua.
ChatGPT hyödyntää kielimalleja, joille annetaan syötteenä tekstiä ja GPT-ohjelma laskee tekstin perusteella todennäköisimmän sanakkeen, joka tekstin perään tulee (Mitchell & Krakauer, 2023). Tätä toistetaan uuden sanakkeen kanssa ja niin edelleen, kunnes kasassa on hyvinkin inhimilliseltä kuulostava ote tekstiä. Maksullisessa ChatGPT4:ssä on mahdollisuus käyttää erilaisia lisäosia, esimerkiksi Wolfram Alphaa matemaattisten ongelmien ratkaisemiseen tai Browsing-laajennusta reaaliaikaisten hakujen tekemiseen, joka laajentaa käytettävissä olevat tiedot myös koulutusdatan jälkeisiin aineistoihin. Browsing-laajennus mahdollistaa siis myös aivan uusimman internetin sisällön käyttämisen taustatietona.
Tietojärjestelmien osaajana kaksikkomme opiskelijalla oli alustavaa ymmärrystä siitä, kuinka kyselyjä kannattaisi tehdä ja miten ChatGPT teknisesti toimii. Hän oli siis testaamisen tekninen asiantuntija.
Hankekirjoittamisen ammattilainen taas tunsi hankekirjoittamisprosessin ja pystyi arvioimaan missä tilanteissa ja kuinka hyvin ChatGPT kykeni avustamaan suunnitteluprosessia.
Testailun asetelma
Sensitiivisten tietojen kanssa emme ryhtyneet leikkimään, vaan testailimme ChatGPT-4:sta vain sellaisissa hankekirjoittamisen vaiheissa, joissa emme työstäneet esimerkiksi palkkaperustaisia budjetteja tai organisaatioiden omia tietoja. Samasta sensitiivisyyssyystä emme tässäkään paljasta mistä hankkeen teemasta tai rahoitusinstrumentista on kyse, tai millainen hankekonsortio tulisi olemaan. Aloitimme kuitenkin hankesuunnittelussa siitä kohdasta, josta tämän kirjoituksen hankeammattilainen aloittaisi muutenkin hankkeiden suunnittelemisen, eli loogisen viitekehyksen työstämisestä.
Looginen viitekehys, joka kulkee myös englanninkielisellä lyhenteellä LFM (Logical Framework Matrix) on hankesuunnittelun perustyökalu, jonka avulla pyritään täsmentämään kohderyhmät ja sen tarpeet hankkeelle sekä keinot (tavoitteet, työpaketit, resurssit, tuotokset) tarpeisiin vastaamiselle hankkeen avulla (ks. lisää esim. Golini, Kalchschmidt & Landoni, 2015). Yleensä tarve syntyy kentältä jostain tosielämän ongelmasta, mutta silti hanketta ei suunnitella vain sen perusteella. Hankekirjoittamisessa käydään keskustelua kentän kanssa tarpeista ja toimintatavoista, ja keinoja suunnitellaan monikerroksisesti yhdessä ja erikseen jotta hankkeesta saadaan suunniteltua selkeä ja toimiva kokonaisuus. Koko ajan pitää ottaa huomioon myös mahdollisten rahoitusinstrumenttien reunaehdot. Me toteutimme kokeilumme siinä vaiheessa hankesuunnittelua, kun olimme saaneet aiemmista hankkeista tietynlaisista kentän tarpeista ja nyt tuotimme niiden pohjalta ChatGPT:n avulla sellaista LFM:ää, jota voisimme sitten taas lähteä testauttamaan ja muokkailemaan kentän kommenttien perusteella. Hankesuunnitelmaa tuotimme tässä kohtaa suomeksi, suomalaisiin tarpeisiin ja rahoitusinstrumenttiin.
No miten meni niin kuin omasta mielestä?
Kesän perusteella testailijakaksikon hankesuunnitteluammattilainen joutui kääntämään mielipiteensä liki kaikista ennakko-oletuksistaan. Hänen kysyessä kaksikon teknisen asiantuntijan näkemystä testailun lopputuloksesta suhteessa ennakko-oletuksiin, oli vastaus samansuuntainen ja liki liikuttava: ”No siis mähän olin ihan utopistisuuteen asti tech bro ja uskoin että nyt maailma mullistu ja tuo malli tekee kaiken meidän puolesta, mutta ketuiksihan se meni”. Hyötyjäkin löytyi silti paljon.
Jo aluksi huomasimme erilaisissa testailuissamme, että toisaalta ChatGPT voi löytää paljon mielenkiintoista taustatietoa ja muovata niistä jonkunlaisen kuvauksen, mutta teksti voi sisältää täysin mielivaltaisia väitteitä, joihin viitataan tutkimustekstissä tekoälyn hallusinaatio-ongelmana (Zhang ym., 2023). Vaikka ei edes huomioitaisi tekoälyllä luodun tekstin eettisiä tai sosiaalisia seurauksia (Wu, Duan & Ni, 2023), on mainittava, että ChatGPT:n tuottama teksti on usein hyvin geneeristä, eikä kykene esimerkiksi tarjoamaan sellaista konkretiaa mitä rahoittajat varsinkin Suomen sisäisissä hanketeksteissä kaipaavat.
ChatGPT työsti meille erilaisia tekstejä, ja kun pyysimme sitä kuvailemaan asiat teknisen sijasta humanisteille sopivasti, saimme eteemme runouteen kallellaan olevaa termistöä, kuten puhetta taikasilloista. LFM:n työstämisprosessissa meidän piti olla vahvasti päättämässä ja linjaamassa työstöprosessia, sillä ChatGPT todellakin keksi vaikka mitä ja tuotti tekstiä niin paljon kuin vaan jaksoimme pyytää, mutta tekstin hyödynnettävyys oli todella huonoa. Jos pyysimme sitä etsimään esimerkiksi yrityksiä tietyltä toimialalta, ei se löytänyt välttämättä yhtään oikeaa, mutta saattoi keksiä itse jonkun oikealta kuulostavan yrityksen. Samoin kävi rahoitusinstrumenttien kohdalla: jos ajankohtaisin ja tarkin tieto oli esimerkiksi julkisessa verkossa olevassa PDF-tiedostossa avoimesti saatavilla, ei ChatGPT kyennyt avaamaan tuota tiedostoa, vaan käytti hyväksi jotain heikompaa tietolähdettä. ChatGPT ei siis kykene välttämättä avaamaan tiedostoja ja käyttämään niitä prosessoinnissaan hyväksi, jolloin Browsing-laajennuksesta ei ollut olettamaamme hyötyä työskentelylle.
Lisäksi huomasimme, että ChatGPT ei ollut hyvä ottamaan vastaan suuria tietomääriä ja työstämään niistä meille synteesiä. Vaikka GPT-4 malli ottaakin sisään 32 768 sanaketta, mikä kansankielellä kääntyy yli 25 tuhanneksi sanaksi, niin esimerkiksi tieteelliset artikkelit olivat liian pitkiä GPT4:n luettavaksi. Käyttöliittymä myös varoitti liian pitkistä syötteistä. Ratkoimme tätä pilkkomalla tekstiä useampaan syötteeseen, mutta tämä vei hieman tarkoituksen koko ideasta sujuvoittaa työtä, sillä oikean kohdan löytäminen dokumenteista oli nopeampaa manuaalisesti.
Näin ollen tekoälytyökalu ei yllättäen ollutkaan vielä korvaamassa meidän työtämme tiedonhaussa ja suurten datamassojen käsittelyssä. Tai varmaan se olisi voinut ollakin, jos olisimme ensin käyttäneet suuren määrän aikaa siihen, että olisimme saaneet kaikki tiedot ja kysymyksen sellaiseen muotoon, joiden kautta ChatGPT voi niitä hyödyntää. Totesimme kuitenkin, että saamme itse tehtyä nuo tiedonhaut tai tietojenkäsittelyt paljon nopeammin ilman tekoälyä, joten tekoälytyökalun hyöty oli hyvin kyseenalainen. Samoin olisimme joutuneet tarkistamaan sen hyödyntämät taustat ja tuotokset läpikotaisin, jolloin aikaa olisi kulunut vielä enemmän.
Yllättäen kuitenkin ChatGPT oli verraton ideointikumppani. Se jaksoi työstää meille erilaisia otsikkovaihtoehtoja, jotka olivatkin yllättävän täsmällisiä sen jälkeen, kun osasimme antaa sille hankkeen taustat ja tavoitteet. Taustojen kaiveluunkin olimme hyödyntäneet tekoälyä, mutta tavoitteet piti linjata manuaalisesti, jotta ne sopivat tarpeisiin. Taustojen ja tavoitteiden pohjalta ChatGPT osasi myös muotoilla erilaisia skenaarioita työpaketeista ja niiden mahdollisista sisällöistä, ja kykeni linjaamaan niitä hyvin rahoitusinstrumentin vaatimuksiin. Samoin ChatGPT tuotti ihan toimivia skenaarioita riskeistä. Skenaariotyökalu olikin lopulta se sana, joka kokeilusta jäi vahvimmin mielen päälle. Miten tuo faktakysymyksissä hallusinoiva kone kykeni tuottamaan niin monenlaisia ja värikkäitä vaihtoehtoja aina silloin, kun meillä oli vain intuitiivinen ajatus siitä, mitä kaikkea hanke voisikaan joltain osin olla? ChatGPT tuotti väsymättömästi listan erilaisia vaihtoehtoja, joista valitsimme parhaimman tai parhaimmat ja pyysimme sitä generoimaan näistä aiheista lisää. Onnistuimme tämän työtavan kautta iteroimaan omia ajatuksiamme lähemmäs sitä, minkä ajattelimme olevan järkevää. Lisäksi saimme ChatGPT:n kautta esiin monia sellaisia vaihtoehtoja, joita emme olisi edes keksineet ajatella.
Skenaariotyössä ChatGPT saikin olla se aivoton jauhaja, joka kehitteli pyynnöstämme lukuisia erilaisia ja jopa hyvin mielikuvituksellisia vaihtoehtoja, joiden ei tarvinnut olla oikein tai täsmällisiä. Riitti, että niitä oli paljon ja, että niissä oli otettu rahoitusinstrumentin linjaukset huomioon. Jälkimmäiset saatoimme syöttää ChatGPT:lle kopioimalla rahoitusinstrumentin ohjeista tekstiä ja syöttämällä sen tekoälylle luettavaksi ja muistettavaksi.
Säilytetty ammattiylpeys ja muuttuneet ennakkoluulot
Ennakkoluulomme siis vaihtuivat kokeilun myötä uudenlaisiin käsityksiin siitä, mihin tekoälytyökalusta voi olla hyötyä hankesuunnittelussa ja -kirjoittamisessa. ChatGPT ei yllättäen ollut käyttökelpoinen tiedonhaku- tai tiedonkäsittelytyökalu siinä määrin kuin mitä olimme odottaneet. Sen sijaan ChatGPT oli verraton skenaariotyökalu aina kun piti ideoita jotain. Se jaksoi uupumatta ja pyyntöihimme hermostumatta tuottaa meille erilaisia vaihtoehtoja ja näkökulmia sellaisissa tilanteissa, kun emme olleet itse ihan varmoja, mitä haimme. Niiden vaihtoehtojen kautta saimme eteemme sellaisia konkreettisia mahdollisuuksia, joiden kautta kykenimme miettimään, mihin suuntaan haluamme viedä hanketta ja millaisia erilaisia vaihtoehtoja eri kohdissa todella olikaan olemassa. Keskeistä näille skenaarioille oli tosiaan se, ettei näissä hankesuunnittelukohdissa tarvittu faktoja tai juuri tietynlaista tekstiä, vaan niillä oli lupa olla aivan mitä tahansa. Ne antoivat meille erilaisia vaihtoehtoja, joiden kautta saatoimme valintoja tekemällä ja keskenään keskustelemalla iteroida kohti sitä mihin halusimme tavalla tai toisella päätyä. Ammattiylpeytemme ei siis saanut kolausta ChatGPT:n kanssa työskentelystä, vaan saimme siitä uudenlaisen ideointivälineen työarkeen.