Sellel veebilehel kasutatakse küpsiseid. Kasutamist jätkates nõustute küpsiste ja veebilehe üldtingimustega

Nõustun

Analüütika ja suurandmed

Suurandmed on hiigelsuured ja isetekkelised andmekogumid, mis võimaldavad keerukat andmeanalüüsi spetsiaalse arvutitarkvara abil.

Andmeanalüütika on andmeteaduse meetodite praktiline rakendamine suurandmete automatiseeritud töötlemisel, mille tulemusena valmivad diagrammid, trendiprognoosid ja soovitused aitavad ka ilma programmeerimis- või statistikahariduseta inimestel langetada tõenduspõhiseid otsuseid.

Kui varem tegelesid teadusasutused ja suurfirmad statistilise analüüsiga (nt uuringute, aruandluse või prognooside eesmärgil), lähtuti andmete kogumisel eelnevalt fikseeritud uurimisprobleemist ja -meetodist. Sellisel puhul tekkisid andmed alles uuringu käigus, näiteks küsitluste, mõõtmiste või vaatluste abil.

Tänapäeva tehnoloogiarikas keskkond tekitab andmebaasidega ühendatud interaktiivse kasutajaliidese, sensorite, kaamerate jms tõttu pidevalt tohutus koguses andmeid. Spetsiaalne tarkvara oskab neid andmeid analüüsida (rühmitada, mustreid võrrelda, trende ja seoseid leida) ka siis, kui inimene pole selget probleemipüstitust teinud.

Kui Mari hommikul autoga töökoha parklasse siseneb, kerkib tõkkepuu automaatselt, sest kaamera tuvastab auto numbri parklalubade loendist. Igast sisenemisest ja väljumisest jääb kanne parkla andmebaasi ja turvakaamera salvestisele. Majja sisenemiseks avab ta ukse magnetkaardiga, mis jätab jälje turvaandmebaasi. Oma kabinetti jõudes ja oma e-postkasti kasutades jääb igast tegevusest jälg mõnda andmebaasi.

Kui Mari peaks krimifilmidest tuttava stsenaariumi korral ootamatult kaduma, saaks politsei kõiki neid andmebaase korraga spetsiaalse tarkvara abil uurida ja otsida nii tüüpmustreid kui ka kõrvalekaldeid tavapärasest tegutsemisest, mis aitaksid selgitada inimese haihtumise põhjuseid.

Tänu suurandmetele on andmeteaduse (data science) valdkonnas tekkinud klassikalise statistilise andmeanalüüsi kõrvale uue koolkonnana andmeanalüütika (data analytics), mis küll osaliselt kattub uurimisprobleemide, -meetodite ja -vahendite osas statistilise analüüsiga, aga teisalt vastandub sellele. Andmeanalüütika peamine erinevus on keerukate arvutialgoritmide usaldamine mustrite, trendide ja seoste otsimisel, ilma et inimene oleks esitanud suunavat uurimisküsimust.

Andmete visualiseerimine

Kuna inimene peab lõpuks ikkagi suutma mõista ka arvuti leitud seoseid ja neid praktiliste otsuste langetamisel kasutada, pööratakse andmeanalüütikas palju tähelepanu analüüsi tulemuste ja keerukate mudelite visualiseerimisele. Need võimalused, mis tekivad andmeid visualiseerides ja mudelitega katsetades, on toonud andmeanalüütika tavakasutajatele varasemast oluliselt lähemale.

Andmeanalüütikat kasutavad näiteks pangad ja krediitkaardifirmad, et kaardipettuseid varakult tuvastada. Igas minutis teevad pangakliendid oma krediitkaartidega nii Eestis, välismaal reisil olles kui ka internetipoode kasutades kümneid tuhandeid tehinguid. Näiteks suudab andmeanalüüsi tarkvara hetkega tuvastada ja blokeerida pangakaardi veidra kasutusjuhu Austraalia elektroonikapoes, kui ajavahemik viimase kaardimakse vahel Tallinnas ja Austraalias on lühem kui kiireim võimalik lennureis ühest sihtpunktist teise.

Näiteks Maanteeamet kasutab andmeanalüüsi tarkvara Tableau, mis võimaldab otsida trende ja seoseid tuhandete teekatte- ja ilmasensorite kogutud andmetest ning võrrelda neid interaktiivsete graafikute kujul liiklusõnnetuste või ilmaprognooside mudelitega. Lihtsaim andmeanalüütika lahendus iga veebilehe omaniku jaoks on aga Google Analytics, mis pakub mitmekülgset piltlikku ülevaadet veebilehe külastatavuse kohta.

Andmeanalüütika tarkvara võimaldab keeruka struktuuriga andmeid erineval viisil visualiseerida.

Avaandmed

Andmeanalüütika valdkonnas ei saa mainimata jätta avaandmeid (Open Data), mille all mõistetakse avalikult kättesaadavaks ja arvuti poolt automaatselt kasutatavaks muudetud andmekogumeid. Tegemist on ühelt poolt kodanikuühiskonna liikumisega üldise avatuse tagamiseks digimaailmas, teisalt idufirmadele olulise turunišiga.

Kujutage näiteks ette kinnisvaraportaali, mis lisaks staatilisele infole iga korteri ja maja kohta pakub graafikuid asukoha turvalisuse, ühistranspordi, koolivõrgu ja tuleviku hinnatrendide kohta. Sellised stsenaariumid ja digiteenuste ärimudelid muutuvad võimalikuks, kui iga paikkonna turvaintsidentide, bussiliinide piletiinfo, koolide (sh õppekava, konkurss, huviringid) ja tulevaste detailplaneeringute info on enam-vähem reaalajas arvutitele loetaval kujul ligipääsetav.

Eestis on riigi pakutavad avaandmed koondatud veebilehele, asjast huvitatud spetsialiste koondab aga Open Data Estonia võrgustik.

Andmeanalüütika meetodid ja tehnoloogiad

Andmeanalüütika meetodeid ja tehnoloogiaid on palju, esile tasuks tõsta pikema ajalooga andmekaevet (data mining) ja selle jaoks loodud tarkvaralahendusi (nt Weka, RapidMiner). Andmekaeve on arvutiteaduse interdistsiplinaarne alamvaldkond, mis arendab meetodeid ja vahendeid, millega leida suurtest andmehulkadest mustreid ning esitada neid inimestele sellises vormis, mida nad saavad kasutada.

Üldjuhul ei toimu andmekaeve reaalajas, vaid retrospektiivse uuringuna, milles kasutatakse masinõppe, statistika ja andmebaaside meetodeid. Andmekaeveks ja andmete visualiseerimiseks kasutatakse teadustöös üha sagedamini spetsiaalselt selleks otstarbeks loodud tasuta tarkvarapaketti Weka ja programmeerimiskeelt R, mille õppimisest on tänapäeval huvitatud lisaks arvuti- ja andmeteadlastele ka humanitaar- ja sotsiaalteadlased.

Soovitusteenused

Andmeanalüütika arengutrendid ja levik järgivad mitme varasema tehnoloogia (nt internet, GPS) elukaart: kui tänapäeval on selle kasutajateks peamiselt militaar- ja finantsvaldkondade organisatsioonid, siis juba lähiaastatel ennustavad eksperdid andmeanalüütika lihtsamate teenuste plahvatuslikku levikut väga erinevatesse valdkondadesse: liiklusohutus, tervishoid, keeletehnoloogia, meelelahutus, haridus. Üheks lihtsamaks andmeanalüütikal põhinevaks rakenduseks eelmainitud valdkondades on soovitusteenused (recommender systems), mis kasutaja profileerimise ja mudeldamise põhjal soovitavad talle kas sujuvama sõidumarsruudi, sobivaima dieedi, uue lemmikraamatu või huvidele vastava valikkursuse.

Kuidas toimib soovitusteenuse tehnoloogia? Ja miks saame internetikeskkondades vahel ka loogikavastaseid soovitusi?  Lõik Eesti Teadusagentuuri saatest “Uudishimu tippkeskus”

Andmeanalüütika valdkonna idufirma Dremio looja ja mõjuka Apache Arrow raamistiku arendamise eestvedaja Tomer Shiran ennustab ka andmekuraatori ameti teket (Olavsrud, 2018). Andmekuraator oleks sillaks Tableau ja R-i rakendusi kasutavate andmeteadlaste ning äritarkvara arendamise-haldamisega tegelevate tarkvarainseneride vahel. Nad peavad valdama nii andmekaeve ja visualiseerimise meetodeid kui ka andmepõhiste rakenduste programmeerimist. Samas kasvab kiiresti vajadus ka tippjuhtide andmeanalüütika kompetentsi tagamise järele, sest andmepõhine otsustamine muutub tulevikus paljude organisatsioonide jaoks eluküsimuseks.

Andmeanalüütika on otseselt seotud ka mitmete teiste siin raportis käsitletud uute tehnoloogiatega. Näiteks on asjade internet tulevikus üks olulisemaid suurandmete tekitajaid, tehisintellekti ja masinõppe areng aitab otseselt kaasa nutikamate andmeanalüütika meetodite ja algoritmide loomisele. Ilmselgelt muutub suurandmete valdkonnas üha tõsisemaks väljakutseks nii inimeste privaatsuse kui ka riikide julgeolekuga või ettevõtete ärisaladustega seotud andmeturbe tagamine.

Andmeanalüütika ja haridus

Andmeanalüütika siseneb lähiaastatel haridusvaldkonda peamiselt kahel moel – õpianalüütika ja õppesisuna.

  • Õpianalüütika kui haridustehnoloogiline vahend, mis aitab nutikamalt õppida ja õppetööd erinevates õppeainetes korraldada nii õppijal, õpetajal kui ka tervel õppeasutusel.
  • Teadmised andmeanalüütikast ja vastavad oskused kui tehnoloogiahariduse õppesisu, mida hakkab omandama üha suurem osa õppijatest erinevatel haridustasemetel ja erialadel, tagamaks toimetulekut oma tulevasel töökohal.

Õpianalüütika

Õpianalüütika on koondnimetus andmeanalüütika rakendustele hariduse kontekstis. Õpianalüütika keskendub õppijaid, nende õpikeskkonda ja õppeprotsessi puudutavate andmete kogumisele, analüüsimisele ja visualiseerimisele, et õppimist paremini mõista, personaliseerida ja optimeerida.

Õpianalüütikale rajas tee hariduslik andmekaeve (Educational Data Mining), mille puhul andmeanalüüs toimus üldjuhul retrospektiivse uuringu vormis. Õpianalüütika arendajate kogukond on juba kehtestanud mõned tehnilised standardid (xAPI, Caliper) õpikeskkondade ja õppevara loojatele, et võimaldada õppija kohta andmete kogumist üle paljude teenuste ja süsteemide. Õpianalüütika aitab õpetajatel ja õppijail õppeprotsessi optimeerida neid informeerides, toetades ja suunates.

Õppijamudel

Õpianalüütika lahendused õppijatele põhinevad õppijamudeli (Learner Model) pideval täiendamisel, kasutades õppija digitaalset jalajälge veebipõhistes õpikeskkondades, digiõppevara andmebaasides ja sotsiaalmeedias. Õppijamudel on matemaatiline mudel, mis sisaldab masinloetaval kujul talletatud andmeid õppija teadmiste, oskuste, soorituste, huvide, eelistuste, eesmärkide, ülesannete, sotsiaalmajandusliku tausta, isiksuseomaduste, õpikeskkonna ja muude õppimisega seotud aspektide kohta.

Õppijamudelit kasutatakse omakorda soovitusteenuste loomiseks nii õpetajatele kui ka õppijatele. Näiteks võib soovitusteenus pakkuda õppija hetkevajadustele ja ülesannetele sobivat õppevara, näiteid ja õpistrateegiaid. Praegu eksisteerivad õppijamudelil põhinevad soovitusteenused üksnes teaduslaborites, kuid kvaliteetse digiõppevara kättesaadavuse paranedes võib oodata taoliste teenuste tekkimist ka Eesti haridusmaastikul.

Andmeanalüütika täna Eesti koolis

Digiõppevara kataloog e-Koolikott on loodud nii, et lähitulevikus saaks sellele lisada õppevara soovitusteenuseid lisamoodulina. Seda eeldusel, et koolid võtavad laiaulatuslikult kasutusele ühekordse sisselogimise teenuse HarID, mis liidestatakse e-Koolikotiga ja privaatsust säilitava õppijamudeli tarkvaraga.

Õpianalüütika teadusuuringutes pööratakse lisaks õppija kognitiivsele arengule (nt teadmised-oskused õpitulemuste hindamisel) üha enam tähelepanu ka õppija emotsioonide ja sotsiaalse konteksti kaardistamisele ja arvestamisele õppimise juhtimisel.

Õpetajate ja õppejõudude toetamiseks pakub õpianalüütika mitmeid võimalusi, mõistmaks, kuidas õppijad erinevatesse veebipõhistesse õpitegevustesse panustavad, milliseid õppematerjale vaatavad, kuidas iseseisvaid ülesandeid sooritavad jms. Andmete analüüsimine võimaldab leida alad, mida on vaja veel arendada, et õppedisaini parendada ja õpiteid personaliseerida.

Samuti annab tehisintellekt võimaluse toetada haridusteadlasi ja poliitikakujundajaid õppimise ja õpetamise mõistmisel ning sellekohaste otsuste tegemisel. Tehisintellekti põhimõtteid kasutavad infosüsteemid, õpikeskkonnad ja tuutorsüsteemid võimaldavad ümber disainida õppekavasid, suunata ressursse valdkondadesse, mis mingil põhjusel ei toimi hästi, ennetada õppijate väljakukkumist ja prognoosida õppima asumist.

Andmeanalüütika tulevikukoolis

Andmeanalüütika ekspert, TalTechi dotsent Innar Liiv kirjeldab visiooni andmeanalüütikat rakendavast tulevikukoolist, kus õppija iga tegevus, suhtlus, sooritus ja meeleolu salvestatakse koos kõigi tundidega 360-kraadises vaates. Nii tekib õpilasel võimalus tunnis kas virtuaalselt reaalajas osaleda või tunde “tagasi kerida” ja neid koos põhjaliku analüüsiga järele vaadata.

Samuti ennustab dotsent Liiv andmeanalüütikal põhinevate uute õppijate võimekuse ja õpivajaduste selgitamiseks mõeldud nutikate diagnostiliste testide ilmumist ning õppimise mängustamist. Eestis on juba õpetajaid, kes katsetavad lihtsamaid õpianalüütika teenuseid, nagu Quizalize, mis võimaldab õpetajal andmete abil jälgida õppeprotsessi ja kohandada selle põhjal õppijate vajadustele paremini vastavaid õpiteid.

Andmepõhist otsustusprotsessi kooli juhtimisel toetavad Eestis mitmed teenused (DigiPeegel, SELFIE, KooliKaart), kuid neid ei saa praegusel kujul veel andmeanalüütika rakendusteks pidada. Samas on plaanis neid teenuseid edasi arendada just andmeanalüütika funktsionaalsuste laiendamise suunas.

Eestis on uuritud Erasmus+ projekti SHEILA (Supporting Higher Education in Integrating Learning Analytics) raames ülikoolide huvi ja valmisolekut andmeid õppimise ja õpetamise optimeerimiseks kasutada. Intervjuud kolme ülikooli juhtkonna, Tallinna Ülikooli üliõpilaste ja akadeemiliste töötajatega näitasid, et juhtkond mõistab vajadust intelligentsete süsteemide kasutamiseks, et parandada üliõpilaste õpikogemust, püüdes seda rohkem isikustada. Samuti mõistab juhtkond vajadust parendada õppetöö kvaliteeti ning seeläbi vähendada väljakukkujate arvu ülikoolis.

Samas ei piisa vaid süsteemide väljaarendamisest, et akadeemiline asutus oma õppetöö kvaliteeti tõsta saaks: muutuma peab organisatsiooni kultuur, tõusma analüütiline võimekus eri tasanditel, investeeringuid vajab infotehnoloogiline taristu, vaja on välja töötada toetusmehhanismid eri osapooltele jms.

Eelkõige on oluline kaasata osapooli ja pidevalt infot vahetada, mistõttu töötati SHEILA projekti käigus välja raamistik, mis toetab institutsioone õpianalüütika juurutamisel.

Soovitused

Kas andmeanalüütika teemasid ja meetodeid tuleks õpetada juba koolis? Sissejuhatuse võiks teha põhikoolis ja gümnaasiumis, õpetades mõistma lihtsamaid andmete kogumise, korrastamise, analüüsi ja visualiseerimise viise. Hea abivahend on hiljuti eestindatud andmeanalüütika guru Hans Roslingi raamat “Faktitäius” ja sellega seotud Gapminder veebiteenus, mis õpetab õpilasi visualiseeritud interaktiivse andmestiku põhjal tähenduslikke küsimusi esitama.

Rootsi teadlase Hans Roslingu maailma muutnud TED kõne.  2006

Samas pole käesoleva raporti raames intervjueeritud ekspertide (Innar Liiv, Dan Bogdanov, Agu Leinfeldt) hinnangul lähitulevikus ette näha, et praegu pigem teadlaste töövahendiks olev andmekaeve ja andmeanalüütika leiaksid tee põhikoolide ja gümnaasiumide õppekavadesse. Neid oskusi omandatakse ikkagi ülikoolides, aga tõenäoliselt hakatakse neid peagi õpetama ka humanitaar-, sotsiaal- ja loodusteaduste erialadel õppivatele üliõpilastele.

Nii TalTechis, Tartu kui ka Tallinna Ülikoolis on hiljaaegu valminud uued informaatika õppekavad mitteinformaatikutele, kus andmekaevet ja -analüütikat õpetatakse e-valitsemise, ettevõtluse, lingvistika või laiema digihumanitaaria kontekstis. Seireraporti raames läbi viidud kooliküsitlus näitas, et 61 vastanust (kellest suure osa moodustasid kogenud haridustehnoloogid ja haridusuuendajad) oli vaid 9 proovinud andmeanalüütika teemasid õppetöösse sisse viia. Küsimusele, milliseid uusi tehnoloogiaid plaanitakse koolis kasutusele võtta, viitasid vaid üksikud andmeanalüütikaga seonduvatele teemadele ja lahendustele.

Mida tähele panna?

Andmeanalüütika puhul on oluline silmas pidada, et oluliste otsuste tegemist ei saa ka tulevikus masinate hooleks jätta. Näiteks rünnakukäsu andmist droonile lahinguolukorras, äkkpidurdamist liikluses või erivajadustega õppija õpitee koostamist. Ka siis, kui andmeanalüütika aitab määratleda otsuste alternatiivid ja hinnata iga otsusega kaasnevat mõju, peavad otsuse langetama siiski inimesed. Õpetajatelt ja koolijuhtidelt nõuab see palju paremat andmekirjaoskust.

Isikuandmete kaitse valdkonda puudutav teadlikkuse tõus ja karmistuvad seadused muudavad kahtlemata haridusvaldkonna andmeanalüütika keerukamaks, aga see on paratamatu.

Veel üks oht andmeanalüütika arengus on seotud andmete kvaliteediga. Praegu pärineb suur osa haridusvaldkonna andmetest (nt Eesti Hariduse Infosüsteemis EHIS) kasutajate endi poolt aegade jooksul lisatud ja usaldusväärse kolmanda osapoole poolt kontrollimata andmebaasidest. Andmete kvaliteeti mõjutab nii andmesisestaja kompetentsus, andmebaasi struktuur kui ka tõeste andmete kättesaadavus – pahatihti kiputakse koguma mitte neid andmeid, mida on vaja, vaid neid, mis on lihtsasti leitavad.

Koolilood
Kokkuvõte

Andmeanalüütikal on juba lähiaastail haridusvaldkonnas potentsiaali peamiselt haridustehnoloogiliste ja administratiivsete digiteenustena, mis tõhustavad otsustus- ja juhtimisprotsesse õppeasutustes, koolipidajate ja riigi tasandil haridusjuhtide seas.

Erinevalt asjade interneti teemadest, mida võib hakata õppetöösse sisse viima juba algklassides, jääb andmeanalüütika õpetamise objektina siiski pigem kõrghariduse tasemele ka kaugemas tulevikus. Samas on õpilasi juba teises ja kolmandas kooliastmes võimalik ja vajalik baastasemel ette valmistada visuaalse, info- ja andmekirjaoskuse omandamiseks.

Lisainfo

Inspiratsiooni andmeanalüütika-teemalisteks õpilaste loov- ja uurimistöödeks leiab informaatika valdkonna bakalaureusetöödest: