Å se sin egen forskning fra et nytt perspektiv
Ved KIT jobbet jeg med Professor Sebastian Krumscheid sin forskningsgruppe, som jobber med kvantifisering av usikkerhet og relaterte matematiske og beregningsmessige metoder.
Min egen PhD-forskning ved universitetet i Oslo er ganske annerledes. Jeg jobber med pålitelige KI-systemer for digitale produktpass (DPPer) — digitale oppføringer som kan inneholde informasjon om et produkts materialer, bærekraftsegenskaper, tekniske egenskaper, og samsvarsinformasjon. Forskningen min utforsker hvordan teknologier som språkmodeller, gjenfinning, vedvarende hukommelse og symbolsk resonnering kan gjøre denne informasjonen lettere tilgjengelig, samtidig som svarene holdes forankrede, sporbare og pålitelige.
Forskjellen i forskningsbakgrunner var akkurat det som gjorde utvekslingen verdifull.
Heller enn å reise til Karlsruhe bare for å fortsette å gjøre samme arbeid fra en annen pult, fikk jeg muligheten til å utforske kjente forskningsspørsmål fra et annet perspektiv.
Vi begynte med introduksjonsmøter hvor jeg presenterte arbeidet mitt og lærte mer om forskningen som gjordes i gruppen. Et spesielt nyttig møte var en diskusjon med Professor Krumscheid om kvantifisering av usikkerhet, hans tidligere og pågående forskning, og antakelsene bak numrene som beregningsmodeller produserer.
Samtalen fikk meg til å tenke på et bedragersk enkelt spørsmål:
Hva skjer når usikkerheten ikke bare er i modellen, men allerede i dataene vi gir den?
Når dataene i seg selv kan være usikre
Tenk på noe så tilsynelatende rett fram som en verdi for karbon-fotavtrykk i et en produktoppføring. Et KI-system kan finne igjen den korrekte verdien, vurdere denne korrekt, og til og med uttrykke sterk sikkerhet i sitt svar.
Men hva om den originale verdien var systematisk forvrengt?
Data fra den virkelige verden kan komme fra forskjellige leverandører, laboratorier, regioner, målingssystemer, og rapporteringspraksiser. Noen verdier kan mangle, mens andre kanskje er påvirket av målings- eller rapporteringsbias. I slike tilfeller kan et system være veldig presist, men samtidig ha et veldig sterkt fokus på feil kvantitet.
Diskusjoner under KIT-besøket hjalp meg å utvikle denne observasjonen til en ny retning i forskningen min, som jeg for tiden jobber med og som fortsatt er på før-publiseringsstadiet.
Hva skjer når usikkerheten ikke bare er i modellen, men allerede i dataene vi gir den?
Idéen er at man ikke automatisk skal behandle oppførte verdier som en sannhet man ikke stiller spørsmål ved, men som en observasjon av en underliggende kvantitet som kanskje i seg selv må utledes. I stedet for å bare spørre, “Hvor usikre er vi på denne oppførte verdien?”, spør arbeidet om noe som er mer lignende: “Gitt hvordan disse dataene kan ha blitt målt eller rapportert, hvilke underliggende verdier er fortsatt plausible?”
Rammeverket jeg utvikler representerer mulige rene verdier og eksplisitt systematisk målingsbias, og kvantifiserer så usikkerheten i disse under transparente begrensninger. Det er viktig å nevne at dette ikke handler om å påstå at en algoritme magisk kan rekonstruere et enkelt, skjult datasett som er "sant". Antakelsene brukt i korreksjonen må forbli synlige og reviderbare.
Dette knyttes naturlig sammen med PhD-arbeidet mitt i sin helhet. Pålitelighet i KI handler ikke bare om en språkmodell produserer den riktige setningen. Det handler også om hvorav bevisene som danner grunnlaget for den setningen, fortjener vår tillit.
For meg, var det et av de viktigste resultatene av utvekslingen. En diskusjon mellom forskere som jobber utfra forskjellige perspektiver, ble til et spørsmål som knytter kvantifisering av usikkerhet sammen med mitt arbeid med pålitelig, datadrevet KI.
Og så, som det pleier innen forskning, skapte en nyttig samtale betraktelig mer arbeid for fremtiden.
Bortenfor ligninger og møterom
Et forskningsopphold består så klart ikke bare av papirer, ligninger og møter.
Karlsruhe var et veldig fint sted å tilbringe denne perioden. Jeg synes at KIT hadde et aktivt og internasjonalt student- og forskningsmiljø, og satt spesielt pris på åpenheten i det akademiske miljøet. Samtaler ble ikke alltid holdt til forskningstemaer, men fløt lett videre til vitenskap, universitetslivet, reiser, kulturelle forskjeller, mat og hverdagsopplevelsene til en forsker i et nytt land.
Når forskningstimeplanen tillot det, utforsket jeg også Karlsruhe og reiste til andre deler av Tyskland. Å forlate kontoret nå og da, viste seg å være nyttig for forskningen også: en ny by, en lang gåtur, eller en uformell samtale, kan noen ganger tilby akkurat den mentale avstanden man trenger for å se på en utfordrende problemstilling i et nytt lys.
Reising ga også sin egne, praktiske læring i kvantifisering av usikkerhet — spesielt når det kom til beregning av ankomsttiden til et tysk tog.
Mer alvorlig talt, så var det å tilbringe tid i et annet akademisk miljø en påminnelse om at noen av de mest verdifulle forskningsutvekslingene skjer utenfor formelle presentasjoner. Et spørsmål etter et møte, en diskusjon over kaffe, eller noen som tilnærmer seg et kjent problem fra et helt annet fagfelt, kan noen ganger endre retningen til et prosjekt.
Å komme tilbake med nye spørsmål
Jeg dro til KIT med en forventning om å lære mer om kvantifisering av usikkerhet. Det gjorde jeg så visst.
Men jeg kom også hjem med noe mer verdifullt enn bare en ny metode i verktøykassen. Erfaringen endret hvordan jeg tenker på pålitelighet i min egen forskning. Den oppmuntret meg til å se bortenfor usikkerhet i KI-genererte svar, og stille mer fundamentale spørsmål om usikkerhet, bias, og pålitelighet i informasjonen som svarene avhenger av.
Oppholdet bidro til en ny idé til en artikkel, som nå er under utvikling, introduserte meg til et nytt forskningsmiljø, og ga meg mulighet til å oppleve akademia ved KIT, i tillegg til både Karlsruhe og Tyskland utover universitetet.
Kanskje er dét den ekte verdien av forskningsopphold. Det handler ikke bare om å flytte forskere mellom institusjoner. Det handler om å flytte idéer mellom fagfelt.
Min KIT-utveksling begynte med noe usikkerhet. Den sluttet med nye forskningsspørsmål, nye kontakter, gode minner — og, passende nok, litt mer sikkerhet når det gjelder hvor jeg skal ta forskningen min videre.