Rapporten er skrevet av Michael A. Riegler, Sushant Gautam, og Klas H. Pettersen. Den presenterer en komparativ evaluering av fem språkmodeller, inkludert den norsk-språklige modellen Borealis 4B utviklet av Nasjonalbiblioteket, flere internasjonale modeller med åpen kildekode, og OpenAI sin GPT-5 som en referansemodell. Evalueringen er basert på 36 spesifikt norske scenarier og dekker områder som helse, juss og regulatoriske spørsmål, offentlige tjenester og institusjonell informasjon.
Ved bruk av forskernes evalueringsrammeverk SimpleAudit, fokuserer studien på sikkerhetsrelatert oppførsel som ikke er fanget opp av standard referansepunkter for språk, inkludert hvordan modellene takler skadelige forespørsler, holder seg innenfor passende grenser, og gir nøyaktig informasjon om virksomheter. Rapporten utforsker også påvirkingen av retrieval-augmented generation (RAG) og forskjellige modeller sine presisjonsinstillinger på sikkerhetsresultatene. Et nøkkelfunn i rapporten er 'forståelsesparadokset': forskerne observerte et omvendt forhold mellom standard referanserangeringer og sikkerhetsutfall. Overraskende nok viste noen av de mindre modellene med høy språkforståelse de mest kristiske sikkerhetsfeilene, noe som utfordret antakelsen at 'smartere' modeller naturlig er tryggere.
Hele rapporten, inkludert metodologi, resultater og anbefalinger, er offentlig tilgjengelig og er ment som et bidrag til pågående diskusjoner om ansvarlig bruk av store språkmodeller i norsk og internasjonal kontekst.
Referanser
Sikkerhetsevaluering av språkmodeller for norsk bruk
SimpleAudit evalueringsrammeverk på Github
Denne artikkelen ble først publisert på Simula.no 09.01.26. Republisert med godkjenning.