English version of this page

NORA.LLM

Samlingen av store språkmodeller for det norske språket, NorLM (nå mer kjent som NORA.LLM), startet som et samarbeidsinitiativ som involverte flere betydningsfulle prosjekter, inkludert EOSC-Nordic (European Open Science Cloud), SANT (Sentiment Analysis for Norwegian), og HPLT (High-Performance Language Technologies). Initiativet ble utviklet i partnerskap med AI-laboratoriet ved Nasjonalbiblioteket og Nasjonale e-infrastrukturtjenester, koordinert av Språkteknologigruppen (LTG) ved Universitetet i Oslo.

Modeller

NorLM-initiativet har produsert flere nevneverdige modeller skreddersydd for ulike NLP-applikasjoner på norsk. Teamet bak NorLM har som mål å tilby disse modellene og komplementære verktøy til forskere og utviklere innen feltet natural language processing (NLP) med fokus på det norske språket. Deres mål er å tilrettelegge for vitenskapelig eksperimentering og muliggjøre praktiske anvendelser ved hjelp av banebrytende NLP-arkitekturer. Videre ønsker de å gi andre muligheten til å bygge sine egne storskala modeller for ulike oppgaver, enten de er domene- eller applikasjonsspesifikke, eller til og med for ulike språkvarianter eller andre språk.

Disse modellene inkluderer:

NorMistral-7b-warm

  • Beskrivelse: NorMistral-7b-warm er en stor norsk språkmodell initialisert fra Mistral-7b-v0.1 og kontinuerlig forhåndstrent på totalt 260 milliarder delordtokener, ved bruk av seks repetisjoner av åpne norske tekster. (Mer info finner du her.)
  • Modellutviklere: Språkteknologigruppen ved Universitetet i Oslo.
  • Modellarkitektur: NorMistral er en auto-regressiv språkmodell som bruker en optimalisert transformatorarkitektur basert på språkmodellene Mistral/Llama.
  • Lisens: apache-2.0
  • Kodedepot: GitHub

NorMistral-7b-warm-instruct

  • Beskrivelse: NorMistral-7b-warm-instruct er en stor norsk språkmodell initialisert fra Mistral-7b-v0.1 og kontinuerlig forhåndstrent på totalt 260 milliarder delordtokener ved bruk av seks repetisjoner av åpne norske tekster. (Mer info finner du her.)
  • Modellutviklere: Språkteknologigruppen ved Universitetet i Oslo.
  • Modellarkitektur: NorMistral er en auto-regressiv språkmodell som bruker en optimalisert transformatorarkitektur basert på språkmodellene Mistral/Llama språkmodeller.
  • Lisens: apache-2.0
  • Kodedepot: GitHub

NorMistral-7b-scratch

  • Beskrivelse: NorMistral-7b-scratch er en stor norsk språkmodell forhåndstrent fra bunnen av på totalt 260 milliarder delordtokener, ved bruk av seks repetisjoner av åpne norske tekster. (Mer info finner du her.)
  • Modellutviklere: Språkteknologigruppen ved Universitetet i Oslo.
  • Modellarkitektur: NorMistral er en auto-regressiv språkmodell som bruker en optimalisert transformatorarkitektur basert på språkmodellene Mistral/Llama.
  • Lisens: apache-2.0
  • Kodedepot: GitHub

NorBLOOM-7b-scratch

  • Beskrivelse: NorBLOOM-7b-scratch er en stor norsk språkmodell forhåndstrent fra bunnen av på totalt 260 milliarder delordtokener, ved bruk av seks repetisjoner av åpne norske tekster. (Mer info finner du her.)
  • Modellutviklere: Språkteknologigruppen ved Universitetet i Oslo.
  • Modellarkitektur: NorBLOOM er en auto-regressiv språkmodell som bruker BLOOM-arkitekturen.
  • Lisens: apache-2.0
  • Kodedepot: GitHub

Andre ressurser

CuttingEdgeAI - NORA.LLM: Åpne norske språkmodeller som et felles gode (12. april 2024)

Kompetansegruppe

Kommer snart.

Publisert 30. sep. 2024 13:34 - Sist endret 9. okt. 2025 13:13
Del på e-post