Innholdet er AI-generert og kan inneholde feil.
Kunstig intelligens er et fagfelt som er eldre enn samtalerobotene de fleste bruker i dag. Kjernen i en moderne språkmodell er likevel enkel å beskrive: den gjetter neste brikke i en tekst etter å ha sett enorme mengder språk, og blir deretter finjustert så den oftere svarer slik mennesker ønsker.
Hva «kunstig intelligens» betyr
Store norske leksikon definerer kunstig intelligens som et fagfelt innen informatikk som undersøker hvordan datasystemer kan settes i stand til å utføre oppgaver som forbindes med intelligens eller avansert problemløsning. Eksemplene leksikonet nevner, er å lære av erfaring, trekke slutninger, forstå språk, tolke sanseinntrykk og planlegge handlinger. Fagfeltet har røtter tilbake til 1950-årene. Selve begrepet ble etablert i 1956, under en sommersamling ved Dartmouth College i USA, der John McCarthy var en av de sentrale deltakerne.
Ordet brukes også om metodene og systemene som kommer ut av fagfeltet. På norsk ser man både «AI», etter engelsk artificial intelligence, og «KI». I denne seksjonen bruker vi AI der det er innarbeidet, og «kunstig intelligens» når det er tydeligere.
Leksikonet understreker at det ikke er enighet om en presis definisjon av hva intelligens er, og hvordan den eventuelt kan måles. Noen mener at ordet «intelligens» i seg selv kan villede, fordi det får oss til å tenke på egenskaper som er forbeholdt mennesker eller andre levende vesener. Andre skiller mellom intelligent atferd og bevissthet, og mener at et system kan vise det første uten å ha det andre.
I praksis er systemene vi bruker i dag det leksikonet kaller smal kunstig intelligens: de er rettet mot avgrensede oppgaver, som å transkribere tale, analysere bilder eller føre en samtale. De kan overgå mennesker innenfor den oppgaven de er laget for, uten at de dermed kan det meste annet. Begrepene kunstig generell intelligens og superintelligens tar vi opp i en egen artikkel.
Fra regler til læring av data
Tradisjonelt har man skilt mellom to hovedtilnærminger, skriver Store norske leksikon. I regelbaserte systemer koder menneskelige eksperter kunnskap og regler inn i programmet. Metodene ga høy kontroll, men lot seg vanskelig skalere til uklare, brede problemer. Fra rundt 2010-tallet ble det meste av det vi i dag kaller kunstig intelligens, basert på maskinlæring: algoritmer som selv skal finne mønstre i data og forbedre ytelsen mot et gitt mål.
En viktig familie av slike algoritmer er kunstige nevrale nettverk. Navnene er hentet fra biologien, men leksikonet advarer mot å ta sammenlikningen bokstavelig: det er først og fremst en metafor. Når flere lag av slike enheter settes i sekvens, kalles det dyp læring. Et viktig vendepunkt kom i 2012, da et nevralt nettverk i bildekonkurransen ImageNet senket feilraten med stor margin. Etter det ble nevrale metoder dominerende, også for lyd og tekst. To forutsetninger var på plass: kraftigere datamaskiner, særlig grafikkprosessorer, og langt større datamengder å trene på.
I 2024 gikk Nobelprisen i fysikk til John J. Hopfield og Geoffrey E. Hinton for arbeid med kunstige nevrale nettverk, og Nobelprisen i kjemi blant annet til Demis Hassabis og John M. Jumper ved Google DeepMind for å predikere proteiners tredimensjonale struktur. Begge tildelingene omtales i Store norske leksikon.
Hva en språkmodell gjør
En språkmodell er, ifølge Store norske leksikon, en statistisk modell av et språk. Den gir en sannsynlighetsfordeling over sekvenser av ord og kan derfor brukes til å analysere og generere tekst. Klassiske modeller telte hvor ofte ord fulgte etter hverandre, såkalte n-gram-modeller. Dagens store språkmodeller bruker i stedet nevrale nettverk som lærer sammenhengen mellom ord implisitt.
Oppgaven nettverket typisk får under den første treningen, kalt pretrening, er å gjette neste ord gitt teksten som kommer foran. Leksikonet kaller dette autoregressiv språkmodellering. Til å begynne med gjetter modellen tilfeldig. Etter å ha sett store tekstmengder danner den seg et bilde av hva som typisk følger en gitt kontekst. I praksis foregår gjettingen ikke på hele ord, men på mindre brikker kalt tokener. Hva det innebærer, er tema for artikkelen om tokener.
Det er dette som skjer når du skriver til en samtalerobot. Modellen får en tekst – spørsmålet ditt, tidligere replikker og ofte skjulte systeminstruksjoner – og produserer ett token av gangen. Hvert nye token legges til teksten, og prosessen gjentas til svaret er ferdig. At resultatet kan virke sammenhengende og kunnskapsrikt, følger av at mønstrene i treningsdataene er rike. Det følger ikke at modellen har en intern modell av verden den kan sjekke svaret mot.
Derfor kan språkmodeller lage svar som høres riktige ut, men som likevel inneholder feil. Store norske leksikon kaller slike oppdiktede eller feilaktige svar hallusinasjoner, og forklarer dem med at modellen først og fremst beregner hva som er en sannsynlig sammensetning av ord. Det er derfor nødvendig å være kildekritisk, også når formuleringene virker sikre. Det er en av grunnene til at artiklene her har kildeliste, og til at denne siden merker innholdet som AI-generert.
Transformer-arkitekturen
De fleste store språkmodellene siden 2018 bygger på en arkitektur kalt Transformer, foreslått av Ashish Vaswani og kolleger ved Google i artikkelen «Attention Is All You Need» i 2017. Kjernen er en mekanisme de kaller oppmerksomhet (attention): i stedet for å lese teksten strengt steg for steg gjennom et fast minne, kan hver posisjon i sekvensen veie hvor mye den skal legge vekt på andre posisjoner. Papiret viste at denne mekanismen, brukt i flere «hoder» og lag, ga sterke resultater i maskinoversettelse uten de tilbakevendende nettverkene som da var vanlige.
En typisk samtalemodell i dag er en såkalt dekoder: den leser konteksten og skriver videre. Den konkrete utformingen varierer mellom leverandører, og mange detaljer i de største modellene er ikke offentliggjort. Poenget for leseren er likevel det samme: evnen til å holde tråden i en lang tekst, og til å knytte et ord til noe som sto langt tidligere i setningen, kommer i stor grad fra denne oppmerksomhetsmekanismen – innenfor det kontekstvinduet modellen er laget for.
Finjustering og tilbakemelding fra mennesker
En modell som bare er pretrent til å fortsette tekst, er ikke ferdig som samtalerobot. Store norske leksikon skriver at den på dette stadiet har begrenset direkte nytteverdi, men kan finjusteres til ulike anvendelser. Pretreningen er ofte den mest ressurskrevende delen. Kostnaden ved å trene en konkurransedyktig basismodell er usikker, men leksikonet anslo i 2025 at den typisk beløper seg til flere titalls millioner kroner, der innkjøp av regneinfrastruktur er den største posten.
Finjusteringen kan blant annet bestå i å trene videre på eksempler på spørsmål og gode svar, ofte kalt veiledet finjustering. Et ytterligere steg, som ble kjent gjennom OpenAIs arbeid med InstructGPT i 2022, er forsterkningslæring fra menneskelige tilbakemeldinger, på engelsk reinforcement learning from human feedback (RLHF). I hovedtrekk samler man menneskelige vurderinger av flere mulige svar, trener en belønningsmodell som skal etterlikne disse vurderingene, og justerer så språkmodellen slik at den oftere lager svar som scorer høyt. Long Ouyang og kolleger beskriver denne oppskriften i artikkelen «Training language models to follow instructions with human feedback». Metoden bygger videre på eldre arbeid om forsterkningslæring fra menneskelige preferanser, blant annet en artikkel av Paul Christiano og kolleger fra 2017.
Målet er at modellen oftere skal følge instruksjoner, unngå åpenbart skadelig innhold og svare på en måte mennesker synes er nyttig. Det er likevel ikke en garanti mot feil, og det er heller ikke det samme som at modellens mål er de samme som brukerens. Innretting av AI-systemer mot menneskelige verdier er et eget forskningsfelt, og tas opp nærmere i artikkelen om AGI og superintelligens.
Senere har flere laboratorier tatt i bruk varianter og alternativer, blant annet metoder som lærer direkte av parvise sammenlikninger uten en separat belønningsmodell. Leverandørene beskriver sjelden hele ettertreningsoppskriften i detalj. For brukeren er det nyttigste å vite at «modellen» du møter i en chat, er resultatet av flere treningsfaser, ikke bare av å ha lest internett.
Samtaleroboter, verktøy og grenser
ChatGPT, lansert av OpenAI i november 2022, gav generativ kunstig intelligens et stort kommersielt gjennombrudd, skriver Store norske leksikon. Siden da har flere selskaper lansert liknende assistenter. Mange av dem kan nå også analysere bilder, og noen kan lage bilder, lyd eller video, eller søke på nettet og bruke andre verktøy. Overgangen til det leksikonet kaller KI-agenter er glidende: mer av planleggingen og verktøybruken overlates til systemet over flere steg.
Heller ikke med søk eller verktøy forsvinner behovet for kildekritikk. Leksikonet skriver at hallusinasjoner fortsatt kan forekomme, og at systemet kan vise til kilder som ikke finnes, eller gjengi dem feil. I artikkelen om leverandører og modeller tar vi for oss hvem som lager de mest kjente systemene i dag, og i artikkelen om hvorfor det finnes ulike modeller hvorfor de ikke er like.
Kilder
- Kunstig intelligens – Store norske leksikon, av Erik Velldal, Axel Tidemann og Lars Arnesen.
- Språkmodell – Store norske leksikon.
- Generativ kunstig intelligens – Store norske leksikon.
- Attention Is All You Need – Ashish Vaswani mfl., 2017.
- Training language models to follow instructions with human feedback – Long Ouyang mfl., 2022 (InstructGPT).
- Deep reinforcement learning from human preferences – Paul F. Christiano mfl., 2017.