Hva er en AI-hallusinasjon?

En AI-hallusinasjon er når en språkmodell sier noe som rett og slett ikke stemmer, men gjør det med full selvsikkerhet. Det kan være et oppdiktet sitat, en kilde som ikke finnes, eller et tall som høres sannsynlig ut, men er feil. Å forstå hvorfor det skjer, er avgjørende for å kunne bruke AI ansvarlig, for det er ikke en feil man kan vente seg bort fra.

Hvorfor det skjer

Nøkkelen til å forstå hallusinasjoner ligger i hva en språkmodell faktisk gjør. Den slår ikke opp fakta i en database. Den forutsier neste ord, om og om igjen, ut fra mønstre i de enorme tekstmengdene den er trent på. Målet er tekst som er statistisk sannsynlig, ikke tekst som er sann.

Som regel faller de to tingene sammen: Den mest sannsynlige fortsettelsen er også den korrekte. Men av og til er formuleringen som høres mest fornuftig ut, feil, og da blir feilen produsert like flytende og overbevisende som et riktig svar. Modellen «vet» ikke at den tar feil, for den har ingen innebygd forestilling om sannhet å kontrollere mot.

Det er derfor hallusinasjon best forstås som en innebygd egenskap, ikke en bug. Det er ikke noe en kodelinje kan patche bort. Nyere og bedre modeller hallusinerer sjeldnere, men fenomenet er en følge av hvordan teknologien fungerer, og forsvinner ikke helt.

Slik ser en hallusinasjon ut

Det lumske med hallusinasjoner er nettopp at de ikke ser ut som feil. Her er de vanligste typene å kjenne igjen:

• Oppdiktede kilder. Modellen viser til en bok, en studie eller en paragraf som ser helt troverdig ut, men ikke eksisterer.
• Feil tall. Priser, datoer, mål eller statistikk som høres sannsynlige ut, men er grepet ut av luften.
• Fabrikkerte detaljer. Navn, funksjoner eller hendelser som fyller ut et svar der modellen egentlig ikke har grunnlag.

Felles for dem er tonen. Alt leveres med samme selvsikkerhet, og det gjør en feil lett å overse hvis man ikke kontrollerer. En modell sier sjelden «dette er jeg usikker på» av seg selv.

De to viktigste mottiltakene

Kan man så stole på AI? Ja, forutsatt at man bygger inn beskyttelse som står i forhold til hvor sensitiv arbeidsflyten er. To mottiltak rekker lengst.

Det første er RAG, retrieval-augmented generation. I stedet for å la modellen svare fra hukommelsen lar man den først hente relevante dokumenter fra en pålitelig kilde og deretter formulere svaret ut fra dem. Da er svaret forankret i reell tekst som det går an å peke på, og det både reduserer risikoen for oppdiktede svar og gjør svaret sporbart til en kilde.

Det andre er menneskelig kontroll i kritiske arbeidsflyter. Overalt der en feil får konsekvenser, i avtaler, økonomi, medisinsk eller juridisk informasjon, skal et menneske kontrollere før svaret brukes. Et konkret eksempel: En intern assistent som svarer på spørsmål fra personalhåndboken, bør vise hvilket avsnitt svaret kommer fra, slik at en medarbeider raskt kan kontrollere at det stemmer.

Poenget er ikke å unngå AI fordi den av og til tar feil, men å designe rundt egenskapen. Kombinasjonen av kildeforankrede svar og menneskelig kontroll flytter teknologien fra gjetning til noe man kan bygge virksomhet på.

Risikoen er ulik i ulike arbeidsflyter

En siste viktig nyanse: Hvor mye en hallusinasjon betyr, avhenger helt av sammenhengen. Ber du en modell om ideer til en overskrift, spiller en feil ingen rolle, for du sorterer uansett blant forslagene. Ber du den om en paragraf i en avtale eller et medisinsk råd, kan samme type feil få alvorlige følger.

Derfor skal kontrollnivået stå i forhold til det som står på spill. I kreative og utforskende arbeidsflyter kan man gi modellen frie tøyler. I arbeidsflyter der feil koster penger, tillit eller sikkerhet, skal både kildeforankring og menneskelig kontroll være på plass. Å gradere arbeidsflytene sine etter hvor sensitive de er, og legge kontrollene der de trengs, er kjernen i å bruke AI ansvarlig. Vil du vite mer om hvordan vi bygger pålitelige AI-løsninger, kan du lese om arbeidet vårt med AI eller ta kontakt.