Vad är en AI-hallucination?

En AI-hallucination är när en språkmodell säger något som helt enkelt inte stämmer – men gör det med full självsäkerhet. Det kan vara ett påhittat citat, en källa som inte finns eller en siffra som låter rimlig men är fel. Att förstå varför det händer är avgörande för att kunna använda AI ansvarsfullt, för det är inte ett fel som går att vänta bort.

Varför det händer

Nyckeln till att förstå hallucinationer ligger i vad en språkmodell faktiskt gör. Den slår inte upp fakta i en databas. Den förutsäger nästa ord, om och om igen, utifrån mönster i de enorma textmängder den tränats på. Målet är text som är statistiskt sannolik – inte text som är sann.

För det mesta sammanfaller de två sakerna: den mest sannolika fortsättningen är också den korrekta. Men ibland är den rimligast klingande formuleringen fel, och då produceras felet lika flytande och övertygande som ett rätt svar. Modellen “vet” inte att den har fel, för den har ingen inbyggd uppfattning om sanning att kontrollera mot.

Det är därför hallucination bäst förstås som en inbyggd egenskap, inte en bugg. Det är inget som en rad kod kan patcha bort. Nyare och bättre modeller hallucinerar mer sällan, men fenomenet är en följd av hur tekniken fungerar och försvinner inte helt.

Så ser en hallucination ut

Det lömska med hallucinationer är just att de inte ser ut som fel. Här är de vanligaste typerna att känna igen:

• Påhittade källor. Modellen hänvisar till en bok, en studie eller en paragraf som ser helt trovärdig ut men inte existerar.
• Felaktiga siffror. Priser, datum, mått eller statistik som låter rimliga men är gripna ur luften.
• Uppfunna detaljer. Namn, funktioner eller händelser som fyller ut ett svar där modellen egentligen inte har underlag.

Gemensamt är tonen. Allt levereras med samma självsäkerhet, vilket gör att ett fel är lätt att missa om man inte kontrollerar. En modell säger sällan “det här är jag osäker på” av sig själv.

De två viktigaste motmedlen

Går det då att lita på AI? Ja – förutsatt att man bygger in skydd som matchar hur känsligt flödet är. Två motmedel bär längst.

Det första är RAG, retrieval-augmented generation. I stället för att låta modellen svara ur minnet låter man den först hämta relevanta dokument ur en pålitlig källa och sedan formulera svaret utifrån dem. Då grundas svaret i verklig text som går att peka på, vilket både minskar risken för påhitt och gör svaret spårbart till en källa.

Det andra är mänsklig granskning i kritiska flöden. Överallt där ett fel får konsekvenser – i avtal, ekonomi, medicinsk eller juridisk information – ska en människa kontrollera innan svaret används. Ett konkret exempel: en intern assistent som svarar på frågor ur personalhandboken bör visa vilket avsnitt svaret kommer från, så att en medarbetare snabbt kan verifiera att det stämmer.

Poängen är inte att undvika AI för att den ibland har fel, utan att designa runt egenskapen. Kombinationen av källförankrade svar och mänsklig kontroll flyttar tekniken från gissning till något man kan bygga verksamhet på.

Risken är olika stor i olika flöden

En sista viktig nyans: hur mycket en hallucination betyder beror helt på sammanhanget. Ber du en modell om idéer till en rubrik spelar en felaktighet ingen roll – du sållar ändå bland förslagen. Ber du den om en paragraf i ett avtal eller ett medicinskt råd kan samma typ av fel få allvarliga följder.

Därför ska kontrollnivån matcha insatsen. I kreativa och utforskande flöden kan man ge modellen fria tyglar. I flöden där fel kostar pengar, förtroende eller säkerhet ska både källförankring och mänsklig granskning vara på plats. Att gradera sina flöden efter hur känsliga de är – och lägga kontrollerna där de behövs – är kärnan i att använda AI ansvarsfullt. Vill du veta mer om hur vi bygger tillförlitliga AI-lösningar, läs om vårt arbete med AI eller hör av dig.