Vad är högrisk-AI?

Högrisk-AI är AI-system i användningsområden där ett felaktigt beslut kan skada människors rättigheter, hälsa eller ekonomi. Begreppet kommer från EU:s AI-förordning, som delar in AI efter risk och ställer de hårdaste kraven just på den här kategorin. Det centrala att förstå är att det inte är tekniken som avgör – det är vad den används till.

Samma modell kan vara högrisk i ett sammanhang och harmlös i ett annat. En språkmodell som hjälper till att utkasta mejl är okontroversiell; samma teknik som avgör vem som kallas till anställningsintervju är det inte. Klassningen följer alltså användningen och dess konsekvenser för enskilda människor.

De vanligaste affärsrelevanta kategorierna

Förordningen pekar ut ett antal områden som högrisk. För företag är några särskilt relevanta.

• Rekrytering. AI som sorterar eller bedömer arbetssökande påverkar direkt vem som får en chans till ett jobb.
• Kreditbedömning. System som avgör vem som beviljas ett lån eller en kredit påverkar människors ekonomiska möjligheter.
• Kritisk infrastruktur. AI i system som samhället är beroende av, där fel kan få allvarliga följder.
• Utbildning. Delar av området, exempelvis system som påverkar tillträde eller bedömning.

Det gemensamma är tydligt: besluten träffar enskilda människor på ett påtagligt sätt – vem som får jobbet, lånet eller platsen. Där konsekvensen av ett fel är stor för individen, ställs högre krav.

Vad som inte är högrisk

Lika viktigt är att veta vad som faller utanför, för att inte överdriva bördan för vardaglig användning.

Mycket av den vardagliga företagsanvändningen räknas inte som högrisk. Intern texthjälp, att söka i egna dokument, att sammanfatta material eller ta fram utkast – sådant påverkar sällan någons rättigheter direkt. Det betyder inte att det är helt utan risker, men det utlöser inte samma krav som en rekryterings- eller kreditlösning. Att kunna skilja de två åt sparar både oro och pengar.

Gränsen kan dock vara hårfin, och det är där det lönar sig att tänka efter. Ett verktyg som sammanfattar ansökningar åt en rekryterare kan verka som ren texthjälp, men om sammanfattningen i praktiken styr vem som går vidare närmar det sig ett beslutsstöd i en högriskkontext. Det avgörande är inte vad verktyget kallas, utan hur mycket det faktiskt påverkar beslutet om en enskild människa. Vid tveksamhet är det klokare att utreda för mycket än för lite.

Kravpaketet i korthet

När en lösning väl klassas som högrisk följer ett paket av krav, som alla syftar till att visa att systemet är säkert och rättvist. I korthet handlar det om fyra saker: riskhantering, datakvalitet, loggning och spårbarhet samt mänsklig kontroll.

De fyra delarna hänger ihop. Riskhantering betyder att systematiskt identifiera och hantera vad som kan gå fel. Datakvalitet handlar om att materialet systemet bygger på är korrekt och representativt, så att besluten inte blir skeva. Loggning och spårbarhet gör det möjligt att i efterhand se hur ett beslut kom till. Mänsklig kontroll säkerställer att en person kan gripa in. Ingen av dem räcker ensam – det är helheten som ska göra systemet trovärdigt.

Det viktiga är att kraven gäller genom hela systemets livslängd, inte bara vid lanseringen. Ett högrisksystem ska kunna granskas och stå pall över tid, inte bara vid ett enskilt tillfälle. Tanken är att den som påverkas av ett AI-beslut ska kunna lita på att det fattats på ett kontrollerat och granskningsbart sätt.

Vad det betyder för dig som beställare

Om ni överväger en AI-lösning som fattar eller stödjer beslut om människor – anställning, kredit eller liknande – är högriskfrågan något att utreda tidigt, helst innan bygget börjar. Att upptäcka i efterhand att en lösning omfattas av tunga krav är dyrt och besvärligt.

Utgå från vad lösningen ska göra och vem den påverkar, inte från hur avancerad den är. Vill du resonera kring var en tänkt lösning hamnar, kan du läsa mer om våra AI-tjänster eller höra av dig med en beskrivning av vad den ska användas till.