Hvad er højrisiko-AI?
Højrisiko-AI er AI-systemer inden for anvendelsesområder hvor forkerte beslutninger kan skade menneskers rettigheder, helbred eller økonomi. EU’s AI-forordning udpeger den slags områder særskilt, f.eks. rekruttering, kreditvurdering og kritisk infrastruktur. Klassificeringen udløser en kravpakke: risikostyring, datakvalitet, logning og menneskeligt tilsyn. Meget af den almindelige kontorbrug af AI regnes derimod ikke som højrisiko.
Højrisiko-AI er AI-systemer inden for anvendelsesområder hvor en forkert beslutning kan skade menneskers rettigheder, helbred eller økonomi. Begrebet kommer fra EU’s AI-forordning, som inddeler AI efter risiko og stiller de strengeste krav netop til denne kategori. Det centrale at forstå er at det ikke er teknologien der afgør det. Det er hvad den bruges til.
Den samme model kan være højrisiko i én sammenhæng og harmløs i en anden. En sprogmodel der hjælper med at skrive udkast til mails, er ukontroversiel; den samme teknologi brugt til at afgøre hvem der bliver indkaldt til jobsamtale, er det ikke. Klassificeringen følger altså anvendelsen og dens konsekvenser for enkeltpersoner.
De mest almindelige forretningsrelevante kategorier
Forordningen udpeger en række områder som højrisiko. For virksomheder er nogle af dem særlig relevante.
- Rekruttering. AI der sorterer eller vurderer jobansøgere, påvirker direkte hvem der får en chance for et job.
- Kreditvurdering. Systemer der afgør hvem der får bevilget et lån eller en kredit, påvirker menneskers økonomiske muligheder.
- Kritisk infrastruktur. AI i systemer som samfundet er afhængigt af, hvor fejl kan få alvorlige følger.
- Uddannelse. Dele af området, f.eks. systemer der påvirker optagelse eller bedømmelse.
Fællesnævneren er tydelig: Beslutningerne rammer enkeltpersoner på en mærkbar måde, nemlig hvem der får jobbet, lånet eller pladsen. Hvor konsekvensen af en fejl er stor for den enkelte, stilles der højere krav.
Hvad der ikke er højrisiko
Det er lige så vigtigt at vide hvad der falder udenfor, for ikke at overdrive byrden ved almindelig daglig brug.
| Anvendelse | Typisk vurdering |
|---|---|
| AI i rekruttering eller kreditbeslutninger | Højrisiko: tung kravpakke |
| Intern teksthjælp og vidensøgning | Normalt ikke højrisiko |
Meget af den daglige brug i virksomheder regnes ikke som højrisiko. Intern teksthjælp, søgning i egne dokumenter, opsummering af materiale eller udarbejdelse af udkast påvirker sjældent nogens rettigheder direkte. Det betyder ikke at det er helt uden risici, men det udløser ikke de samme krav som en løsning til rekruttering eller kredit. At kunne skelne de to fra hinanden sparer både bekymringer og penge.
Grænsen kan dog være hårfin, og det er dér det betaler sig at tænke sig om. Et værktøj der opsummerer ansøgninger for en rekrutterer, kan ligne ren teksthjælp, men hvis opsummeringen i praksis styrer hvem der går videre, nærmer det sig beslutningsstøtte i en højrisikokontekst. Det afgørende er ikke hvad værktøjet hedder, men hvor meget det faktisk påvirker beslutningen om en enkeltperson. Er man i tvivl, er det klogere at undersøge for meget end for lidt.
Kravpakken kort fortalt
Når en løsning først er klassificeret som højrisiko, følger en pakke af krav som alle har til formål at vise at systemet er sikkert og retfærdigt. Kort fortalt handler det om fire ting: risikostyring, datakvalitet, logning og sporbarhed samt menneskeligt tilsyn.
De fire dele hænger sammen. Risikostyring betyder systematisk at identificere og håndtere hvad der kan gå galt. Datakvalitet handler om at det materiale systemet bygger på, er korrekt og repræsentativt så beslutningerne ikke bliver skæve. Logning og sporbarhed gør det muligt bagefter at se hvordan en beslutning blev til. Menneskeligt tilsyn sikrer at en person kan gribe ind. Ingen af dem er nok alene. Det er helheden der skal gøre systemet troværdigt.
Det vigtige er at kravene gælder i hele systemets levetid, ikke kun ved lanceringen. Et højrisikosystem skal kunne gennemgås og holde over tid, ikke kun ved en enkelt lejlighed. Tanken er at den der påvirkes af en AI-beslutning, skal kunne stole på at den er truffet på en kontrolleret måde der kan efterprøves.
Hvad det betyder for dig som kunde
Overvejer I en AI-løsning der træffer eller understøtter beslutninger om mennesker (ansættelse, kredit eller lignende), er højrisikospørgsmålet noget der skal undersøges tidligt, helst før udviklingen går i gang. At opdage bagefter at en løsning er omfattet af tunge krav, er dyrt og besværligt.
Tag udgangspunkt i hvad løsningen skal gøre og hvem den påvirker, ikke i hvor avanceret den er. Vil du drøfte hvor en planlagt løsning havner, kan du læse mere om vores AI-ydelser eller kontakte os med en beskrivelse af hvad den skal bruges til.
Ofte stillede spørgsmål
Hvad gør et AI-system til højrisiko?
Ikke teknologien i sig selv, men hvor og hvordan den bruges. Et system bliver højrisiko når det bruges på et område hvor en forkert beslutning kan skade menneskers rettigheder, helbred eller økonomi. Den samme slags model kan altså være højrisiko i én sammenhæng og helt ukontroversiel i en anden. Det er anvendelsesområdet der afgør det, hvilket er vigtigt at forstå når man vurderer sin egen løsning.
Hvilke områder regnes oftest som højrisiko?
De forretningsrelevante kategorier omfatter rekruttering og vurdering af jobansøgere, kreditvurdering, kritisk infrastruktur og dele af uddannelsesområdet. Fælles for dem er at beslutningerne påvirker enkeltpersoner på en mærkbar måde: hvem der får et job, et lån eller en plads. Netop derfor stilles der højere krav til hvordan AI må bruges der.
Hvad er eksempler på AI der ikke er højrisiko?
Meget af den daglige brug i virksomheder. Intern teksthjælp, søgning i egne dokumenter, opsummeringer eller udkast til mails påvirker sjældent nogens rettigheder direkte og regnes normalt ikke som højrisiko. Det betyder ikke at det er helt uden risici, men det udløser ikke den samme tunge kravpakke som en løsning til rekruttering eller kreditvurdering gør.
Hvilke krav gælder for højrisiko-AI?
En pakke der skal vise at systemet er sikkert og retfærdigt. Kort fortalt: risikostyring, høj datakvalitet, logning og sporbarhed samt menneskeligt tilsyn. Kravene gælder i hele systemets levetid, ikke kun ved lanceringen. Formålet er at den der påvirkes af en AI-beslutning, skal kunne stole på at den er truffet på en kontrolleret måde der kan efterprøves.
Hvordan ved vi om vores løsning er højrisiko?
Tag udgangspunkt i hvad løsningen bruges til og hvem den påvirker, ikke i hvor avanceret den er. Træffer eller understøtter den beslutninger inden for områder som ansættelse, kredit eller kritisk infrastruktur, bør I undersøge højrisikospørgsmålet tidligt. Er den et internt hjælpemiddel uden den slags påvirkning, er den sandsynligvis ikke højrisiko. Ved den mindste tvivl er det klogt at foretage vurderingen før løsningen bygges, ikke efter.