Hva er human in the loop?
Human in the loop er designprinsippet om at et menneske kontrollerer eller godkjenner et AI-resultat før det får reell virkning. Det finnes i ulike grader: AI foreslår og mennesket bestemmer, AI utfører, men bare etter godkjenning, eller AI utfører og et menneske kontrollerer med stikkprøver. For beslutninger om penger, personale og juss bør kontrollen sjelden sløyfes.
Human in the loop er designprinsippet om at et menneske kontrollerer eller godkjenner et AI-resultat før det får reell virkning. Uttrykket betyr omtrent «menneske i loopen»: En person er med i flyten, på et sted der det betyr noe. Modellen jobber, men den siste kontrollen ligger hos et menneske.
Prinsippet blir stadig viktigere etter hvert som AI får utføre ting, ikke bare foreslå dem. Så lenge en modell bare skriver et utkast, er konsekvensen av en feil liten. Når en løsning kan handle, altså sende, betale og beslutte, blir spørsmålet om hvem som har det siste ordet, avgjørende.
Tre nivåer av kontroll
Human in the loop er ikke en modus, men en skala. Grovt sett kan man snakke om tre nivåer, med stadig mindre menneskelig involvering.
- AI foreslår, mennesket bestemmer. Modellen lager et forslag, men beslutningen tas av et menneske. AI-en er en støtte, ikke noe mer.
- AI utfører, med godkjenning. Modellen forbereder og kan gjennomføre en handling, men først etter at et menneske har sagt ja. Kontrollpunktet ligger rett før virkningen.
- AI utfører, mennesket kontrollerer med stikkprøver. Modellen handler på egen hånd, og et menneske kontrollerer et utvalg i etterkant for å fange opp feil og følge med på kvaliteten.
Jo høyere opp i listen, desto mer kontroll og desto tregere flyt. Jo lenger ned, desto mer fart, men også større tillit til at modellen gjør riktig. Riktig nivå avhenger helt av hva som står på spill.
Når prinsippet ikke bør sløyfes
Fristelsen til å automatisere bort det siste menneskelige steget er stor, for det er der farten ligger. Men det finnes områder der det sjelden er klokt.
| Type beslutning | Passende grad av kontroll |
|---|---|
| Penger: utbetalinger, transaksjoner | Godkjenning før virkning |
| Personale: vurderinger av medarbeidere | Mennesket bestemmer |
| Juss: bindende beslutninger | Mennesket bestemmer |
Felles for penger, personale og juss er at en feil er vanskelig å gjøre om og kan få store følger. En feil utbetaling, en uriktig vurdering av en ansatt eller et juridisk feiltrinn er ikke noe man vil oppdage i etterkant gjennom en stikkprøve. I slike arbeidsflyter er menneskelig godkjenning sjelden noe man bør spare inn på, uansett hvor godt modellen presterer i gjennomsnitt.
En vanlig tankefeil er å resonnere ut fra gjennomsnittet: «Modellen har rett i nesten alle tilfeller, altså kan vi stole på den.» Men ved sensitive beslutninger er det ikke gjennomsnittet som er problemet, men de enkelte tilfellene der den tar feil, og nettopp de kan bli dyre. En modell som gjør riktig nittini ganger av hundre, høres trygg ut, helt til den hundrede gangen er en feil utbetaling eller et lån som blir avslått på feil grunnlag. Derfor blir kontrollen liggende der konsekvensene er store, uansett hvor sjelden feilen inntreffer.
Et konkret scenario
Tenk deg en agent som håndterer leverandørfakturaer. På et mellomnivå leser den fakturaen, matcher den mot en bestilling og legger den i kø for godkjenning. Et menneske klikker ja før betalingen skjer. De ukontroversielle, tilbakevendende fakturaene går raskt gjennom, mens avvik løftes frem. Kontrollen ligger der penger skifter hender, men ikke i veien for det som er rutine. Slik ser en gjennomtenkt anvendelse ut: kontroll der det trengs, fart der det går.
Den samme arbeidsflyten kan justeres etter hvor mye dere stoler på den over tid. I starten krever kanskje hver faktura en godkjenning. Når dere har sett at agenten matcher riktig gang på gang, kan de minste og mest rutinepregede fakturaene slippes gjennom automatisk med bare stikkprøver, mens de store beløpene fortsatt godkjennes manuelt. Poenget er at nivået ikke trenger å ligge fast. Det kan flyttes etter hvert som tilliten vokser, uten at man gir slipp på kontrollen der den virkelig betyr noe.
Kravet i EU-lovgivningen
Innenfor EU er prinsippet noen ganger ikke valgfritt. EUs KI-forordning stiller krav om menneskelig tilsyn med AI-systemer som klassifiseres som høyrisiko, for eksempel innen rekruttering og kredittvurdering. Der er human in the loop en regulert forventning, ikke bare en god vane. Forordningen er ennå ikke tatt inn i EØS-avtalen, og en norsk KI-lov er under forberedelse, uten fastsatt dato for ikrafttredelse.
For mindre sensitive anvendelser er det opp til dere å velge nivå, men prinsippet er ofte klokt også når ingen lov krever det. Vil du drøfte hvor den menneskelige kontrollen bør ligge i en løsning hos dere, kan du lese mer om AI-tjenestene våre eller ta kontakt med en beskrivelse av hvilke beslutninger løsningen skal støtte.
Ofte stilte spørsmål
Hvilke nivåer av human in the loop finnes det?
Grovt sett tre. På det første foreslår AI-en, og et menneske tar beslutningen. AI-en er en støtte. På det andre utfører AI-en handlingen, men først etter at et menneske har godkjent den. På det tredje utfører AI-en på egen hånd, og et menneske kontrollerer i etterkant med stikkprøver. Nivåene skiller seg i hvor mye kontroll mennesket har, og valget avhenger av hvor alvorlig et feiltrinn er.
Når bør human in the loop ikke sløyfes?
Når en feil beslutning får store konsekvenser. Det gjelder særlig beslutninger om penger, personale og juss. En feil utbetaling, en uriktig vurdering av en medarbeider eller et juridisk feiltrinn er vanskelig å gjøre om. I slike arbeidsflyter er menneskelig godkjenning sjelden noe man bør automatisere bort, uansett hvor godt modellen presterer i gjennomsnitt.
Gjør human in the loop AI-løsningen tregere?
Et godkjenningssteg tar noe tid, ja. Men det er en avveiing mot risiko. For ukritiske oppgaver i stor skala kan stikkprøver være nok, og farten beholdes. For beslutninger med store konsekvenser er den lille forsinkelsen en billig pris for å unngå dyre feil. Poenget er å velge riktig nivå for oppgaven, ikke å legge inn kontroll overalt eller ingen steder.
Krever loven menneskelig kontroll over AI?
I EU, ja, for visse bruksområder. EUs KI-forordning stiller krav om menneskelig tilsyn med AI-systemer som klassifiseres som høyrisiko, for eksempel innen rekruttering og kredittvurdering. Forordningen er ennå ikke tatt inn i EØS-avtalen, og en norsk KI-lov er under forberedelse. For mindre sensitive anvendelser er det opp til dere, men prinsippet er ofte klokt også når det ikke er påbudt.
Er human in the loop det samme som å kontrollere alt manuelt?
Nei. Det handler om å legge den menneskelige kontrollen der den gjør mest nytte, ikke om å la et menneske gjøre om alt AI-en har gjort. Ofte holder det å kontrollere det som er usikkert eller har store konsekvenser, mens resten flyter videre. Godt utformet gir prinsippet både fart og trygghet: Mennesket konsentrerer seg om det som virkelig krever skjønn.