Hva er abuse monitoring?

Av Weapp · Oppdatert

Abuse monitoring, misbruksdeteksjon, er når en AI-leverandør beholder prompter og svar i en periode for å oppdage brudd på retningslinjene. Det forklarer hvorfor løftet om at data ikke brukes til trening, ikke er det samme som at data ikke lagres. I underlaget er standarden typisk lagring i opptil 30 dager.

Mange AI-leverandører sier tydelig at de ikke trener modellene sine på dataene dine. Det høres ut som om spørsmålet om datalagring dermed er løst. Det er det ikke, og abuse monitoring er grunnen. Begrepet forklarer hvorfor «ingen trening» og «ingen lagring» er to helt forskjellige løfter, og hvorfor du må be om det andre separat.

Hva abuse monitoring er

Abuse monitoring, misbruksdeteksjon, innebærer at leverandøren beholder promptene dine og modellens svar i en periode for å kunne oppdage brudd på retningslinjene, for eksempel forsøk på å misbruke tjenesten eller omgå beskyttelsen i den. Dataene lagres altså ikke for å forbedre modellen, men for at leverandøren skal kunne gå gjennom dem og gripe inn mot misbruk.

I vårt underlag er standarden typisk lagring i opptil 30 dager, og deretter slettes dataene hvis ingenting er flagget. Det er en sikkerhetsmekanisme, og den er slått på som standard hos flere leverandører selv når trening uttrykkelig er slått av.

Derfor betyr «ingen trening» ikke «ingen lagring»

Dette er det viktigste poenget. Trening og lagring er to separate spørsmål, og et svar på det ene sier ingenting om det andre.

En leverandør kan helt korrekt love at dataene dine aldri brukes til å trene modeller, og samtidig lagre hver prompt i 30 dager for å oppdage misbruk. Løftet om ingen trening er da sant, men dataene lagres likevel. For deg som håndterer sensitiv informasjon, er det lagringen, ikke treningen, som ofte er det avgjørende spørsmålet. Hvem kan lese dataene i løpet av disse dagene, hvor lagres de, og under hvilken jurisdiksjon?

Den som nøyer seg med «vi trener ikke på dataene dine» og tror at lagringsspørsmålet dermed er avklart, har bare sett halve bildet. Spør alltid uttrykkelig om lagringen.

Unntak er en søknad, ikke en knapp

En vanlig misforståelse er at man kan slå av lagringen i konsollen. Slik fungerer det sjelden. Modifisert overvåking eller zero data retention (ZDR) er en søknadsprosess med godkjenning, en rettighet du får gjennom avtale, ikke en innstilling du slår av selv.

Hvordan det foregår, varierer mellom leverandørene:

LeverandørSlik får du unntak
OpenAIGodkjenning via salgsavdelingen, en prosess og ikke en selvbetjeningsinnstilling
Azure OpenAISøknad om Limited Access, med vilkår som ContentLogging=false som dokumentasjon

Poenget er at unntaket krever aktiv saksbehandling hos leverandøren og etterlater et spor i avtalen. Regn med ledetid, og regn med å måtte dokumentere hvorfor dere trenger det.

Hvor overvåkingen skjer, har betydning

En detalj som lett blir oversett: Stedet der deteksjonen skjer, avgjør hvor promptene dine faktisk havner. Det holder ikke å vite hvor modellen kjøres. Du må vite hvor overvåkingen og lagringen skjer.

Et konkret eksempel fra underlaget: På Bedrock lagres misbruksdata i destinasjonsregionen innenfor geografien. Det kan avvike fra der du antok at behandlingen fant sted. Derfor er det riktige spørsmålet ikke bare «hvor kjøres modellen?», men «hvor skjer overvåkingen, og hvor lagres det som samles inn?».

Hva det betyr for sensitive data

For en virksomhet som sender personopplysninger eller forretningshemmeligheter til en AI-tjeneste, blir abuse monitoring et konkret spørsmål å håndtere, ikke en teknisk fotnote. Et scenario: Dere bygger en intern assistent som slår opp i dokumentene dere har, og legger sensitivt innhold inn i prompten. Selv med trening slått av kan hver slik prompt lagres i opptil 30 dager for å oppdage misbruk, og kanskje i en region dere ikke hadde regnet med.

Konklusjonen er ikke å unngå tjenestene, men å bygge med lagringen i tankene. Minimer det som sendes inn, finn ut om dere kan få modifisert overvåking eller zero data retention, og dokumenter hvor dataene havner. Da blir abuse monitoring en kjent og håndtert risiko i stedet for en ubehagelig overraskelse ved en gjennomgang.

Sjekk alltid gjeldende vilkår

En siste, viktig ting: Dette er et område i stadig endring. Både lagringstider og hvilke endepunkter som er unntatt, endres over tid når leverandørene oppdaterer vilkårene sine. Et tall eller et unntak som stemte for et halvt år siden, kan være utdatert i dag.

Behandle derfor alle opplysninger om lagringstid som ferskvare, og sjekk leverandørens gjeldende vilkår før dere tar beslutninger. Vil du ha hjelp til å gå gjennom lagrings- og overvåkingsspørsmålene for en konkret AI-løsning, kan du lese mer om arbeidet vårt med AI eller ta kontakt.

Ofte stilte spørsmål

Betyr «ingen trening» at data ikke lagres?

Nei, og det er nettopp den misforståelsen abuse monitoring avslører. En leverandør kan love at dataene dine ikke brukes til å trene modeller, og likevel lagre prompter og svar i en periode for å oppdage misbruk. Trening og lagring er to separate spørsmål. At det ene er avklart, sier ingenting om det andre.

Hvor lenge lagres data for abuse monitoring?

Det varierer mellom leverandører og kan endres. I vårt underlag er standarden typisk opptil 30 dager, og deretter slettes dataene hvis ingen brudd på retningslinjene er flagget. Fordi både lagringstider og unntatte endepunkter endres over tid, bør du alltid sjekke leverandørens gjeldende vilkår i stedet for å stole på et tall du har lest én gang.

Kan man slå av abuse monitoring?

Ikke med ett klikk i konsollen. Modifisert overvåking eller zero data retention er en søknadsprosess med godkjenning. Hos OpenAI krever det godkjenning via salgsavdelingen, og hos Azure søker man om Limited Access med vilkår som ContentLogging=false som dokumentasjon. Det er altså en rettighet du får gjennom avtale, ikke en innstilling du slår av selv.

Spiller det noen rolle hvor abuse monitoring skjer geografisk?

Ja. Stedet der deteksjonen skjer, avgjør hvor promptene dine faktisk havner. På Bedrock lagres misbruksdata i destinasjonsregionen innenfor geografien, og det kan avvike fra der du tror behandlingen skjer. Spør alltid hvor overvåkingen utføres og hvor dataene lagres, ikke bare hvor modellen kjøres.

Hva bør vi spørre leverandøren om når det gjelder abuse monitoring?

Spør om tre ting: hvor lenge prompter og svar lagres, om det er mulig å få modifisert overvåking eller zero data retention og i så fall hvordan man søker, og hvor deteksjonen og lagringen skjer geografisk. Be om skriftlige vilkår fordi både lagringstid og unntatte endepunkter endres over tid.