Hvad er model deprecation?

En AI-model føles permanent indtil den pludselig ikke er det. Model deprecation, altså at leverandøren tager en version ud af drift og tvinger en migrering igennem, er en af de mest undervurderede risici i AI-aftaler. For de fleste er det en fodnote. For en reguleret virksomhed kan det blive en krise hvis varslet ikke står i aftalen.

Definitionen

Model deprecation betyder at en AI-leverandør holder op med at stille en bestemt modelversion til rådighed og kræver at de der bruger den, skifter til en nyere. Det er en normal del af modellernes livscyklus: Nye versioner udgives, gamle vedligeholdes ikke i al evighed.

Konsekvensen for jer afhænger af hvordan I bruger modellen. Nogle gange er et skifte en ukompliceret opdatering. Andre gange, især når modellens adfærd er bagt ind i en forretningskritisk eller reguleret proces, betyder det et omfattende omarbejde. Og det der afgør om I når det, er varslet.

Hvorfor det betyder noget, også uden formelle krav

Model deprecation opfattes ofte som et problem udelukkende for stærkt regulerede brancher. Men også en almindelig virksomhed påvirkes fordi en ny modelversion ikke opfører sig præcis som den gamle. Prompts der er finpudset til én version, kan give andre svar i den næste: nogle gange bedre, nogle gange dårligere, men sjældent identiske. Har I bygget en tjeneste hvor tone, format eller præcision er vigtig, skal den testes igen ved hvert modelskifte.

Et konkret eksempel: En kundeserviceassistent er blevet tilpasset så svarene har den rigtige tone og længde. Når den underliggende model udfases og erstattes, kan de samme instruktioner pludselig give længere eller mere formelle svar. Uden varsel og en testperiode opdager I det først når kunderne gør det. Derfor er varslet et spørgsmål for flere end dem der har en formel valideringsproces.

Varslet varierer dramatisk

Her er kernen i problemet: Hvor langt et varsel I får, varierer enormt mellem leverandører og modeltyper.

Spændet går altså fra over et år ned til et par uger. Bemærk især at nogle leverandører slet ikke har noget aftalt minimum, og så er I prisgivet en politik der kan ændres. Og observerede mønstre, som Copilots lidt over en måned, er ikke det samme som en aftalt forpligtelse.

Konsekvensen for regulerede virksomheder

For virksomheder der skal genvalidere formelt ved et modelskifte, bliver varslet afgørende. Genvalidering betyder at vise at den nye modelversion opfylder de samme krav som den gamle, et arbejde der tager tid.

Hvis varslet er kortere end genvalideringsperioden, opstår der et hul: Modellen er udfaset før den nye er nået at blive godkendt. Et konkret scenarie: En virksomhed med formel modelvalidering får to ugers varsel om at dens modelversion tages ud af drift, men dens genvalideringsproces tager længere tid end det. Resultatet er at den tvinges til at vælge mellem at blive på en udfaset model og at køre en model der ikke er færdigvalideret.

Løsningen er at køre to modelversioner parallelt i genvalideringsperioden: Den gamle holder produktionen i gang mens den nye valideres. Det forudsætter at I har planlagt for det og at aftalen giver et tilstrækkeligt varsel.

Gør varslet til et punkt i aftalen

Konklusionen er enkel: Behandl varslet som et forhandlingspunkt, ikke en fodnote. Skriv et minimumsvarsel ind i aftalen, planlæg parallel drift hvor genvalidering kræves, og byg løsningen så et modelskifte ikke tvinger et totalt omarbejde igennem.

Og fordi varsler og udfasningspolitikker ændrer sig over tid: Tjek leverandørens aktuelle politik i stedet for at stole på et tal du har læst et sted. Det der gjaldt ved sidste aftale, kan være ændret.

Vil du se hvordan model deprecation hænger sammen med leverandørvalg, data residency og driftssikkerhed i et helt AI-projekt, finder du mere på vores AI-side. Har du brug for hjælp til at bygge en AI-løsning der kan klare et modelskifte? Kontakt os.