Derfor har jeres AI-løsning brug for en reserveleverandør

De fleste gennemgange af AI-leverandører (data residency, aftaler, jurisdiktion) ender til sidst med samme konklusion: I har brug for en plan for den dag hvor den valgte leverandør ikke længere passer. Den plan hedder reserveleverandør. Og den er kun noget værd hvis den er testet, ikke bare skrevet ned.

Hvorfor reserven er nødvendig

Afhængigheden af en enkelt AI-leverandør er en driftsrisiko, af tre grunde der forstærker hinanden:

• Udfasning af modeller kan gå hurtigere end jeres genvalidering. En model I har bygget på, kan blive varslet udfaset med en frist der er kortere end den tid jeres egen gennemgang kræver.
• Vilkår og jurisdiktionsforhold er i bevægelse. Det der er compliant i dag, kan skulle revurderes i morgen, af grunde I ikke har indflydelse på.
• Et skifte kræver arbejde. At flytte til en anden leverandør er sjældent en indstilling. Det er udviklingsarbejde.

Hver for sig er de håndterbare. Tilsammen betyder de at et tvunget skifte i værste øjeblik, uden forberedelse, bliver dyrt og risikabelt.

“Aktiv” betyder testet

Den mest almindelige fejlkilde er at reserveleverandøren står som en sætning i politikken, men aldrig er afprøvet. Det er ingen reserve. Det er et håb.

Aktiv betyder ifølge underlaget testet routing: at trafikken faktisk kan dirigeres til reserven, at svarene er evalueret, og at I har gennemført en rigtig failover-øvelse. Forskellen mærkes først den dag I skal skifte, og da er det for sent at opdage at forbindelsen aldrig virkede.

Hvorfor omkonfiguration ikke er nok

Man kunne ønske at et leverandørskifte var som at skifte elselskab: samme stikkontakt, ny regning. Sådan er det ikke. Et skifte kræver ofte omskrivning snarere end omkonfiguration fordi flere ting er forskellige fra leverandør til leverandør:

• Værktøjsskema: hvordan modellen kalder jeres funktioner.
• Prompts: Samme instruktion giver forskellige resultater på forskellige modeller og skal justeres.
• Cachemekanik: hvordan gentagne kald håndteres og prissættes.

Derfor skal reserven forberedes i ro og mag. Gøres arbejdet først når hovedleverandøren er faldet bort, bliver det et lille udviklingsprojekt på det værst tænkelige tidspunkt.

Minimumskravet

Hvad skal der til for at I kan sige at I har en reserve for alvor? Tre ting:

Et abstraktionslag gør at jeres kald går gennem en fælles grænseflade i stedet for direkte mod en leverandørs API. En parallel evalueringssuite lader jer køre de samme opgaver mod både hoved- og reserveleverandøren og sammenligne. Og failover-øvelsen er beviset: I har faktisk skiftet, én gang, og det virkede.

Hvilken reserve, og sammenhængen med resten

Underlaget anbefaler en ikke-amerikansk reserveleverandør, Mistral eller tilsvarende, aktiv til højrisikoflows. Pointen med at vælge en anden jurisdiktion er at reserven skal være et reelt alternativ, også når det netop er jurisdiktionsforholdene der ændrer sig.

Reservesporet løser også et problem som ellers er svært at tage ejerskab over: frontier-modellernes uklare retention og hurtige ændringer af vilkår. I stedet for at jagte hver ændring hos en enkelt leverandør i realtid kan I pinne GA-modeller som I har valideret, holde retrætemuligheden varm og først skifte når I selv er klar. Reserven bliver altså ikke kun en katastrofeplan, men en forhandlingsposition.

Typiske faldgruber med reservesporet

Tanken er enkel, men den bliver ofte misforstået i praksis. De mest almindelige fejl:

• Reserven findes kun på papiret. Den absolut mest almindelige fælde: en linje i politikken uden testet routing bag. Den opdages altid på det forkerte tidspunkt når hovedleverandøren allerede er faldet bort.
• Reserven vælges i samme jurisdiktion. Hvis både hoved- og reserveleverandøren hører under samme jurisdiktion, beskytter skiftet ikke mod en ændring i jurisdiktionen. Pointen med en ikke-amerikansk reserve er netop at den er et reelt alternativ når de juridiske forhold skifter.
• Intet budget til vedligeholdelsen. En reserve der ikke evalueres regelmæssigt, forfalder i stilhed: Prompts og værktøjsskemaer glider fra hinanden mellem leverandørerne indtil skiftet pludselig kræver mere arbejde end ventet.

Et rimeligt minimum er at køre reserven skarpt en gang i kvartalet, om så kun på en delmængde af trafikken. Så ved I at den virker, og forskellene i svar mellem leverandørerne bliver opdaget i ro og mag i stedet for i en krise.

At bygge abstraktionslaget og sætte en fungerende failover op er et konkret stykke udviklingsarbejde. Vil I have hjælp til at gøre reservesporet til mere end en linje i politikken, kan du læse om vores AI-ydelser eller kontakte os med et billede af hvilke flows der er mest kritiske hos jer.