Hva er LLMOps?

LLMOps er disiplinen som handler om å drifte løsninger bygd på store språkmodeller: å versjonere prompter, evaluere kvaliteten på svarene og overvåke kostnadene over tid. Navnet er i slekt med DevOps og beskriver alt som kreves etter at løsningen er bygd, altså arbeidet med å holde den stabil, målbar og pålitelig i reell drift.

Det er lett å tro at jobben er gjort når en AI-løsning fungerer i en demo. I praksis er det da det vanskelige begynner. En demo er kontrollert, virkeligheten er det ikke. LLMOps er det som fyller gapet mellom «det fungerte i demoen» og «det er til å stole på hver dag».

Parallellen til DevOps, og det som er nytt

DevOps handler om å bygge, drive og forbedre programvare på en strukturert måte. LLMOps bygger videre på den samme tankegangen, men legger til en vanskelighet som ikke fantes før.

I vanlig programvare er utdataene deterministiske: Samme inndata gir samme resultat, hver gang. Det gjør at man kan teste mot en fasit. En språkmodell fungerer ikke slik, for samme spørsmål kan gi ulike svar på ulike tidspunkter. Det virker kanskje som en detalj, men det rokker ved en av grunnpilarene i tradisjonell testing.

Konsekvensen er at man ikke kan kontrollere kvaliteten på den gamle måten. I stedet trengs metoder for å måle svar som varierer: å vurdere om et svar er godt nok, snarere enn om det er helt riktig. Nettopp den utfordringen er kjernen i det LLMOps tilfører utover vanlig drift.

Minimumsoppsettet

Man trenger ikke å bygge alt på én gang, men det finnes et grunnlag som er vanskelig å klare seg uten. Tre deler utgjør et fornuftig minimumsoppsett.

Logging betyr å lagre hva som ble spurt om og hva modellen svarte, slik at problemer kan spores i etterkant. Et evalueringssett er en måte å måle systematisk om svarene holder mål, i stedet for å stole på magefølelsen. Kostnadsvarsler overvåker utgiftene og varsler før de løper løpsk. Det er viktig fordi kostnaden beregnes per bruk og lett kan overraske. Med disse tre på plass har dere innsyn i kvalitet, sporbarhet og kostnader.

Hvorfor LLMOps avgjør om piloten overlever

Her ligger poenget med hele disiplinen. Svært mange AI-prosjekter ser lovende ut i en pilot, men kommer aldri i produksjon. Grunnen er sjelden at modellen var dårlig, men at ingen hadde verktøyene til å stole på den i lengden.

Uten logging er det umulig å forstå hvorfor et svar ble feil. Uten evaluering merker ingen at kvaliteten sakte blir dårligere. Uten kostnadskontroll blir en løpsk regning først oppdaget på fakturaen. En pilot uten LLMOps er en løsning man ikke tør å slippe løs, og da blir den stående på pilotstadiet, uansett hvor bra den så ut i demoen.

Det finnes i tillegg en særlig felle her: Kvaliteten kan forringes gradvis uten at noen ser det. Fordi svarene varierer av natur, er det lett å avfeie et dårlig svar som en enkeltstående hendelse. Men bak enkeltstående feil kan det skjule seg en reell forverring. Kanskje har spørsmålene endret seg, kanskje har et kildedokument blitt utdatert. Uten en evaluering som måler over tid, oppdages slikt først når brukerne har mistet tilliten. Det er en av de tydeligste grunnene til at måling ikke kan hoppes over.

Hva det betyr for deg som kunde

LLMOps er ikke noe man legger til etterpå, men en del av det som gjør en AI-løsning driftsklar. Når dere vurderer en leverandør, er det rimelig å spørre hvordan løsningen skal logges, hvordan kvaliteten skal måles og hvordan kostnadene skal overvåkes. Svarene avslører om det finnes en plan for virkeligheten eller bare for demoen.

En siste ting som er verdt å nevne, er at prompter bør versjoneres akkurat som kode. Når dere justerer en instruksjon for å rette en atferd, ønsker dere å kunne se hva som ble endret, og å kunne gå tilbake hvis det ble dårligere. Uten versjonering blir forbedringsarbeidet gjetting i blinde, og ingen husker helt hva som gjaldt forrige uke. Det er en liten vane som gjør stor forskjell for hvor kontrollert en løsning kan utvikles over tid.

Vi i Weapp behandler driftsspørsmålene som en del av løsningen fra begynnelsen. Vil du drøfte hva som kreves for at en AI-løsning skal holde i produksjon, kan du lese mer om AI-tjenestene våre eller ta kontakt med en beskrivelse av hva dere vil bygge.