Llama eller Mistral for selvhosting?

Når valget har falt på å kjøre en åpen språkmodell selv i stedet for å kjøpe tilgang via API, er det ofte to familier som står i sentrum: Metas Llama og franske Mistral. Begge er sterke, og begge brukes i reelle produksjonsløsninger. Forskjellene handler mindre om hvem som er «best» og mer om lisens, hjemsted, størrelse og økosystem. Det er de fire spørsmålene som avgjør hvilken som passer akkurat dere.

Lisensforskjeller og hva de betyr kommersielt

Det viktigste å forstå tidlig er at «åpen» ikke betyr det samme for de to familiene. Lisensvilkårene er forskjellige, og de påvirker hva dere har lov til å gjøre kommersielt.

Mistral har gitt ut flere av modellene sine under en virkelig permissiv åpen lisens, av den typen som gir stor frihet til å bruke, endre og distribuere. Llama bruker i stedet en egen community-lisens som tillater kommersiell bruk, men stiller visse vilkår.

Den praktiske konsekvensen: Les lisensen for den konkrete modellen dere planlegger å kjøre, ikke bare for familien. En familie kan inneholde modeller med ulike vilkår, og det er den enkelte modellens lisens som styrer hva dere juridisk har lov til å gjøre. For kommersiell drift er dette ikke en formalitet, men et spørsmål som må avklares før dere bygger videre.

Mistrals europeiske hjemsted som suverenitetsargument

En forskjell som ofte trekkes frem, er at Mistral er et europeisk, fransk selskap, mens Llama kommer fra amerikanske Meta. I en diskusjon om digital suverenitet, altså hvem som til syvende og sist kontrollerer teknologien og under hvilken jurisdiksjon, kan det telle.

Samtidig er det verdt å nyansere dette for selvhosting. Kjører dere modellen i eget miljø, forlater dataene aldri infrastrukturen deres, uansett hvem som har laget modellen. Da blir hjemstedet først og fremst et argument på leverandør- og økosystemnivå, ikke et dataspørsmål. Poenget med å selvhoste er nettopp at dere tar kontroll over hvor behandlingen skjer. Hjemstedet kan likevel ha betydning for langsiktig avhengighet og for hvordan en anskaffelse begrunnes, men det må veies mot at selvhostingen i seg selv allerede løser mye av suverenitetsspørsmålet.

Størrelsesklasser, maskinvarekrav og finjustering i praksis

Her ligger ofte det avgjørende i praksis, og det handler ikke om familienavn, men om størrelse. Både Llama og Mistral finnes i flere størrelsesklasser, og størrelsen bestemmer både kapasitet og maskinvarebehov.

Det praktiske rådet er å begynne med størrelsesklassen, ikke familien. Spør først hvor mye maskinvare dere realistisk kan sette av, og velg deretter en modell som passer det budsjettet. En mindre modell som kjører stabilt, er nesten alltid bedre enn en stor som maskinvaren deres så vidt takler. Ellers blir responstider og driftskostnader en stadig kilde til problemer.

Når det gjelder finjustering, er begge familiene godt dekket. De støttes av de modne, åpne verktøyene som brukes til å videretrene åpne modeller, så økosystemet er sjelden flaskehalsen. Men tenk over om dere virkelig trenger å finjustere. Mange behov, som å svare ut fra egne dokumenter eller holde en bestemt tone, løses med gode prompter og RAG uten at modellen trenes på nytt. Finjustering er først berettiget når dere trenger en atferd, et format eller et domenespråk som ikke kan oppnås på annen måte.

Slik velger dere

Oppsummert: Det finnes ikke noe generelt «Llama er bedre enn Mistral» eller omvendt. Vei lisensvilkårene mot hva dere vil gjøre kommersielt, la hjemstedet spille inn hvis suverenitet er en faktor, og tilpass størrelsesklassen til maskinvaren dere har. Test deretter en mindre modell fra hver familie på en oppgave dere faktisk skal løse før dere bestemmer dere.

Vil dere ha hjelp til å sette opp en selvhostet modell og vurdere valget mot et API-alternativ, kan dere lese mer om arbeidet vårt med AI eller ta kontakt for en uforpliktende samtale.