RAG eller fine-tuning til jeres AI-løsning?
Grundreglen er enkel: Vælg RAG når modellen har brug for viden fra jeres dokumenter, og fine-tuning når den skal ændre adfærd, tone eller format. RAG holdes aktuel ved at dokumenterne opdateres mens fine-tuning kræver en ny træningsrunde ved hver ændring. Mange løsninger ender i en kombination, men det billige første skridt er altid prompt engineering.
Når en sprogmodel skal kende jeres indhold, findes der to etablerede veje: RAG, hvor modellen henter fra jeres kilder i det øjeblik den svarer, og fine-tuning, hvor modellen trænes videre på jeres eksempler. Valget fremstilles ofte som en teknisk beslutning. Det er det ikke. Det er en beslutning om hvad problemet faktisk er: viden eller adfærd.
Grundreglen: viden til RAG, adfærd til fine-tuning
RAG (Retrieval-Augmented Generation) lader modellen slå relevante dokumenter op (politikker, produktark, aftaler) og svare ud fra dem. Det er det rette værktøj når problemet er at modellen ikke ved det den skal svare på: jeres sortiment, jeres vilkår, jeres seneste prisliste.
Fine-tuning træner en eksisterende model videre på jeres eksempler indtil den ændrer måden den svarer på: tone, svarstruktur, formatdisciplin, domænespecifikke konventioner. Det er det rette værktøj når modellen ved nok, men opfører sig forkert: svarer for langt, rammer ved siden af jeres format, bryder med jeres stil.
Tommelfingerreglen holder overraskende godt: Handler klagen over modellen om hvad den siger, er det et vidensproblem, så vælg RAG. Handler den om hvordan den siger det, er det et adfærdsproblem, så overvej fine-tuning.
Omkostninger og vedligeholdelse: den afgørende forskel
Byggeomkostningen er forskellig, men den virkelige forskel ligger i logikken bag vedligeholdelsen.
En RAG-løsning opdateres med dokumenter. Ændrer I en politik eller tilføjer et produkt, indekseres det nye indhold, og modellen svarer korrekt ved næste spørgsmål: ingen træning, ingen release. Prisen er i stedet en pipeline der skal bygges og vedligeholdes: kilder, oprydning, indeksering og søgekvalitet. Regn med at en betydelig del af budgettet går til at få styr på indholdet snarere end på AI-teknikken.
Fine-tuning betaler I for pr. cyklus: indsamle og kvalitetssikre træningseksempler, køre træningen, evaluere resultatet og gøre det hele om når indholdet, kravene eller grundmodellen ændres. En fine-tunet model er en ferskvare med releasedato. Det er håndterbart når den adfærd den har lært, er stabil over tid, og dyrt når det I har trænet ind, ændres ofte.
| Sammenligningspunkt | RAG hhv. fine-tuning |
|---|---|
| Løser bedst | Viden fra jeres kilder, hhv. tone, format og adfærd |
| Opdatering | Skift dokumenterne ud, færdig, hhv. ny træningsrunde med evaluering |
| Sporbarhed | Svarene har kildehenvisninger, hhv. svært at vise hvorfor modellen svarer som den gør |
| Omkostningsprofil | Pipeline og drift pr. forespørgsel, hhv. udgift pr. træningscyklus |
| Passer når | Indholdet ændres løbende, hhv. adfærdskravet er stabilt |
Trappen: start billigt, eskalér med belæg
Den dyreste fejl i metodevalget er at starte i den forkerte ende. Rækkefølgen der holder omkostningerne nede:
- Prompt engineering. En gennemarbejdet prompt med instruktioner og eksempler. Timer til dage af arbejde, ingen infrastruktur. Løser flere problemer end rygtet siger.
- RAG. Når modellen har brug for viden som prompten ikke kan rumme. Kræver en pipeline og arbejde med kilderne, men giver opdaterbarhed og kildehenvisninger.
- Fine-tuning. Når adfærdskravene beviseligt ikke nås med prompt og RAG. Kræver træningsdata, en evalueringssuite og en plan for gentræning.
- Kombinationen. RAG til viden, fine-tuning til adfærd. Ofte slutpunktet for løsninger med høje krav til både korrekthed og form.
Hvert trin tages kun når det forrige beviseligt har ramt loftet, målt på virkelige eksempler, ikke på mavefornemmelse.
Et scenarie: supportbotten i tre trin
En virksomhed bygger en supportassistent. Version et er en promptet model: Den svarer venligt, men gætter på produktdetaljer. Version to tilføjer RAG over produktdokumentation og vilkår: Svarene bliver korrekte og får kildehenvisninger, og når prislisten opdateres, svarer botten rigtigt samme dag. Et tilbageværende problem er at svarene er uensartede i formen: nogle gange tre afsnit, nogle gange en punktliste, nogle gange den forkerte hilsen. Version tre fine-tuner på nogle hundrede eksempler på perfekte svar. Viden kommer fortsat fra RAG’en; formatet sidder i modellen.
Havde de startet med fine-tuning, havde de bagt en prisliste ind som var forældet en måned senere, og betalt for en gentræning ved hver ændring. Rækkefølgen afgjorde økonomien. Vi hos Weapp bygger AI-løsninger efter netop den trappe; kontakt os hvis I vil have hjælp til at afgøre hvor jeres løsning bør starte.
Ofte stillede spørgsmål
Kan man kombinere RAG og fine-tuning?
Ja, og modne løsninger ender ofte der: RAG forsyner modellen med aktuel viden fra jeres kilder mens fine-tuning tilpasser tone, format og de adfærdsmønstre der skal sidde i hvert svar. Metoderne løser forskellige problemer og konkurrerer egentlig ikke. De supplerer hinanden.
Bliver svarene mere faktuelt korrekte med fine-tuning?
Sjældent på den måde man håber. Fine-tuning lærer modellen mønstre og stil, men den er svag som videnslag: Indbagte fakta forældes, og der kan ikke henvises til en kilde. Skal modellen svare korrekt ud fra jeres indhold, er hentning fra en opdateret kilde via RAG næsten altid det rette værktøj.
Hvornår er prompt engineering nok?
Oftere end de fleste tror. En gennemarbejdet systemprompt med instruktioner, eksempler og relevant kontekst dækker mange behov for tone, format og enklere viden, uden infrastruktur. Start der, mål kvaliteten, og gå først videre til RAG eller fine-tuning når prompten beviseligt har ramt loftet.
Hvad koster RAG sammenlignet med fine-tuning?
En RAG-løsning koster normalt 320.000 DKK–1,6 mio. DKK at bygge, hvor dataoprydning ofte er den største post, plus lave driftsomkostninger pr. forespørgsel. Ved fine-tuning ligger udgiften i dataindsamling, træningskørsler og evaluering, og den vender tilbage ved hver gentræning. Spændet afhænger af kildernes tilstand og kvalitetskravene.
Hvordan holder vi løsningen aktuel over tid?
Med RAG opdaterer I indholdet: nye dokumenter ind, gamle ud, og modellen svarer straks ud fra det nye. Med fine-tuning kræves nye træningsdata, en ny træningsrunde og en ny evaluering ved hver væsentlig ændring. Regn på hvor hurtigt jeres indhold ændrer sig. Det afgør ofte metodevalget alene.