Vad är ett datalake?

Datalake, eller datasjö, är ett begrepp som dyker upp så fort ett företag börjar prata om AI, analys eller att “göra något med all vår data”. Men vad en datasjö faktiskt är, och vad som skiljer den från ett vanligt datalager, är långt ifrån självklart. Här är förklaringen, och den vanliga fällan att se upp med.

Vad en datasjö är

Ett datalake är en central lagringsplats dit du kan hälla in data av alla slag, i dess originalformat, utan att först bestämma hur den ska användas. Loggar, tabeller ur affärssystem, textdokument, bilder, mätvärden från sensorer – allt kan ligga sida vid sida, precis som det kom in.

Bilden är just en sjö. Vatten från många källor rinner ut i samma sjö och blandas där, oavsett varifrån det kom. På samma sätt samlas data från vitt skilda system i datasjön, i det skick de anlände. Först när någon ska använda en viss del struktureras och formas den efter frågan som ställs.

Det är den avgörande egenskapen: strukturera vid behov, inte vid inlagring. Du sparar först och bestämmer form senare.

Kontrasten mot data warehouse

Den bästa förståelsen kommer av att ställa sjön mot dess motpol, datalagret (data warehouse). De löser samma övergripande problem – att samla data för analys – men i motsatt ordning.

Ett data warehouse gör tvärtom mot sjön: det städar och strukturerar data innan den lagras, så att den ligger ordnad och analysklar. Datalagret är prydligt och snabbt för kända frågor; datasjön är rymlig och flexibel för frågor man ännu inte ställt. Många större organisationer använder båda – sjön som råvarulager, lagret som det städade skyltfönstret.

Varför AI och analys ofta börjar här

Datasjön har blivit startpunkten för många data- och AI-initiativ, och det är ingen slump. Sådana projekt kännetecknas av att de behöver mycket och varierad data, och sällan vet exakt i förväg vad de kommer att behöva.

En AI-modell kan behöva tränas på allt från loggar till fritext till bilder. En analytiker som utforskar ett nytt affärsproblem vet inte i förväg vilka fält som blir relevanta. Datasjön passar den fasen därför att den tar emot allt i originalskick och låter en utforska fritt, i stället för att tvinga fram beslut om struktur innan man vet vad man letar efter.

Ett konkret scenario

Ett bolag vill börja använda AI för att förutse när maskiner behöver underhåll. De vet inte exakt vilken data som kommer att visa sig avgörande, så de börjar med att samla allt de har i ett datalake: sensormätningar, servicehistorik, felrapporter i fritext, driftloggar.

I sjön ligger allt i sitt råa skick. När datateamet sedan experimenterar drar de ut och strukturerar just de delar en viss modell behöver, utan att ha behövt bestämma det i förväg. Hade de i stället tvingats städa och forma all data innan de fick spara den, hade projektet fastnat innan det ens börjat. Flexibiliteten var förutsättningen.

Varningen: sjön kan bli ett träsk

Här är den fälla som fäller många. Just det som gör datasjön kraftfull – att allt får hällas in utan ordning – gör den farlig om den lämnas åt sig själv. Utan styrning förvandlas den flexibla sjön till ett datamosse: en oöverblickbar hög där ingen vet vad som finns, varifrån det kommer eller om det går att lita på.

Två saker håller sjön frisk:

• En katalog. Något som beskriver vad som finns i sjön – vilken data, varifrån, i vilket skick – så att den går att hitta och förstå.
• Ägarskap. Tydligt ansvar för olika datamängder, så att någon står för kvaliteten och vet varför de finns.

Utan katalog och ägarskap blir sjön oanvändbar precis när ni behöver den som mest. Ordning och ansvar är inte byråkrati här, utan skillnaden mellan en tillgång och en belastning.

Så tar du nästa steg

Ett datalake lönar sig när ni har stora mängder varierad data och verkliga ambitioner inom analys eller AI – inte som en trend att haka på. Börjar ni, planera för katalog och ägarskap från dag ett, inte som en efterhandslapp. Vill ni bygga en datagrund som blir en tillgång och inte ett träsk, tar vi på Weapp gärna med det i systemarbetet från början.