1. Varför pilotprojektet inte räcker
Ett pilotprojekt visar oftast bara en sak: modellen ger användbara svar på de specifika frågor som valts ut av testgruppen. I skarp produktion förändras nästan alla förutsättningar. Antalet användare ökar, frågorna blir oförutsägbara, dokumenten innehåller personuppgifter och tjänsten måste fortsätta fungera även när den ansvarige har semester. Pilotprojektet mäter inget av detta, och dess framgång är därför inget bevis för att tjänsten är produktionsklar.
Övergången kräver att modellen behandlas som ett riktigt IT-system, med utsedda ägare, dokumenterade rutiner och tydliga gränser. Den avgörande frågan är inte längre om modellen är bra, utan om du kan redogöra för vem som sköter driften, vem som godkänner ändringar, vad som sker vid driftstopp och hur du visar att datan stannar där den ska. Saknas svar på dessa frågor är piloten inte färdig, även om användarna är entusiastiska.
2. Vad du ska besluta före installation
Innan ni rör infrastrukturen bör tre beslut vara fattade. Det första gäller användningsfallet: vilken uppgift systemet ska lösa, för vilka användare och med vilken typ av data. En assistent som hjälper administrativ personal att söka i interna rutiner kräver helt andra kontroller än ett verktyg som hanterar hälso- eller kunduppgifter. Det andra gäller avgränsningen: vilka användare, applikationer och datakällor som ska anslutas till modellen, eftersom varje integration utgör en säkerhetsyta att skydda.
Det tredje beslutet rör ansvarsfördelningen. Det krävs en intern ägare som svarar för tjänsten, en leverantör som förvaltar infrastrukturen samt en skriftlig regel för vem som godkänner modellbyten. Utan en tydlig ägare fastnar varje incident i diskussioner mellan avdelningar utan beslut. Be leverantören skriftligt beskriva hur ansvarsfördelningen ser ut mellan parterna och säkerställ att ansvaret är tydligt för alla som tar emot felanmälningar.
3. Stegen från pilot till driftsatt tjänst
Stegen följer en fast ordning. Att hoppa över ett moment sparar i regel ingen tid: det innebär bara att problemen upptäcks senare, när åtgärderna är dyrare och användarna redan skapat vanor kring ett instabilt system. Ordningsföljden är också central vid interna eller externa revisioner, eftersom den visar att besluten fattades systematiskt före driftsättning och inte som en panikåtgärd efter en incident.
Varje steg måste resultera i ett verifierbart resultat. Om du inte kan formulera vad steget bevisar är det inte slutfört och det är klokt att gå tillbaka innan ni fortsätter. Listan nedan är en generell sekvens: anpassa den efter er verksamhet, men hoppa aldrig över stegen som rör tester, behörigheter och återställningsplan. Samla dokumentationen i ett delat projektdokument och uppdatera vid varje release.
- Definiera användningsfallet i en enda mening och samla in verkliga exempelfrågor som systemet måste klara av.
- Skapa en testuppsättning med autentiska frågor, avidentifierade vid behov, och dokumentera vad som bedöms som korrekt svar.
- Välj modell och modellversion samt verifiera licens- och användningsvillkor skriftligt innan modellen tas i drift.
- Dimensionera infrastrukturen för förväntad kontinuerlig belastning, inte enbart för den lilla testgruppen i piloten.
- Installera tjänsten i en testmiljö som är helt separerad från produktion, med samma konfiguration som produktionsmiljön.
- Genomför kvalitets- och säkerhetstester samt protokollför resultaten i projektarkivet.
- Öppna åtkomsten för en begränsad pilotgrupp med en etablerad feedbackkanal under en kontrollerad testperiod.
- Aktivera övervakning, beredskapsrutiner och rollback-plan, och bredda därefter tillgången till hela målgruppen.
4. Kapacitet, minne och samtidiga användare
Kapaciteten för en LLM-server styrs av tre samverkande faktorer: modellens minneskrav, längden på de texter systemet ska hantera samt hur många förfrågningar som kommer in samtidigt. En stor modell kanske inte ryms i minnet på ett enskilt grafikkort, en lång kontext förbrukar minne för varje aktiv konversation och många samtidiga anrop gör svaren långsammare. Därför räcker det inte att veta vilken modell som ska köras: du måste också veta hur många som ska använda den samtidigt och mot vilka dokumentmängder.
När ni jämför anbud ska ni be leverantören mäta prestandan utifrån era faktiska användningsfall i stället för förberedda exempelfall. Prestandasiffror utan tydliga förutsättningar går inte att jämföra. Lämna också marginal för tillväxt och belastningstoppar, och reglera skriftligt vad som sker vid överbelastning: om anrop läggs i kö, nekas eller om hela systemet svarar långsammare.
| Faktor | Vad den påverkar | Fråga att ställa till leverantören |
|---|---|---|
| Modellminne | Om modellen ryms i tillgängligt minne och med vilken precision | Hur mycket grafikminne kräver den valda modellen, och i vilket format? |
| Kontextlängd | Hur mycket minne som återstår för varje aktiv konversation | Hur många parallella sessioner kan vi stödja med dokument i vår storlek? |
| Samtidighet | Hur många anrop som kan köras parallellt utan märkbar fördröjning | Vilka mätningar har ni genomfört med flera samtidiga användare? |
| Svarstid | Hur länge användaren väntar innan det första ordet genereras | Hur mäts svarstiden och under vilka belastningsförhållanden? |
5. Säkerhet, behörigheter och datahantering
Modellen i sig vet inte vem som ställer frågan och kan inte hantera dokumentbehörigheter på egen hand. Den uppgiften vilar på applikationslagret som kopplar samman modellen med användarna. Om systemet hämtar dokument från ett internt arkiv får det bara visa information som användaren redan har behörighet att se i källsystemet. Undvik delade funktionskonton, logga vem som anropar tjänsten och separera rollerna så att en administratör inte också är ensam om att granska loggar med användardata.
Bestäm också vad som ska sparas. Dialoger kan innehålla personuppgifter och tekniska loggar kan kopiera information i det tysta. Fastställ hur länge konversationer lagras, vem som får läsa dem och hur radering sker. Om behandlingen innebär hög risk för enskildas rättigheter måste en konsekvensbedömning avseende dataskydd (DPIA) enligt GDPR genomföras före driftsättning: rådgör med ett dataskyddsombud om detta gäller er.
6. Versioner, tester och uppdateringar
Varje förändring i systemet påverkar dess beteende: en ny modellversion, en justerad systeminstruktion, en ändrad genereringsparameter eller ett nytt dokument i sökindexet. Behandla varje sådan justering som en ny release med versionsnummer, datum och ett formellt godkännande. Om du inte vet vilken version som genererade ett felaktigt svar går det varken att förstå grundorsaken eller att rulla tillbaka säkert.
Regressionstester är det mest praktiska sättet att undvika obehagliga överraskningar. Behåll er uppsättning med testfrågor och verifierade svar, kör testerna före varje systemändring och jämför utfallet. Testet garanterar inte att systemet är felfritt, men det visar omedelbart om något blivit sämre. Ha alltid en återställningsplan (rollback): den föregående stabila versionen måste finnas redo för snabb aktivering.
7. Observerbarhet och operativt driftsansvar
En produktionssatt tjänst kräver kontinuerlig övervakning. Mät tillgänglighet, felkoder, svarstider, kölängder, minnes- och GPU-utnyttjande samt serverns temperaturer. Komplettera med ett mått på upplevd svarskvalitet, exempelvis användarrapporter om felaktiga svar. Teknisk telemetri visar om servern lever; kvalitetsmått visar om den faktiskt gör sitt jobb.
Det krävs också personal med mandat och rutiner att agera vid driftstörningar. Upprätta en runbook, det vill säga en instruktion med exakta steg för att starta om tjänsten, återställa föregående version och informera användarna. Fastställ beredskapsavtal och kontrollera vilka inställelsetider som är avtalade med leverantören. Ett serverstopp nattetid utan beredskap blir snabbt ett driftavbrott som varar i flera dagar.
8. Frågor som fördjupningsguiderna besvarar
Den här guiden ger en översikt över hela området. Frågorna som väckts här fördjupas i andra specialiserade guider som du kan ta del av när du når respektive etapp. Du behöver inte läsa allt på en gång: varje guide adresserar en specifik risk som annars uppstår när medarbetarna redan är i full gång med systemet. Varje ämne rör ett konkret beslut som systemägaren förr eller senare måste fatta:
- Vad modellkvantisering innebär och hur mycket precision som tappas med en mer kompakt version.
- Hur kontextlängd förbrukar grafikminne (VRAM).
- Vad genomströmning, latens och tokens per sekund innebär samt hur de mäts.
- När man bör välja konsumentgrafikkort jämfört med datacenterkort för företagsbruk.
- Vilka krav på strömförsörjning och kylning en server med GPU-kort ställer.
- Vad du bör övervaka i produktion och hur telemetri sätts upp.
- Hur man uppdaterar modeller utan överraskningar med hjälp av versionshantering och regressionstester.
- Vilka licenser för öppna modeller (open-weight) som tillåter kommersiell användning.
- Vilka säkerhetskontroller som ska implementeras runt en intern LLM-server.
9. Hur du kommer igång
Det första konkreta steget den här veckan är att skriva ett sammanfattande faktablad på en sida för tjänsten. Ange användningsfall, utsedd systemägare, avsedd användargrupp, vilka datatyper systemet kommer i kontakt med samt vilket kriterium ni bedömer svaren efter, även om det bara är en kvalitativ genomgång av två kollegor. Om någon rad inte kan fyllas i är det just den punkten som först måste redas ut.
Ta sedan detta faktablad till leverantören och ställ tre frågor: hur de mäter kvalitet med era fall, hur modellversioner hanteras och vad som sker vid hög belastning. Svaren avslöjar omedelbart om leverantören arbetar processorienterat eller enbart säljer hårdvara. Först därefter kan du göra en meningsfull anbudsutvärdering, eftersom du har en gemensam måttstock att väga förslagen mot.
Vanliga frågor
Räcker ett lyckat pilotprojekt för att gå till produktion?
Nej. En pilot visar att modellen kan vara användbar för några utvalda frågor. Skarp produktion kräver utpekade ägare, en repeterbar testsvit, behörighetskontroll, övervakning och en plan för att rulla tillbaka om problem uppstår. Piloten är en lärande fas: att bygga en tjänst innebär att systematiskt stänga dessa operativa luckor innan nya användare släpps in.
Vem ska vara ägare till tjänsten?
En intern person med verksamhetsmandat över användningsfallet, inte bara över infrastrukturen. Ägaren beslutar vilka som får åtkomst, godkänner modellbyten och hanterar incidentrapporter. Leverantören sköter den tekniska driften och deras arbetsuppgifter ska vara skriftligt reglerade. Om rollerna blandas ihop uteblir besluten vid kriser.
Krävs en konsekvensbedömning avseende dataskydd (DPIA)?
Det beror på behandlingen. GDPR kräver en konsekvensbedömning om behandlingen sannolikt leder till en hög risk för fysiska personers rättigheter. Att behandla personuppgifter i stor skala eller för beslut som påverkar enskilda kan falla under detta krav. Ta inte svaret för givet: stäm av med ert dataskyddsombud eller en juridisk expert.
Kan jag uppdatera modellen så snart en bättre version släpps?
Det går, men inte per automatik. En ny version kan förbättra vissa uppgifter men försämra andra, och den förändrar det beteende som användarna har anpassat sig till. Kör regressionstester på er testuppsättning, jämför resultatet, godkänn ändringen skriftligt och håll den föregående versionen redo för snabb återställning.
Hur lång tid tar övergången från pilot till skarp drift?
Det finns ingen standardtid. Det beror på hur väl definierat användningsfallet är, tillgången på testdata, befintlig infrastruktur och organisationens säkerhetskrav. Ett projekt med tydliga ägare och en processorienterad leverantör går betydligt snabbare än ett där varje beslut måste förhandlas om. Planera i tydliga etapper snarare än fasta slutdatum.
Eliminerar en lokal server riskerna med externa molntjänster?
Nej. Att köra modellen lokalt ger kontroll över var datan lagras, men det löser inte automatiskt problem med bristfälliga behörigheter, konfigurationsfel, loggar med personuppgifter eller uteblivna uppdateringar. Var systemet körs och vem som har laglig åtkomst till datan är två skilda frågor som båda måste utvärderas.
Vilken är den första frågan man bör ställa till leverantören?
Fråga hur de mäter tjänstens kvalitet med era specifika användningsfall, inte med deras egna färdiga testexempel. Ett konkret svar med en testmetod och en godkännandeprocess visar på teknisk och operativ mognad. Om svaret är generiskt eller enbart fokuserar på hårdvarans prestanda bör ni ställa följdfrågor innan avtal tecknas.