1. Waarom een pilot alleen niet volstaat
Een pilot bewijst meestal maar één ding: het model geeft bruikbare antwoorden op vragen die zijn uitgekozen door de personen die de test uitvoerden. In productie verandert vrijwel alles. Er zijn veel meer gebruikers, vragen zijn onvoorspelbaar, documenten bevatten persoonsgegevens en de dienst moet blijven draaien wanneer de beheerder met vakantie is. Een pilot meet dit allemaal niet, en een succesvolle proef bewijst dus nog niet dat de dienst klaar is voor echt gebruik.
De overstap vereist dat je het model behandelt als een volwaardig IT-systeem, met verantwoordelijken, procedures en schriftelijke grenzen. De relevante vraag is niet langer of het model slim overkomt, maar of je kunt aantonen wie het beheert, wie beslist over wijzigingen, wat er gebeurt bij uitval en hoe je aantoont dat gegevens binnen de afgesproken grenzen blijven. Ontbreken die antwoorden, dan is de pilot nog niet afgerond, hoe enthousiast de gebruikers ook zijn.
2. Wat je vastlegt vóór installatie
Voordat je de infrastructuur aanraakt, leg je drie besluiten vast. Het eerste betreft de gebruikssituatie: welke taak het systeem moet uitvoeren, voor welke personen en met welke gegevens. Een assistent die administratief personeel helpt bij het zoeken in interne procedures vraagt om andere waarborgen dan een tool die klantgegevens of medische gegevens verwerkt. Het tweede besluit betreft de scope: welke gebruikers, applicaties en gegevensbronnen aan het model worden gekoppeld, want elke koppeling vormt een te beveiligen oppervlak.
Het derde besluit betreft verantwoordelijkheid. Je hebt een interne eigenaar nodig die verantwoording aflegt over de dienst, een leverancier die de infrastructuur onderhoudt en een vastgelegde regel over wie modelwijzigingen goedkeurt. Zonder eigenaar mondt elk incident uit in een discussie tussen afdelingen waarin niemand de knoop doorhakt. Vraag de leverancier om schriftelijk vast te leggen hoe de taken tussen jouw organisatie en hen zijn verdeeld, en controleer of dit helder is voor iedereen die gebruikersmeldingen ontvangt.
3. De stappen van pilot naar operationele dienst
De stappen volgen een strikte volgorde. Een stap overslaan levert geen tijdswinst op: het verplaatst het probleem alleen naar later, wanneer herstel meer kost en medewerkers al gewoontes hebben gevormd rond een instabiel systeem. De volgorde is ook van belang voor interne en externe audits, omdat het aantoont dat beslissingen vooraf zijn genomen en niet pas na een incident.
Elke stap moet een toetsbaar resultaat opleveren. Als je niet kunt aantonen wat de stap bewijst, is deze nog niet afgerond en ga je beter niet verder. De onderstaande lijst is een generieke volgorde: pas deze aan op je situatie, maar sla nooit de stappen over rond testen, toegangsbeheer en het rollback-plan. Houd de lijst bij in een gedeeld document en actualiseer hem bij elke release.
- Definieer de use case in één zin en verzamel concrete voorbeelden van vragen die het systeem moet verwerken.
- Bouw een testset met reële vragen, geanonimiseerd waar nodig, en noteer het antwoord dat als correct geldt.
- Kies het model en de exacte versie, en controleer de licentievoorwaarden schriftelijk voordat je het zakelijk inzet.
- Dimensioneer de infrastructuur op de verwachte structurele belasting, niet op het aantal deelnemers aan de pilot.
- Installeer de dienst in een testomgeving die strikt gescheiden is van productie, met dezelfde configuratie als beoogd voor livegang.
- Voer kwaliteits- en beveiligingstesten uit en leg de resultaten vast in het projectdossier.
- Stel de toegang open voor een beperkte gebruikersgroep, met een vast meldpunt en een periode van gecontroleerd gebruik.
- Activeer monitoring, noodprocedures en het uitwijkplan (rollback), en rol de toegang daarna uit naar de volledige doelgroep.
4. Capaciteit, geheugen en gelijktijdigheid
De capaciteit van een LLM-server hangt af van drie factoren die elkaar beïnvloeden: het geheugenbeslag van het model, de lengte van de teksten die het systeem moet verwerken en het aantal gelijktijdige verzoeken. Een groot model past mogelijk niet in het geheugen van één enkele videokaart, een lange context verbruikt geheugen voor elk geopend gesprek en meerdere gelijktijdige verzoeken vertragen de responstijd. Daarom volstaat het niet om te weten welk model je draait: je moet ook weten hoeveel mensen het gelijktijdig gebruiken en met welke documenten.
Vraag leveranciers bij het vergelijken van voorstellen om het systeem door te meten met jouw praktijksituaties en niet met hun eigen standaardvoorbeelden. Een prestatieclaim zonder randvoorwaarden zegt niets. Houd rekening met pieken en toekomstige groei, en leg schriftelijk vast wat er gebeurt als het systeem verzadigd raakt: komen verzoeken in een wachtrij, worden ze geweigerd of vertraagt het geheel gelijkmatig?
| Factor | Wat het beïnvloedt | Vraag aan de leverancier |
|---|---|---|
| Modelgeheugen | Of het model in het beschikbare videogeheugen past en met welke precisie | Hoeveel geheugen vraagt het gekozen model en in welk bestandsformaat? |
| Contextlengte | Hoeveel geheugen er overblijft voor elk actief gesprek | Hoeveel parallelle gesprekken kunnen we ondersteunen met documenten van onze omvang? |
| Gelijktijdigheid (concurrency) | Hoeveel verzoeken tegelijk kunnen draaien zonder buitensporige vertraging | Welke metingen zijn er gedaan met meerdere gelijktijdige gebruikers? |
| Responstijd (latency) | Hoe lang een medewerker wacht tot het eerste woord verschijnt | Hoe wordt de wachttijd gemeten en onder welke belastingcondities? |
5. Beveiliging, toegang en gegevensbeheer
Het taalmodel weet zelf niet wie er tegen praat en past documentrechten niet autonoom toe. Die taak ligt volledig bij de applicatie die gebruikers aan het model koppelt. Als het systeem documenten ophaalt uit een intern archief, mag het alleen passages tonen die de desbetreffende medewerker in de bron al mocht inzien. Vermijd gedeelde accounts, leg vast wie van de dienst gebruikmaakt en scheid beheerdersrollen, zodat een systeembeheerder niet ook de enige is die logs met gebruikersvragen inziet.
Bepaal daarnaast wat er precies wordt gelogd. Gesprekken kunnen persoonsgegevens bevatten en technische logs slaan die soms ongemerkt op. Leg vast hoe lang gespreksgeschiedenis bewaard blijft, wie deze mag inzien en hoe verwijdering plaatsvindt. Als de verwerking hoge risico's meebrengt voor betrokkenen, is een gegevensbeschermingseffectbeoordeling (DPIA) onder de AVG vooraf verplicht: toets met een privacyadviseur of dit op jouw situatie van toepassing is.
6. Versiebeheer, regressietesten en updates
Elke verandering aan het systeem verandert de antwoorden: een nieuwer model, een aangepaste systeemprompt, een generatieparameter of een toegevoegd document in de zoekindex. Behandel elk van deze aanpassingen als een officiële software-release, met een versienummer, een datum en een formele goedkeuring. Als je niet weet welke versie een fout antwoord heeft gegenereerd, kun je de oorzaak niet achterhalen en niet veilig terugdraaien.
Regressietesten zijn de meest betrouwbare manier om verrassingen te voorkomen. Bewaar de testset met vragen en goedgekeurde antwoorden, draai die voor elke wijziging en vergelijk de uitkomsten. Een test garandeert niet dat alles perfect is, maar laat direct zien of er iets achteruitgaat. Zorg ook voor een uitwijkplan (rollback): de vorige werkende versie moet direct herstelbaar blijven zodat je bij problemen direct kunt terugkeren.
7. Observability en operationele verantwoordelijkheid
Een productiedienst vereist continue monitoring. Meet beschikbaarheid, foutpercentages, responstijden, wachtrijlengtes, geheugen- en GPU-gebruik en server-temperatuur. Voeg daar een kwaliteitsindicator aan toe, zoals gebruikersmeldingen over onjuiste antwoorden. Technische data toont aan of het systeem operationeel is; kwaliteitsdata toont aan of het zijn werk naar behoren doet.
Je hebt ook mensen nodig die reageren als er storingen optreden. Schrijf een beheerhandleiding (runbook) met stappen om de service te herstarten, terug te gaan naar de vorige versie en gebruikers te informeren. Regel bereikbaarheidsdiensten en controleer welke responstijden contractueel zijn vastgelegd met de leverancier, in plaats van aannames te doen. Een nachtelijke storing zonder bereikbare beheerder kan dagenlang doorwerken.
8. Vragen die de verdiepende gidsen beantwoorden
Deze gids biedt een overzicht van het cluster. De vraagstukken die hierin naar voren komen, worden in detail uitgewerkt in afzonderlijke gidsen die je kunt raadplegen zodra je aan dat punt toe bent. Je hoeft ze niet allemaal tegelijk door te nemen: elk ervan dekt een risico af dat zich anders openbaart wanneer medewerkers het systeem al volop gebruiken. Elk onderwerp raakt een concrete beslissing die een eigenaar vroeg of laat moet nemen:
- Wat modelkwantisatie inhoudt en hoeveel precisie je inlevert met een compactere versie.
- Hoe de contextlengte het geheugenbeslag op de videokaart bepaalt.
- Wat throughput, latency en tokens per seconde betekenen en hoe je ze meet.
- Wanneer je kiest voor consumenten-videokaarten of enterprise datacenter-GPU's voor zakelijk gebruik.
- Welke stroom- en koelingsvereisten een server met zware videokaarten stelt.
- Wat je precies monitort in productie en hoe je de observability inricht.
- Hoe je taalmodellen update zonder onaangename verrassingen, met versiebeheer en regressietesten.
- Welke licenties voor open-weight modellen commercieel en zakelijk gebruik toestaan.
- Welke beveiligingsmaatregelen je implementeert op een interne LLM-server.
9. Hoe je direct van start gaat
De beste eerste stap deze week is het opstellen van een overzicht van één pagina voor de dienst. Benoem daarin de gebruikssituatie, de naam van de verantwoordelijke eigenaar, de doelgroep van gebruikers, de soorten gegevens die het systeem verwerkt en het criterium waarmee je de antwoorden beoordeelt, al is het een kwalitatieve toets door twee collega's. Als je een regel niet kunt invullen, is dat precies het eerste punt om op te helderen.
Bespreek dit document vervolgens met de leverancier en vraag drie specifieke zaken: hoe zij kwaliteit meten met jouw concrete voorbeelden, hoe ze modelversies beheren en wat er gebeurt als het systeem overbelast raakt. De antwoorden laten direct zien of de leverancier procesmatig werkt of louter hardware levert. Pas dan kun je offertes zuiver vergelijken, omdat je over een eenduidige meetlat beschikt.
Veelgestelde vragen
Is een geslaagde pilot voldoende om live te gaan?
Nee. Een pilot laat zien dat het model waardevol kan zijn bij een beperkt aantal gekozen situaties. Naar productie gaan vereist vaste eigenaren, een herhaalbare testset, toegangsbeveiliging, monitoring en een plan om wijzigingen terug te draaien. De pilot is een leerfase; de stap naar een volwaardige dienst betekent dat je deze randvoorwaarden één voor één afrondt voordat je het systeem breder openstelt.
Wie moet de eigenaar van de dienst zijn?
Een interne manager die zeggenschap heeft over de inhoud en het bedrijfsproces, niet uitsluitend over de hardware. De eigenaar beslist wie toegang krijgt, keurt modelupdates goed en handelt meldingen af. De leverancier onderhoudt de infrastructuur en legt die taken schriftelijk vast. Als die twee rollen door elkaar lopen, hakt niemand knopen door op kritieke momenten.
Hebben we een gegevensbeschermingseffectbeoordeling (DPIA) nodig?
Dat hangt af van de verwerking. De AVG vereist een DPIA voor verwerkingen met een hoog risico voor de rechten van betrokkenen. Het grootschalig inzetten van AI op persoonsgegevens of voor besluiten over individuen kan hieronder vallen. Neem hier geen aannames in en stem dit altijd af met je functionaris voor gegevensbescherming of juridisch adviseur.
Kunnen we het model updaten zodra er een nieuwere versie verschijnt?
Dat kan, maar nooit automatisch. Een nieuwere versie kan op sommige taken beter presteren maar op andere slechter, en verandert het gedrag waar gebruikers op rekenen. Voer altijd regressietesten uit op je vaste vragenset, vergelijk de uitkomsten, keur de update schriftelijk goed en houd de vorige versie direct beschikbaar voor rollback.
Hoe lang duurt de overstap van pilot naar productie?
Daar staat geen standaardtijd voor. Het hangt af van de helderheid van de use case, de beschikbaarheid van testgegevens, de bestaande serverinfrastructuur en de interne beveiligingseisen. Een project met duidelijke eigenaren en een procesmatige leverancier staat aanzienlijk sneller dan een traject waarin elk besluit opnieuw moet worden bevochten. Plan in fasen, niet in starre deadlines.
Neemt een on-premise server alle externe risico's weg?
Nee. Het lokaal houden van een model helpt om controle te houden over waar gegevens verblijven, maar lost op zichzelf niets op rond toegangsrechten, configuratiefouten, logs met persoonsgegevens of software-updates. Waar een systeem staat en wie er toegang toe heeft zijn twee wezenlijk verschillende vragen die beide aandacht vragen.
Wat is de belangrijkste eerste vraag aan de leverancier?
Vraag hoe zij de kwaliteit van de dienst meten aan de hand van jouw praktijksituaties, en niet met hun eigen demovragen. Een helder antwoord met een testset en een goedkeuringsprocedure toont de professionele volwassenheid van de leverancier aan. Blijft het antwoord algemeen of gericht op brute hardwarekracht, vraag dan kritisch door voordat je tekent.