AI-skills deterministisch maken in datatoepassingen

De vraag die we het vaakst van technische leads krijgen: "Het geeft elke keer een ander antwoord. Hoe maken we dit betrouwbaar genoeg om aan een klant te tonen?"

Het antwoord is niet een lagere temperature. Het is een andere taakverdeling.

De regel: het model kiest, de code rekent

Een taalmodel is goed in beslissen welke bewerking van toepassing is op een rommelige, dubbelzinnige vraag. Het is slecht als rekenmachine, en het is slecht als bron van waarheid voor cijfers.

Splits het werk dus op:

• Het model beslist: welk rapport, welke periode, welke filter, welke klant die vage formulering bedoelt.
• De code rekent: de som, de marge, de rangschikking, het datumrekenwerk.

Elk cijfer dat een klant te zien krijgt, zou geproduceerd moeten zijn door een functie die je met een unittest kan afdekken, niet als tekst gegenereerd. Als je naar een cijfer in een antwoord kan wijzen zonder de functie te kunnen noemen die het produceerde, is dat cijfer een gok.

Geef het model tools, geen tabellen

Een model een brede tabel geven en om een totaal vragen, nodigt het uit om de som zelf te maken. Het een tool revenue_by_period(customer, from, to) geven doet dat niet. Smalle, goed benoemde tools met getypeerde argumenten zijn het mechanisme — ze maken van het deterministische pad het makkelijkste pad.

Drie eigenschappen maken een tool in de praktijk betrouwbaar:

1. Getypeerde argumenten met grenzen. Valideer aan de rand en weiger foute invoer met een boodschap waar het model iets mee kan. Een tool die stilzwijgend een fout gevormde datum aanvaardt, produceert een zelfverzekerd fout antwoord.
2. Een herstelbare foutvorm. Als een opzoeking niets vindt, geef dan een foutresultaat terug dat het model kan lezen en waarvan het opnieuw kan vertrekken — geen exception die de beurt afbreekt.
3. Geen verborgen toestand. Dezelfde argumenten moeten hetzelfde antwoord geven. Een tool die van de gespreksgeschiedenis afhangt, valt niet te testen en valt niet te vertrouwen.

Zet vast wat je kan, meet wat je niet kan vastzetten

Temperature nul vermindert de variatie maar elimineert ze niet, en ze is niet in elke omgeving beschikbaar. Beschouw het als een kleine verbetering, geen garantie.

Wat je wél vertrouwen geeft, is een regressiesuite: een vaste set vragen met gekende juiste antwoorden, uitgevoerd bij elke wijziging aan de prompt, de tools of de modelversie. Modelupgrades zijn de meest voorkomende oorzaak van een skill die "vroeger werkte". Zonder suite hoor je het van een klant.

Wat je als niet-deterministisch aanvaardt

De formulering zal variëren, en dat is prima. Zet de feiten vast, niet het proza. Sta erop dat je krijgt:

• dezelfde cijfers,
• dezelfde set records,
• dezelfde beslissing of aanbeveling.

Aanvaard dat de zin eromheen elke keer anders geformuleerd wordt. Teams die het proza proberen vast te zetten, verliezen daar maanden aan en krijgen er brosheid voor terug.