Hoe schrijf je een skill die niets verzint

Een model verzint wanneer het een vraag krijgt die het niet kan beantwoorden en geen aanvaardbare manier heeft gekregen om dat te zeggen. Het grootste deel van de oplossing bestaat erin die situaties weg te halen, niet in het model opdragen om voorzichtig te zijn.

1. Geef het expliciet een uitweg

De regel met het hoogste rendement in de meeste skills:

Als de informatie niet in de aangeleverde documenten staat, zeg dan "dat heb ik niet" en stop. Vul het gat niet in vanuit algemene kennis.

Zonder die regel is "beantwoord de vraag" de enige aanwezige instructie, dus antwoordt het model. Mét die regel zijn er twee aanvaardbare uitkomsten, en één ervan is goedkoop.

Controleer daarna of die uitweg ook echt bereikbaar is. Als je prompt óók zegt "geef altijd een aanbeveling", heb je een tegenstrijdigheid geschreven, en het model lost die op door te verzinnen. Lees je instructies na op conflicten voor je het model de schuld geeft.

2. Scheid het ophalen van het genereren

De meest voorkomende oorzaak van een zelfverzekerd fout antwoord is dat er niets opgehaald werd en het model gewoon doorging.

Maak de vorm expliciet: eerst ophalen, en als dat niets teruggeeft, is dát het antwoord. In een skill die tools gebruikt, moet een opzoeking die niets vindt een foutresultaat teruggeven dat het model kan lezen en waar het naar kan handelen — geen lege string die eruitziet als een geldig, leeg antwoord.

3. Laat het nooit rekenen wanneer het telt

Alles wat juist móét zijn — totalen, marges, datums, aantallen — wordt door code berekend en als waarde aan het model doorgegeven. Een cijfer dat als tekst gegenereerd wordt, is een gok die toevallig plausibel is.

Dit is dezelfde regel als bij deterministische skills, en het is die waar mensen het in principe mee eens zijn en die ze in de praktijk overtreden, meestal door een tabel in de prompt te plakken en om "het totaal" te vragen.

4. Vraag de bron naast de bewering

Verplicht elke inhoudelijke uitspraak om te dragen waar ze vandaan komt — een documenttitel, een veldnaam, een record-id.

Dat doet twee dingen. Het maakt een niet-onderbouwde bewering in één oogopslag zichtbaar voor een nalezer. En het vermindert meetbaar het verzinnen, want een bewering die een bronvermelding nodig heeft, is moeilijker uit het niets te produceren dan een bewering die op zichzelf staat.

5. Leg de vorm van de output vast

Vrij proza nodigt uit tot uitweiden. Een vaste structuur niet:

Bevinding:
Bewijs (citaat of veld):
Zekerheid (hoog / midden / laag):
Wat dit zou veranderen:

"Wat dit zou veranderen" verdient zijn plaats: het dwingt het model om de voorwaarde te benoemen waaronder het fout zit, en dat is bijzonder moeilijk over iets wat je zelf verzonnen hebt.

6. Verkies smalle tools boven brede context

Een brede tabel overhandigen en een vraag stellen, nodigt het model uit om te rekenen. revenue_by_period(customer, from, to) overhandigen niet. Smalle, getypeerde, goed benoemde tools maken van het juiste pad het makkelijkste pad — het model kiest welke bewerking, de code voert ze uit.

7. Let op de drie risicovolle vormen

Verzinnen concentreert zich op voorspelbare plekken:

Beslis voor elk van die vormen op voorhand wat de skill doet als het antwoord er niet is.

Wat "hallucineert niet" eerlijk gezien betekent

Het betekent niet nul. Het betekent dat de faalwijze verschoven is van een antwoord verzinnen naar zeggen dat het het niet weet — en dat je aan de output het verschil ziet. Kan je niet zien wat je gekregen hebt, dan heb je de betrouwbaarheid niet verbeterd, alleen de toon.

Daarom hoort dit samen met een testset. Overtuigingskracht is geen bewijs.