Comment écrire une compétence qui n'invente rien

L'hallucination est surtout un problème de conception. Supprimez les situations où inventer est la seule issue.

Un modèle invente quand on lui pose une question à laquelle il ne peut pas répondre sans lui donner de façon acceptable de le dire. L'essentiel du remède consiste à supprimer ces situations, pas à lui demander d'être prudent.

1. Donnez-lui une porte de sortie, explicitement

La ligne au meilleur rendement dans la plupart des compétences :

Si l'information ne figure pas dans les documents fournis, dites « je ne l'ai pas » et arrêtez-vous. Ne comblez pas le vide avec des connaissances générales.

Sans elle, « réponds à la question » est la seule instruction présente, donc le modèle répond. Avec elle, il y a deux issues acceptables et l'une des deux est peu coûteuse.

Vérifiez ensuite que cette sortie est réellement atteignable. Si votre prompt dit aussi « fournis toujours une recommandation », vous avez écrit une contradiction, et le modèle la résoudra en inventant. Relisez vos instructions à la recherche de conflits avant d'accuser le modèle.

2. Séparez la recherche de la génération

La cause la plus fréquente d'une réponse fausse et assurée est que rien n'a été trouvé et que le modèle a continué quand même.

Rendez la séquence explicite : d'abord chercher, et si la recherche ne renvoie rien, c'est cela la réponse. Dans une compétence qui utilise des outils, une recherche infructueuse doit renvoyer un résultat d'erreur que le modèle peut lire et exploiter — pas une chaîne vide qui ressemble à une réponse valide et vide.

3. Ne le laissez jamais faire un calcul qui compte

Tout ce qui doit être juste — totaux, marges, dates, décomptes — est calculé par du code et transmis au modèle comme valeur. Un chiffre généré sous forme de texte est une supposition qui se trouve être plausible.

C'est la même règle que pour rendre les compétences déterministes, et c'est celle que l'on concède en principe et que l'on viole en pratique, généralement en collant un tableau dans le prompt et en demandant « le total ».

4. Demandez la source à côté de l'affirmation

Exigez que chaque affirmation de fond porte son origine — un titre de document, un nom de champ, un identifiant d'enregistrement.

Cela produit deux effets. Une affirmation non étayée devient visible d'un coup d'œil pour un relecteur. Et cela réduit mesurablement l'invention, car une affirmation qui doit être citée est plus difficile à produire à partir de rien qu'une affirmation isolée.

5. Contraignez la forme de la sortie

La prose libre invite à broder. Une structure fixe, non :

Constat :
Preuve (citation ou champ) :
Confiance (élevée / moyenne / faible) :
Ce qui changerait ce constat :

« Ce qui changerait ce constat » mérite sa place : cela force le modèle à énoncer la condition dans laquelle il a tort, ce qui est très difficile à propos de quelque chose que l'on a inventé.

6. Préférez des outils étroits à un contexte large

Fournir un large tableau et poser une question invite le modèle à calculer. Fournir revenue_by_period(customer, from, to), non. Des outils étroits, typés, bien nommés font du bon chemin le chemin le plus facile — le modèle choisit quelle opération, le code l'exécute.

7. Surveillez les trois formes à risque

L'invention se concentre à des endroits prévisibles :

Forme	Pourquoi cela dérape
« Résume ces documents » alors qu'il en manque un	L'absence est invisible ; le résumé paraît complet
Toute question sur une date, une échéance ou une version	Très spécifique, très plausible, rarement retrouvable
« Que dit la politique sur X » alors que X n'y figure pas	Le modèle raisonne sur ce qu'une politique dirait

Pour chacune, décidez à l'avance ce que fait la compétence quand la réponse n'est pas là.

Ce que « n'hallucine pas » veut honnêtement dire

Cela ne veut pas dire zéro. Cela veut dire que le mode de défaillance est passé d'inventer une réponse à dire qu'il ne sait pas — et que la sortie vous permet de faire la différence. Si vous ne pouvez pas dire lequel des deux vous avez obtenu, vous n'avez pas amélioré la fiabilité, seulement le ton.

C'est pourquoi cela va de pair avec un jeu de tests. La force de conviction n'est pas une preuve.