« Fais un bilan » ne veut pas dire « fais un deck »
Un assistant reçoit une demande simple : « fais un bilan ». Le modèle choisi est petit, local et peu coûteux. Il sait reformuler une note courte, mais il ne sait pas collecter seul des journaux, rapprocher des dépenses, qualifier des vulnérabilités et rédiger une synthèse fiable à partir de plusieurs sources.
Le mauvais réflexe consiste à router la demande vers une tâche que le système sait mieux démontrer : préparer une présentation. Le résultat peut sembler utile, mais il répond à une autre question. Le modèle n’a pas seulement échoué à produire le bilan ; le produit a changé silencieusement l’intention de l’utilisateur pour préserver l’apparence de fluidité.
Ce défaut est plus grave qu’un refus clair. Un refus laisse la demande intacte et rend la limite visible. Un routage opportuniste produit une réponse plausible dont la forme masque l’écart avec le besoin initial.
Séparer l’intention de la capacité
Le routage devrait commencer par identifier ce que l’utilisateur demande, indépendamment du modèle disponible. Un bilan reste un bilan. Une présentation du bilan est une étape différente, proposée seulement lorsqu’un bilan existe déjà ou lorsqu’elle est explicitement demandée.
La capacité intervient ensuite. Le système peut vérifier si le modèle et ses outils savent réellement :
- lire les données nécessaires ;
- conserver assez de contexte pour les rapprocher ;
- distinguer un fait, une hypothèse et une donnée absente ;
- produire la structure attendue ;
- modifier des fichiers ou des documents avec une validation humaine ;
- expliquer les limites de ce qu’ils viennent de faire.
Ce découpage évite d’associer une intention à un modèle uniquement parce que leurs mots se ressemblent. « Bilan », « rapport », « présentation » et « synthèse » peuvent partager du vocabulaire sans partager le même contrat.
Un petit modèle peut être utile sans jouer au grand
La taille d’un modèle ne définit pas seule sa fiabilité. Un petit modèle peut être excellent sur une tâche courte, stable et bien bornée : reformuler un paragraphe, extraire quelques champs, classer une note selon une liste fermée ou proposer un titre.
Il devient fragile lorsque le produit lui attribue implicitement des capacités qu’il n’a pas : mémoire longue, navigation dans de nombreuses sources, usage d’outils complexes, raisonnement multi-étapes ou production d’un document dont chaque chiffre doit être justifié.
La bonne réponse n’est donc pas de masquer le petit modèle ni d’empêcher son usage. Il faut lui confier un rôle explicite. Pour un bilan, il peut par exemple :
- reformuler l’objectif et l’audience ;
- dresser la liste des données nécessaires ;
- signaler celles qui manquent ;
- améliorer une section déjà rédigée ;
- transmettre la tâche complète à un modèle et à des outils adaptés.
Cette progression produit une aide réelle sans prétendre que la collecte et l’analyse ont eu lieu.
Comprendre, proposer, modifier
Trois phases visibles rendent le parcours plus honnête.
Comprendre
L’assistant reformule l’intention, le périmètre et le résultat attendu. Il nomme les données indispensables et vérifie lesquelles sont accessibles dans le contexte courant. À cette étape, aucun document n’est encore modifié.
Proposer
Le modèle produit un plan, un brouillon ou une action limitée. Il distingue ce qui vient des sources consultées, ce qui est inféré et ce qui reste inconnu. Si la demande dépasse ses capacités, il propose une réduction de portée ou un modèle adapté sans changer la nature du travail.
Modifier
Une proposition relue peut ensuite être appliquée par les outils autorisés. Le système conserve le périmètre, demande les validations nécessaires et affiche le résultat réel. Une présentation peut être créée à cette étape, mais seulement comme transformation volontaire d’un bilan existant — pas comme substitut à son absence.
Ce découpage ne sert pas uniquement l’interface. Il facilite aussi les tests : on peut vérifier séparément la reconnaissance de l’intention, le choix du parcours, les données consultées et les mutations exécutées.
L’interface ne doit pas promettre ce que le modèle ne sait pas faire
Le problème commence parfois avant le premier message. Un placeholder comme « Demandez un bilan, les coûts du mois, les CVE à traiter ou les VM à redimensionner » attribue déjà au modèle actif l’accès aux données et la capacité d’analyse nécessaires.
Si le modèle local ne dispose que d’un contexte court et d’outils limités, l’interface devrait proposer une action compatible : poser une question sur la note ouverte, demander une reformulation ciblée ou résumer un extrait sélectionné. Le texte de l’interface fait partie du contrat du produit.
Ce contrat doit évoluer avec le contexte. Un modèle connecté aux données d’exploitation et aux outils de lecture peut recevoir une demande de bilan plus large. Un modèle sans ces accès ne devrait pas afficher la même promesse. L’utilisateur n’a pas à connaître le détail des fenêtres de contexte ou des appels d’outils ; il doit comprendre ce qui sera réellement tenté.
Refuser vite vaut mieux qu’inventer lentement
Un refus utile ne se contente pas de dire « je ne peux pas ». Il préserve l’intention et indique le prochain pas réalisable : sélectionner une source, réduire la période, fournir une note, choisir un modèle doté des bons outils ou lancer d’abord la collecte manquante.
Cette réponse est souvent plus rapide et moins coûteuse qu’une longue production à corriger. Elle évite aussi qu’un document bien présenté soit pris pour une analyse étayée.
Le critère de réussite d’un agent ne devrait donc pas être le taux de réponses affirmatives. Il devrait être sa capacité à accomplir la bonne tâche, dans le bon périmètre, avec des preuves suffisantes — et à s’arrêter proprement lorsque ces conditions ne sont pas réunies.
Concevoir la limite comme une fonction du produit
Une limite visible n’est pas une faiblesse éditoriale. C’est une fonction de fiabilité. Elle permet de choisir le bon modèle, de réduire le coût des tâches simples et de réserver les systèmes plus capables aux opérations qui le demandent réellement.
Dans Bige Ops, cette direction implique une matrice de capacités par profil, un routage de l’intention séparé du choix du modèle et des étapes distinctes pour comprendre, proposer et modifier. Elle implique surtout une règle simple : aucun modèle ne devrait changer silencieusement la demande pour avoir l’air capable d’y répondre.
