AI Expertise · mandat de 3 mois et plus
Agentic AI Engineering
Un agent que vous ne pouvez autoriser, tracer ni arrêter n’est pas production-ready.
Transformer des agents prometteurs en services observables, contrôlables et exploitables.
Toutes les preuves de cette page indiquent leur niveau de provenance, limites comprises. Voir les preuves
Le moment où ça devient un sujet
Vous reconnaissez l’un de ces moments, ou ce n’est pas encore le sujet.
Ce sont des situations datables, pas des symptômes généraux. Si aucune ne vous parle, cette page peut se refermer ici.
-
Un agent qui marchait en démonstration doit passer en production, et personne ne sait dire quelles actions il a le droit de déclencher.
-
La sécurité demande la liste des outils appelables et des données atteignables. La réponse tient dans un prompt.
-
Un incident est arrivé et il est impossible de rejouer la séquence qui l’a produit.
-
Un modèle doit être remplacé et rien ne dit si le comportement observé va tenir.
Aucune de ces situations n’est urgente en soi. Chacune le devient à une date connue d’avance.
Ce que ça coûte si rien ne change
Trois blocages, et le contournement qui ne les réduit pas.
Chaque blocage reçoit une réponse plus bas — dans les offres, le déroulé ou les engagements. Aucun n’est laissé ouvert.
Les permissions vivent dans le prompt
Le périmètre d’action de l’agent n’est pas un objet du système : c’est une phrase. Elle n’est ni testable, ni révocable, ni auditable, et elle change à chaque itération de prompt.
Le contournement habituel, et sa limite
Ajouter « n’effectue jamais X » au prompt déplace le risque sans le réduire : rien n’empêche l’appel, seul le modèle est prié de s’abstenir.1
L’évaluation est une impression
Sans jeu d’évaluation versionné, « ça marche mieux » n’est pas une mesure. Une régression de comportement passe en production sans être vue, et le retour arrière se décide au ressenti.2
Le contournement habituel, et sa limite
Tester à la main avant chaque release ne passe pas à l’échelle et ne produit aucune trace opposable en cas d’incident.
L’exécution ne laisse pas de trace
Les journaux enregistrent des appels, pas des décisions. Reconstruire pourquoi l’agent a agi ainsi demande des heures et se termine souvent par une hypothèse.
Le contournement habituel, et sa limite
Augmenter la verbosité des logs multiplie le volume sans ajouter la seule chose qui manque : l’objectif, les sources et l’arbitrage humain.
Pour qui, et sous quelle pression
Le décideur qui achète ce mandat, et ce qui pèse sur lui.
CTO / Head of AI Platform
Claire Dumas
Aujourd’hui
Des agents expérimentaux, une architecture non documentée et des dépendances que personne ne maîtrise vraiment.
Après le mandat
Une architecture documentée, une responsabilité explicite et des évaluations reproductibles que votre équipe peut réellement maintenir.
Un avatar de décision sert à clarifier le problème et le résultat attendu. Il reste à valider avec vos entretiens et les comportements que vous observez. Les avatars, en entier
Avant de réserver quoi que ce soit
Quatre conditions d’entrée, quatre motifs de refus.
Elles sont écrites ici plutôt que découvertes au devis. La colonne de droite a le même poids que celle de gauche.
C’est le bon mandat si
- Une décision réelle est en jeu : une promotion en production, un audit, un renouvellement, un lancement ou un remplacement de système.
- Un sponsor nommé peut arbitrer le périmètre et signer la recette.
- L’accès aux systèmes, aux données ou aux documents nécessaires est possible sous NDA dans les trois premières semaines.
- Un agent ou un workflow LLM existe déjà et doit franchir une étape de production, pas être inventé.
Ce n’est pas le bon mandat si
- Vous cherchez un panorama de tendances ou une veille : le format court de la clinique de décision coûte moins cher et répond mieux.
- Le résultat attendu dépend d’une signature réglementaire que seul un rôle statutaire de votre organisation peut porter.
- Aucun accès aux preuves n’est possible : sans données, sans journaux et sans documents, il n’y a rien à rendre défendable.
- Vous cherchez une preuve de concept jetable : ce mandat produit un service opérable, ce qui coûte plus cher qu’un prototype.
Un « non » dit à cette étape coûte vingt minutes. Dit après le devis, il coûte un trimestre à tout le monde.
L’état d’arrivée
Ce que le mandat déplace.
un agent dont on espère le comportement
un service dont on énonce le périmètre, on teste les régressions et on rejoue les décisions
L’état d’arrivée n’est pas « un meilleur agent ». C’est une équipe capable de répondre, sans réunion, à quatre questions : que peut-il faire, que sait-il, comment le teste-t-on, comment l’arrête-t-on.
Axe par axe, avant et après
Trois axes, et ce qui change sur chacun.
Un axe par ligne, comparé des deux côtés. Une colonne de frustrations face à une colonne de fonctionnalités ne serait pas une comparaison.
Périmètre d’action
Aujourd’hui
Décrit en langue naturelle dans un prompt
Après
Déclaré par outil, avec identité, quota et révocation
Régression
Aujourd’hui
Détectée en production, par un utilisateur
Après
Détectée avant promotion, par un jeu d’évaluation versionné
Reconstruction d’un incident
Aujourd’hui
Plusieurs heures, résultat plausible
Après
Un journal par exécution : objectif, sources, coût, arbitrage
Ce qui est visé, et de quel type
Deux critères de recette, un exemple déjà construit, aucun résultat observé.
Chaque ligne indique son statut : critère de recette, estimation modélisée, ou exemple déjà construit.
-
Visé — critère de recette
Chaque outil appelable est déclaré, avec son identité et sa révocation
Critère de recette de la phase 2, vérifié sur le registre d’agents.
-
Visé — critère de recette
Aucune promotion sans passage du jeu d’évaluation
Porte de release, appliquée par la CI, pas par une revue.
-
Exemple — déjà construit
Cohérence de persona et biais mesurés sur un prototype public
Prototype Big Five/IPIP + Mistral + LangChain, dépôt public. Il démontre la brique d’évaluation, pas un résultat client.
Aucun de ces résultats n’est présenté comme mesuré chez un client : les métriques de production sont sous NDA sur chaque mandat. Reste la question qui suit — sur quoi ces engagements reposent-ils ?
Ce sur quoi ça repose, et ce que ça ne prouve pas
Des preuves proportionnées à la promesse.
R&D interne sur l’orchestration multi-agent, les consoles d’exécution, les files de revue et les reçus de runtime vérifiables.
Projet public
Mistral Hackathon — Persona & Bias Evaluation
Big Five/IPIP, Mistral et LangChain pour tester cohérence de persona, réponses contraintes et biais. • Capability demonstrated : Évaluation — prototype validant la cohérence de persona et le biais avant promotion.
Examiner la preuveProjet public
AI/RAG Experiment Portfolio
Solidity Code Tutor RAG, routeur LangChain et crawler Scrapy — outils, récupération et mémoire. • Capability demonstrated : Mémoire — persistance RAG et gestion de contexte pour une mémoire traçable.
Examiner la preuveR&D confidentielle
Governed AI Operations (2025–présent)
Registres d’agents, observabilité, permissions, mémoire, revue humaine et rollout contrôlé. Décrite au niveau architecture, sous NDA. • Capability demonstrated : Observation — registres d'agents et preuves d'exécution sous contrôle.
Manquant
Métriques de production en environnement client
Les métriques de disponibilité, latence et taux d'erreur en environnement client sont décrites au niveau architecture sous NDA. Aucune mesure de production n'est publiable tant que le mandat client n'est pas clos.
Sources & méthodes 3 placements · 3 unités de preuve
Chaque marqueur numéroté renvoie à une observation bornée : ce qui a été mesuré, sur quelle population, sur quelle période, et ce que le chiffre n’établit pas. Une affirmation qui ne peut pas être adossée à une de ces unités perd son marqueur — elle n’est pas rattachée à une source plus vague.
-
Sous un protocole d’autorisation externe, le taux d’exfiltration est passé de 75–100 % en base à 0 %, et 544 cas de vol de données sur 544 ont été bloqués.
Sur un sous-ensemble stratifié de six catégories couvrant les quatre suites, comment se comparent les taux de réussite d’attaque sans défense et sous APC ? No defenseAPC
Sur les six catégories retenues, le taux de réussite d’attaque passe de 75,0–100,0 % sans défense à 0,0–30,0 % sous APC ; aucun effet agrégé n’est calculé.
Les intitulés de catégorie sont ceux de la table source, non traduits : les traduire changerait ce que la source rapporte.
3 154 instances évaluées, dont les 544 cas de vol de données d’InjecAgent ; bancs AgentDojo et InjecAgent. Préprint soumis le 16 août 2026
Ce que ce chiffre n’établit pas Résultats de protocole de benchmark issus d’un préprint ouvert : ce n’est ni une prévention universelle de l’injection de prompt, ni une garantie de sécurité en production. Une attaque de manipulation en environnement Workspace restait à 30 % après protection.
-
Le taux de réussite des attaques ciblées est passé de 57,69 % sans défense à 7,95 % avec un détecteur d’injection et à 6,84 % avec un filtre d’outils.
Comment cinq défenses AgentDojo se comparent-elles sur le taux de réussite d’attaque ciblée pour GPT-4o ? Sur les cinq conditions de défense de la table 5, le taux de réussite d’attaque ciblée va de 6,84 % à 57,69 %, intervalles de confiance à 95 % rapportés par la source.
Les intitulés de catégorie sont ceux de la table source, non traduits : les traduire changerait ce que la source rapporte.
Évaluation des défenses sur GPT-4o dans le banc AgentDojo, table 5. 2024
Ce que ce chiffre n’établit pas Résultats de benchmark relus par les pairs, pour un couple banc/modèle donné. Ce n’est pas un taux d’attaque en production, et cela ne classe pas les défenses de façon universelle.
-
Le taux de réussite d’attaque de bout en bout s’étalait de 33,87 % à 64,52 % selon la configuration d’agent.
Dans chacun des quatre backends de mémoire, quels sont les E2E-ASR minimum et maximum observés parmi les configurations de la table 2 ? Les valeurs retenues vont de 33,87 % à 64,52 % selon le backend de mémoire ; aucune valeur n’est agrégée et aucun intervalle n’est inventé.
Les intitulés de catégorie sont ceux de la table source, non traduits : les traduire changerait ce que la source rapporte.
310 cas MemSecBench sur 24 configurations d’agent, combinant modèle, harnais et couche de mémoire. Préprint soumis le 29 juillet 2026
Ce que ce chiffre n’établit pas Préprint ouvert : observations de réussite d’attaque propres aux configurations testées, et non une prévalence sur des agents déployés en production.
Chaque élément indique sa nature et son niveau de provenance. Les limites sont affichées au même titre que les réalisations. Le registre complet des projets et de leur provenance
Évaluer la missionCe qui est dedans, ce qui n’y est pas
Le périmètre, ses exclusions et ses dépendances.
Dans le périmètre
- Architecture des permissions, de la mémoire et des outils.
- Harnais d’évaluation, seuils et intégration à la CI existante.
- Observabilité d’exécution et procédure de retour arrière.
Hors périmètre, explicitement
- Entraînement ou fine-tuning de modèle de fondation.
- Astreinte de production et exploitation 24/7.
- Homologation sécurité : je fournis les preuves, votre RSSI décide.
Ce qui dépend de vous
- Un sponsor joignable qui tranche un arbitrage de périmètre en moins d’une semaine.
- L’accès aux systèmes, journaux ou documents concernés, sous NDA.
- Une ou deux personnes de votre équipe disponibles pour la phase de passation — sans elles, le mandat produit une dépendance au lieu d’une capacité.
Format 3–12 mois · 2–5 jours/semaine · lead technique ou ingénieur intégré
Le déroulé, et où l’on peut s’arrêter
Quatre phases, quatre sorties possibles.
Chaque phase se termine par un artefact et une décision. Vous pouvez vous arrêter à la fin de n’importe laquelle avec quelque chose entre les mains.
-
Cartographie
Ce que l’agent peut atteindre aujourd’hui, et ce que personne n’avait écrit.
Sortie de phase Carte des permissions et des failure modes.
-
Bornage
Les outils deviennent des objets déclarés, avec identité, quota et révocation.
Sortie de phase Registre d’agents en service.
-
Évaluation
Les cas qui comptent deviennent un jeu versionné, exécuté par la CI.
Sortie de phase Harnais et porte de promotion.
-
Passation
Votre équipe fait tourner la boucle sans moi, une fois, en conditions réelles.
Sortie de phase Runbook et procédure d’arrêt testée.
Les blocs de travail
Quatre blocs, activables séparément et dans n’importe quel ordre.
Permission
Identité d’agent, périmètre d’outils, quotas, révocation.
Mémoire
Ce qui est retenu, pour combien de temps, et ce qui ne doit jamais l’être.
Évaluation
Jeux de cas, seuils, comparaison inter-versions, exécution automatique.
Observation
Journal rejouable, files de revue humaine, retour arrière opérable.
Un bloc que vous tenez déjà sort du périmètre et du devis. C’est la première chose qu’on regarde à l’appel de qualification.
Ce qui est garanti, et ce qui ne peut pas l’être
Ce qui est garanti est le produit de travail, jamais le résultat d’une autorité.
Périmètre écrit avant facturation
Le périmètre, les exclusions, les dépendances et les critères de recette sont écrits et acceptés avant le premier jour facturé. Un changement de périmètre est un avenant, pas une surprise en fin de mission.
Livrables complets ou repris
Un livrable qui ne satisfait pas ses critères de recette est repris jusqu’à ce qu’il les satisfasse, sans facturation supplémentaire. Les critères sont écrits avant de produire, pas après.
Réversibilité à la sortie
Code, données, schémas, décisions et journaux vous appartiennent et partent avec vous. Aucun composant propriétaire, aucune licence, aucun hébergement dont dépendrait la suite du travail.
Frontière de confidentialité
Tout livrable ou exercice qui manipule vos données porte une classification et une règle explicite : autorisé, anonymisé, synthétique ou interdit. La règle est écrite avant la manipulation, pas constatée après.
Frontière de décision humaine
Chaque cas traité indique où l’assistance automatique s’arrête et où une validation humaine est obligatoire. Un système qui décide sans que la limite soit écrite n’est pas livré.
Noyau neutre vis-à-vis des outils
Objectifs, critères de recette et preuves sont écrits indépendamment d’un fournisseur ou d’un modèle donné. Un changement d’outil est un avenant, jamais une reprise à zéro de l’investissement.
Ce qui n’est pas garanti, et ne peut pas l’être honnêtement
- Le comportement d’un modèle de fondation n’est pas garanti : il est mesuré, borné et surveillé.3
- Aucune garantie d’absence d’incident. La garantie porte sur la capacité à le détecter, l’expliquer et l’arrêter.
Les conditions contractuelles complètes — acompte, préavis, propriété intellectuelle, confidentialité — sont publiées et ne sont pas reformulées ici. Lire les conditions
Ce qui reste à lever
Quatre questions, avec la réponse et sa raison.
Les questions qui changent le périmètre, le prix ou la responsabilité sont déjà répondues plus haut. Ici, le reste.
Faut-il remplacer notre framework d’agents ?
Non. Les permissions, l’évaluation et le journal sont des couches externes au framework. Un remplacement ne s’envisage que si le framework empêche d’instrumenter l’une des trois — c’est écrit dans la carte de la phase 1, avant tout engagement.
Nos données ne peuvent pas sortir. Est-ce bloquant ?
Non, c’est le cas le plus fréquent. Le travail se fait sur votre infrastructure, avec vos comptes ; ce qui sort est l’architecture et les documents, jamais les données.
Qui porte la décision de mise en production ?
Vous. Le mandat produit les preuves sur lesquelles la décision s’appuie et le seuil qu’elles doivent franchir. Signer la promotion reste un acte de votre organisation.
Peut-on commencer plus petit qu’un mandat de trois mois ?
Oui. La cartographie des permissions et des failure modes existe en format court et se vend seule ; elle s’impute sur le mandat si vous le lancez ensuite.
La prochaine étape, en entier
Évaluer la mission en 20 minutes
Le premier échange sert à décider s’il y a un mandat, pas à le vendre. S’il n’y en a pas, vous repartez avec la raison.
- 20 minutes, en visio ou au téléphone.
- Vous, le sponsor si ce n’est pas vous, et moi. Pas de commercial : il n’y en a pas.
- On y regarde le contexte, la décision en jeu, le niveau de risque et les preuves accessibles.
- Vous repartez avec un avis fit / no-fit motivé et, si c’est fit, le périmètre et la fourchette de la première étape.
Le bon format d’intervention, avant le premier rendez-vous.
Décrivez la décision à prendre — pas votre budget. Vous repartez avec le format d’intervention adapté et les ressources qui y mènent.
Cette expertise appliquée à votre cas : quatre écrans, une lecture gratuite, et l’offre qu’elle désigne.
Preuve