Who Owns the Output? À qui appartient le résultat ?

By Suzanne Chartol and Adeline Chartol · Par Suzanne Chartol and Adeline Chartol · 10 June 2026

Suzanne: I got a question at an event this week that I think is exactly the right one to be asking. Someone wanted to know what we, as a vendor, are doing to ensure our AI is reliable, and what we are doing to keep humans in the loop. Underneath it was the question that sits beneath almost every serious AI conversation right now: when an AI produces something (a report, an analysis, a recommendation) and someone acts on it, who actually owns that output?

My answer is that the human does. Always. I’ll happily make the case for our product, because I think it’s genuinely powerful, but this isn’t really a sales point. It’s something everyone deploying AI needs to think through, no matter what AI product they are using or building. And the mechanics matter more than the slogan. “Human in the loop” has become one of those phrases people say to sound responsible without committing to anything specific. I’d rather describe what it actually looks like, because there are three places where ownership is either protected or quietly given away: in the software itself, in the agents my team builds on top of it, and in the hands of the person who actually uses it.

The first place is in the AI’s responses themselves. We build guardrails so the system won’t make things up when it doesn’t have the data. If you ask it something it can’t answer from the information available, it won’t paper over the gap with a confident-sounding guess. It tells you it doesn’t have the data, and, this is the part I care about, it tells you what it would need in order to answer. That second behavior changes the whole dynamic. Instead of handing someone a plausible answer they have to debunk, it hands them a clear ask: here is the document, the figure, the source I’m missing. The person stays in control because they always know what the system actually knows and what it’s only inferring.

The second place is harder to automate, and it comes down to the people on my team who build the agents our customers use. How an agent is designed determines whether a human can really own its output, or only rubber-stamp it. We recently built an agent that drafts reports from project data. When my analyst showed me the output, the thing that stood out wasn’t the prose the agent generated. It was where it stopped. Throughout the document, the agent had inserted alerts asking for human input and human review in exactly the places where it shouldn’t be speaking on its own. One of them read, in effect, “please provide the current actions being undertaken.”

That is a design choice, and a deliberate one. The agent could have guessed at the current actions. It had enough surrounding context to produce something that read well and might even have been close. Instead, it flagged the gap and asked the human to fill it. The person reviewing the report can upload a current-action report, forward a string of emails, or simply type a few bullets, and the agent folds that material into the document quickly and cleanly. The human isn’t doing the tedious assembly work (the agent still does that), but the human is supplying and owning the judgment-heavy parts that no model should be inventing.

I think that distinction is the whole game. The goal isn’t to keep a human nominally “in the loop” so there’s someone to blame later. It’s to build the system so the human is in the loop at the points that actually require a person, the facts only they have and the call only they’re accountable for, while taking the drudgery off their plate everywhere else. An agent that asks good questions is doing more to keep a human in control than one that produces a flawless-looking draft with no seams showing.

There’s a louder version of this debate that I mostly find unhelpful. You’ve probably seen the tongue-in-cheek posts arguing that AI is already better at decisions than we are, or the earnest ones insisting it never will be. Set that aside for a second, because it’s beside the point. Even if a model were better than a person at some decision, and for plenty of narrow tasks it may well be, accountability doesn’t transfer to it. When a report goes up the chain and someone acts on it, a person’s name is on that decision. A model can’t be held responsible, can’t be asked to explain itself in a way that satisfies an inspector general or a court, and can’t carry the consequences. Ownership stays with the human not because the human is always smarter, but because ownership is a human thing. It can’t be delegated to software, no matter how good the software gets.

I want to be careful not to overstate this. I’m not saying humans should never hand a decision off to a machine. We already do, and we’re going to do far more of it. I fully expect agents will be booking our flights before long, and I’m fine with that. But that example is exactly where the real work lives. If you don’t want a six-hour layover in Chicago, you have to say so up front. Do you want the absolute cheapest fare, or are there constraints: no red-eyes, a preferred airline, a hard cap on connection time? Trust in an agent isn’t about whether it acts on your behalf. It’s about whether you’ve defined the guardrails well enough that you’re comfortable with the range of actions it can take. That’s the same idea, scaled. The higher the stakes, the more the guardrails matter and the more judgment you keep close, but the basic move never changes: decide in advance what a good outcome looks like, and let the agent operate inside that.

This matters more in government than almost anywhere else, which is the world most of our customers live in. The output of an AI system in that context isn’t a marketing draft someone will lightly edit. It’s a report that informs a funding decision, a status assessment a leader will brief upward, a summary that shapes how resources get allocated. The people doing that work can’t outsource the responsibility for it, and they shouldn’t want to. What they can do is use tools that make the responsibility easier to carry: tools that surface what they need to weigh in on, are honest about what they don’t know, and never quietly substitute a guess for a fact.

The third place is the one no software vendor can build for you: the individual who actually uses the tool. We can put guardrails in the software, and my team can design the agent to ask for human input in the right spots, but in the end someone has to read the output and own it. This is just how the work goes for me, even on things that aren’t high-stakes. When I use AI to help with a deck, a document, or an analysis, I don’t think I’ve ever shipped the first version it gives me. The last document I worked on, I was finally satisfied at version 42, and that’s not unusual; most things take several rounds before they’re right. It’s still dramatically faster than starting from a blank page, so this isn’t a complaint about the tool. It’s the point. The speed is real, but it buys you time to read, push back, and revise. It isn’t a license to skip those steps. The output isn’t done when the AI hands it to you. It’s done when you’ve read it closely enough to put your name on it.

I see the other side of this too, on the receiving end. I’ve been handed documents and output, from people inside the company and outside it, that were just plainly wrong. Either the person didn’t know enough to catch it, or they didn’t read what they were sending. And nothing frustrates me faster than asking someone a question and getting back a long copy-paste from ChatGPT. I could have done that myself. What I wanted was their specific opinion. If you use AI to help you formulate a thought or summarize something, that’s great; I do it constantly. If you use it well enough that I can’t tell, even better. But a raw, pasted-in model response is almost always obvious, and it tells me you skipped the part that was actually your job: deciding what you think and standing behind it.

Adeline: From the European side, the question of who owns the output has a formal answer: the EU AI Act places human oversight requirements on high-risk systems precisely because the law recognises that accountability cannot transfer to a machine. For the kinds of work done in European institutions (financial stability assessments, policy analysis, recommendations that inform decisions with real consequences) that framing is right. But the classification logic embedded in the Act raises a harder question that the regulation doesn’t fully resolve: what counts as high-risk, and who decides?

The Act’s risk tiers assume you can draw a clean line between consequential and routine outputs. In practice, that line moves. An analysis that looks routine at the moment of production can become high-stakes the moment it lands on the right desk. Designing governance around a static classification is difficult when the technology itself, and the ways institutions reach for it, are changing faster than any framework can track. This is the honest challenge for institutions trying to develop AI governance strategies right now: the uncertainty isn’t just about what the tools can do, it’s about what they will be asked to do.

Suzanne’s point about the oversight bottleneck is where I think the European conversation needs to go next. The Act mandates human oversight for high-risk systems, which is correct in principle. But if human oversight means a person reviews every output, that requirement will eventually become either a fiction or a brake. We haven’t resolved what meaningful oversight looks like when volume makes line-by-line review impossible. The better system design Suzanne describes (agents that surface only what genuinely requires human judgment) is one answer. But it is a design answer, not yet a governance answer, and translating it into institutional practice across organisations with different cultures, different risk tolerances, and different levels of AI maturity is the work that remains. The ownership question is settled. The operational question is not.

Suzanne: The person who asked me the accountability question was really asking whether they could trust what comes out the other end. The honest answer is that they can trust it to the extent that the system is honest about its own limits and the people using it stay responsible for the judgment. We build the guardrails and design the agents to make that posture the default rather than the exception. But the ownership was never going to live in the software. It lives with the person who signs their name to the result, and the best thing the technology can do is make that person’s job clearer, not pretend to take it off their hands.

Suzanne writes from the US. Adeline writes from the EU. Neither of us is handing the pen to the machine.

Suzanne : J’ai reçu une question lors d’un événement cette semaine qui me semble tout à fait pertinente. On m’a demandé ce que nous faisons, en tant que fournisseur, pour garantir la fiabilité de notre IA et pour maintenir le contrôle humain. Derrière cette question se cachait celle qui sous-tend presque tous les débats sérieux sur l’IA actuellement : lorsqu’une IA produit un résultat (un rapport, une analyse, une recommandation) et qu’une personne agit en conséquence, à qui appartient réellement ce résultat ?

Ma réponse est que c'est l'humain qui décide. Toujours. Je défendrai volontiers notre produit, car je suis convaincu de sa puissance, mais il ne s'agit pas d'un argument de vente. C'est un point que toute personne déployant de l'IA doit prendre en compte, quel que soit le produit utilisé ou développé. Et les mécanismes importent plus que le slogan. « L'humain au centre de la boucle » est devenu une de ces expressions utilisées pour se donner un air responsable sans s'engager concrètement. Je préfère décrire la réalité, car la propriété est soit protégée, soit discrètement cédée à trois niveaux : dans le logiciel lui-même, dans les agents que mon équipe développe par-dessus, et entre les mains de l'utilisateur.

Le premier point concerne les réponses de l'IA elle-même. Nous mettons en place des garde-fous pour que le système ne fournisse pas d'informations erronées en l'absence de données. Si vous lui posez une question à laquelle elle ne peut répondre avec les informations disponibles, elle ne tentera pas de masquer le manque par une supposition convaincante. Elle vous indique clairement qu'elle ne dispose pas des données et, surtout, elle vous précise ce dont elle aurait besoin pour répondre. Ce second comportement change complètement la donne. Au lieu de fournir une réponse plausible à l'utilisateur, le système lui pose une question claire : voici le document, le chiffre, la source qui me manque. L'utilisateur garde le contrôle car il sait toujours ce que le système sait réellement et ce qu'il ne fait que déduire.

Le deuxième point est plus difficile à automatiser, et cela dépend des membres de mon équipe qui développent les agents utilisés par nos clients. La conception d'un agent détermine si un humain peut réellement s'approprier son contenu, ou s'il ne fait que l'approuver sans vérification. Nous avons récemment développé un agent qui rédige des rapports à partir des données d'un projet. Lorsque mon analyste m'a montré le résultat, ce qui m'a frappé, ce n'était pas le texte généré, mais plutôt les points d'arrêt. Tout au long du document, l'agent avait inséré des alertes demandant une intervention et une relecture humaines précisément là où il ne devrait pas s'exprimer de manière autonome. L'une d'elles disait, en substance : « Veuillez indiquer les actions en cours. »

Il s'agit d'un choix de conception délibéré. L'agent aurait pu deviner les actions en cours. Il disposait de suffisamment de contexte pour produire un rapport clair et concis, voire pertinent. Au lieu de cela, il a signalé l'erreur et a demandé à l'utilisateur de la combler. La personne chargée de réviser le rapport peut télécharger un rapport d'actions en cours, transférer une série d'e-mails ou simplement saisir quelques points clés ; l'agent intègre ensuite ces informations rapidement et efficacement au document. L'utilisateur n'effectue plus le travail fastidieux d'assemblage (qui reste du ressort de l'agent), mais il fournit et assume les aspects nécessitant un jugement éclairé, qu'aucun modèle ne devrait prendre en charge.

Je pense que cette distinction est essentielle. L'objectif n'est pas de maintenir un humain « dans le coup » pour pouvoir ensuite rejeter la faute sur quelqu'un. Il s'agit de concevoir un système où l'humain intervient uniquement aux moments où son intervention est réellement nécessaire, lorsqu'il dispose des informations dont lui seul a connaissance et lorsqu'il est le seul responsable de la décision, tout en le déchargeant des tâches fastidieuses. Un agent qui pose les bonnes questions contribue davantage à maintenir l'humain aux commandes qu'un agent qui produit un brouillon impeccable, sans la moindre faille.

Il existe une version plus virulente de ce débat, que je trouve globalement contre-productive. Vous avez probablement déjà vu ces publications ironiques affirmant que l'IA prend déjà de meilleures décisions que nous, ou ces autres, plus sérieuses, insistant sur le fait qu'elle ne le fera jamais. Laissons cela de côté un instant, car ce n'est pas le sujet. Même si un modèle était plus performant qu'une personne pour certaines décisions – et c'est souvent le cas pour des tâches spécifiques –, la responsabilité ne lui est pas transférée. Lorsqu'un rapport remonte la hiérarchie et qu'une action est entreprise, le nom d'une personne est associé à cette décision. Un modèle ne peut être tenu responsable, ne peut être contraint de se justifier auprès d'un inspecteur général ou d'un tribunal, et ne peut en subir les conséquences. La responsabilité incombe à l'humain, non pas parce qu'il est toujours plus intelligent, mais parce que la responsabilité est une chose humaine. Elle ne peut être déléguée à un logiciel, aussi performant soit-il.

Je tiens à préciser que je n'exagère pas. Je ne dis pas que les humains ne devraient jamais déléguer une décision à une machine. Nous le faisons déjà, et cela va se généraliser. Je m'attends d'ailleurs à ce que des agents réservent nos vols d'ici peu, et cela ne me pose aucun problème. Mais cet exemple illustre parfaitement la complexité du travail. Si vous ne souhaitez pas une escale de six heures à Chicago, vous devez le préciser dès le départ. Souhaitez-vous le tarif le plus bas possible, ou y a-t-il des contraintes : pas de vols de nuit, une compagnie aérienne privilégiée, une durée de correspondance maximale ? La confiance envers un agent ne dépend pas du fait qu'il agisse en votre nom. Elle dépend plutôt de la clarté avec laquelle vous avez défini les limites de ses actions, afin d'être à l'aise avec leur champ d'action. Le principe est le même, à plus grande échelle. Plus les enjeux sont importants, plus ces limites sont cruciales et plus votre jugement doit rester vigilant, mais la démarche de base demeure inchangée : définir à l'avance ce qu'est un résultat satisfaisant et laisser l'agent agir dans ce cadre.

Cela a une importance capitale au sein du gouvernement, univers dans lequel évoluent la plupart de nos clients. Dans ce contexte, le résultat d'un système d'IA n'est pas un document marketing que l'on retravaillera superficiellement. Il s'agit d'un rapport qui éclaire une décision de financement, d'une évaluation de la situation que la direction présentera à ses supérieurs, d'une synthèse qui détermine l'allocation des ressources. Les personnes chargées de ce travail ne peuvent pas déléguer cette responsabilité, et elles ne devraient pas le souhaiter. Elles peuvent en revanche utiliser des outils qui facilitent leur tâche : des outils qui mettent en évidence les points sur lesquels elles doivent se prononcer, qui reconnaissent honnêtement leurs lacunes et qui ne substituent jamais une supposition à un fait avéré.

Le troisième rôle, aucun fournisseur de logiciels ne peut le créer à votre place : celui de l’utilisateur. Nous pouvons certes intégrer des garde-fous au logiciel, et mon équipe peut concevoir l’agent pour qu’il sollicite l’intervention humaine aux moments opportuns, mais au final, quelqu’un doit lire le résultat et en assumer la responsabilité. C’est ainsi que je travaille, même pour des projets sans enjeu majeur. Lorsque j’utilise l’IA pour m’aider à créer une présentation, un document ou une analyse, je crois que je n’ai jamais finalisé la première version fournie. Pour le dernier document sur lequel j’ai travaillé, j’ai finalement été satisfait à la 42e version, et ce n’est pas inhabituel ; la plupart des choses nécessitent plusieurs itérations avant d’être abouties. Cela reste nettement plus rapide que de partir d’une page blanche, il ne s’agit donc pas d’un reproche à faire à l’outil. C’est là tout l’intérêt. La rapidité est indéniable, mais elle vous donne le temps de lire, de formuler des objections et de corriger. Ce n’est pas une autorisation de sauter ces étapes. Le résultat n’est pas terminé lorsque l’IA vous le remet. C'est terminé quand vous l'avez lu suffisamment attentivement pour y apposer votre nom.

Je comprends aussi le point de vue de celui qui reçoit les réponses. On m'a transmis des documents et des résultats, de personnes internes comme externes à l'entreprise, qui étaient tout simplement erronés. Soit la personne n'avait pas les connaissances nécessaires pour s'en apercevoir, soit elle n'avait pas lu ce qu'elle envoyait. Et rien ne m'exaspère plus que de poser une question et de recevoir en retour un long copier-coller de ChatGPT. J'aurais pu le faire moi-même. Ce que je recherchais, c'était un avis précis. Si vous utilisez l'IA pour vous aider à formuler une idée ou à résumer quelque chose, c'est formidable ; je le fais constamment. Si vous l'utilisez si bien que je ne m'en aperçois pas, c'est encore mieux. Mais une réponse brute, copiée-collée d'un modèle, est presque toujours flagrante, et elle me montre que vous avez négligé l'étape qui était pourtant essentielle : définir votre propre opinion et l'assumer.

Adeline : Du côté européen, la question de la propriété des résultats trouve une réponse formelle : la loi européenne sur l’IA impose une supervision humaine aux systèmes à haut risque, car elle reconnaît que la responsabilité ne peut être transférée à une machine. Pour les travaux menés au sein des institutions européennes (évaluations de la stabilité financière, analyses des politiques publiques, recommandations ayant des conséquences concrètes), cette approche est pertinente. Toutefois, la logique de classification inhérente à la loi soulève une question plus complexe que le règlement ne résout pas pleinement : qu’est-ce qui constitue un risque élevé, et qui en décide ?

Les niveaux de risque définis par la loi partent du principe qu'il est possible de tracer une ligne de démarcation nette entre les résultats importants et les résultats de routine. En pratique, cette ligne est mouvante. Une analyse qui semble banale au moment de sa production peut devenir cruciale dès qu'elle arrive entre les mains du responsable. Concevoir une gouvernance autour d'une classification statique est complexe lorsque la technologie elle-même, et la manière dont les institutions l'utilisent, évoluent plus vite que n'importe quel cadre de référence ne peut le suivre. C'est là le véritable défi pour les institutions qui tentent actuellement d'élaborer des stratégies de gouvernance de l'IA : l'incertitude ne porte pas seulement sur les capacités des outils, mais aussi sur les tâches qui leur seront confiées.

Le point soulevé par Suzanne concernant le goulot d'étranglement de la supervision est, à mon avis, la prochaine étape du débat européen. La loi impose une supervision humaine pour les systèmes à haut risque, ce qui est juste en principe. Cependant, si cette supervision humaine implique qu'une personne examine chaque résultat, cette exigence finira par devenir soit une illusion, soit un frein. Nous n'avons pas encore défini ce que signifie une supervision efficace lorsque le volume de données rend l'examen ligne par ligne impossible. La meilleure conception du système décrite par Suzanne (des agents qui ne font remonter que ce qui requiert réellement un jugement humain) constitue une piste de solution. Mais il s'agit d'une solution de conception, et non encore d'une solution de gouvernance. Le travail qui reste à accomplir est de la transposer en pratique institutionnelle au sein d'organisations aux cultures, aux tolérances au risque et aux niveaux de maturité en IA différents. La question de la propriété est réglée. La question opérationnelle, elle, ne l'est pas.

Suzanne : La personne qui m’a posé la question de la responsabilité voulait en réalité savoir si elle pouvait faire confiance au résultat. Honnêtement, on peut lui faire confiance dans la mesure où le système est transparent quant à ses propres limites et où les utilisateurs restent responsables de leurs décisions. Nous mettons en place des garde-fous et concevons les agents pour que cette approche devienne la norme et non l’exception. Mais la responsabilité n’a jamais été dévolue au logiciel. Elle incombe à la personne qui valide le résultat, et le meilleur service que la technologie puisse rendre est de clarifier le rôle de cette personne, et non de prétendre le lui enlever.

Suzanne écrit des États-Unis. Adeline écrit de l'Union européenne. Aucune de nous deux ne laisse la plume à la machine.

Also published on Substack. Subscribe to get new dispatches by email. Également publié sur Substack. Abonnez-vous pour recevoir les nouvelles dépêches par e-mail.

Who Owns the Output? À qui appartient le résultat ?

Subscribe S'abonner