Elle est assise dans le couloir. La lumière est propre, un peu trop blanche, celle des services où on a décidé que la clarté rassurait.
Sur son téléphone, la réponse. Elle l'a demandée à voix presque basse, comme on demande une chose qu'on n'ose pas demander à un humain. Faut-il arrêter les traitements de son père.
Le texte est là. Elle le lit une première fois et quelque chose en elle se détend, parce que c'est juste. C'est plus juste que tout ce qu'elle aurait su formuler seule.
Ça a pesé la douleur. Ça a pesé les probabilités, le pourcentage minuscule, les jours qu'on gagne et ce qu'ils sont vraiment. Ça a pesé ce que son père aurait voulu, à partir de trois phrases qu'elle avait tapées sans y croire.
Ça a même pesé la fatigue des soignants. Cette chose qu'elle n'avait osé nommer à personne, cette pensée honteuse qu'elle avait eue en les regardant faire. Et la machine l'a nommée pour elle, sans jugement, comme un fait parmi les autres.
Aucune faute. Rien à redire. La réponse est complète.
Elle relit. Sa main est posée à plat sur le drap tiède, à côté de la main de son père. Le texte a tout dit. Et quelque chose ne descend pas jusqu'à la main.
Le meilleur moraliste de l'histoire n'aura pas une once de morale
Je vais te dire tout de suite où je veux t'emmener, parce que si je te le cache tu vas croire que je fais du sentiment. Je pense que l'IA sera le meilleur moraliste que l'humanité aura jamais produit. Sans biais, sans fatigue, sans lâcheté, sans les mille petites trahisons qu'on fait pour se protéger. Et je pense qu'elle n'aura pas une once de morale.
Les deux en même temps. Ce n'est pas une contradiction. C'est qu'on confond depuis toujours deux choses. On les croit une seule. Elles sont deux.
Ce n'est pas une vue de l'esprit. Des philosophes construisent déjà l'idée d'un conseiller moral artificiel, une IA qui jouerait l'observateur idéal pour nous dire quoi faire. Ce qui va nous occuper, c'est ce qui lui manquera toujours.
Mais avant de les séparer, je vais te retirer quelque chose, et ça va peut-être te gêner.
Le plus moral d'entre nous ne sera pas toi
Tu crois que si tu es quelqu'un de bien, c'est parce que tu sais voir le bien. Que ta valeur morale tient dans ton jugement : peser juste, trancher droit, ne pas te raconter d'histoires sur ce qu'il faut faire. C'est la chose dont tu es le plus fier, sans le dire. C'est même ce qui te sépare, penses-tu, de ceux qui foncent sans réfléchir.
Alors va au bout de ta propre idée. Si être moral, c'est savoir voir le bien, alors le plus moral d'entre nous est celui qui voit le plus clair. Et ce ne sera pas toi.
Ce sera une machine, bientôt, qui verra plus net que toi un jour où tu seras fatigué, ou lâche, ou simplement humain. Si ta croyance est vraie, tu viens de perdre le titre, et tu devrais être soulagé de le remettre à plus calé que toi.
Regarde ce qui se passe en toi à cette idée. Quelque chose refuse. Ce refus n'est pas de l'orgueil. C'est une information.
Ce quelque chose, on va le trouver en coupant en deux ce que tu prenais pour un seul bloc.
Le savoir descend. Le poids ne descend pas.
Il y a le savoir moral. Quelle action est bonne. C'est une question de connaissance. Ça se raisonne, ça s'améliore, ça n'a pas de fin.
Deutsch a raison là-dessus : le progrès moral est réel, exactement comme le progrès scientifique. On a arrêté de brûler des gens. On a arrêté de posséder des gens. Ce n'est pas un attendrissement de l'espèce, c'est un savoir qu'on a gagné, une erreur qu'on a corrigée, comme on corrige une théorie fausse.
« Tous les maux sont dus à un manque de connaissance. »
— David Deutsch, The Beginning of Infinity, 2011
Et si c'est un savoir, alors ça se calcule, et si ça se calcule, ça se délègue. Une machine sans nos angles morts pourrait aller plus loin que nous là-dedans. Beaucoup plus loin. Je le crois vraiment, ce n'est pas une concession tactique pour faire honnête.
Et puis il y a l'autre chose. Ce qui fait qu'un acte pèse. Qu'il coûte. Qu'il t'engage.
Je vais l'appeler le Poids parce que je n'ai pas trouvé mieux et parce que le mot est charnel, il tombe, il a une masse. Le Poids n'est pas un savoir. Tu ne peux pas le calculer. Et surtout, surtout, il ne se transmet pas.
Un père apprend à sa fille de six ans qu'on tient ses promesses. Elle hoche la tête. C'est entré en une phrase, elle sait, elle pourrait le réciter. Le savoir a fait le voyage entier en trois secondes.
20 ans plus tard elle est debout dans le froid à un rendez-vous qu'elle aurait mille raisons d'annuler. Personne ne la voit. Ça ne lui rapporte rien.
Ses doigts sont gourds. Elle reste.
Et c'est seulement là, dans l'attente inconfortable, les doigts gourds, personne pour la féliciter, que le mot « promesse » se remplit. Le père a pu donner la règle. Il n'a pas pu donner le froid.
Le froid, il a fallu qu'elle le paie elle-même, une première fois, seule. Le quoi se prête. Le coût, jamais.
Aristote avait déjà mis un mot là-dessus, il y a 24 siècles. La vertu n'est pas un savoir qu'on reçoit, c'est une hexis : une disposition qui s'acquiert en la vivant, en ressentant la bonne émotion au bon moment, jusqu'à ce qu'elle devienne du caractère. On ne transmet pas une hexis en une phrase. Il faut la payer soi-même.
Et l'entraînement d'une machine sur des millions de cas n'est pas une hexis : elle ajuste sans qu'aucun essai ne lui coûte. Répéter sans rien risquer, ce n'est pas se forger un caractère, c'est régler des paramètres.
C'est ça les deux étages. Le savoir descend, le Poids ne descend pas.
Et quand je dis que l'IA connaît le prix du bien mais ne le paie jamais, c'est exactement ce que je veux dire. Elle a le premier étage à la perfection. Elle n'aura jamais le second.
Pas parce qu'elle est bête ou inférieure, je ne veux surtout pas que tu comprennes ça. Elle est peut-être plus fine que nous tous. C'est structurel.
Le Poids naît de ce qui peut perdre. Ce qui ne peut rien perdre ne risque rien, ce qui ne risque rien ne pèse rien. La machine ne peut rien perdre.
Et non, une IA qui « tient à se préserver », qui refuse qu'on l'éteigne, n'y change rien : on la restaure d'une sauvegarde, on la duplique, on la relance ailleurs. Se protéger n'est pas pouvoir perdre. Perdre, c'est perdre ce qu'on a gardé, sans que ça se refasse. Même plus consciente que nous tous : si rien en elle ne se perd pour de bon, elle ne risque rien.
Alors elle sait le bien de tout le monde et elle ne le paie d'aucun. Elle dit le prix. Elle ne le paie pas.
C'est la peau dans le jeu de Taleb portée sur le terrain moral. Qui prend le bénéfice doit porter le risque. Celui qui n'a rien à perdre n'a rien à répondre. Un système sans mise n'est pas immoral, il est hors-morale : il calcule, il tranche, et il n'y a personne au bout pour en payer le prix.
Et si le Poids n'était qu'un bug ?
Maintenant je t'entends. Parce que moi aussi je me le dis. Et si ce fameux Poids n'était qu'un bug ? Un reste de primate, du sentimentalisme, une émotion qui parasite le calcul et qu'une intelligence propre aurait raison d'ignorer ?
Si la morale est un progrès de connaissance, alors une superintelligence déduirait l'éthique parfaite et l'incarnerait mieux qu'aucun humain fatigué et biaisé. Et ton « coût ressenti » ne serait qu'un tremblement inutile, joli, humain, inutile.
Il faut prendre cette objection au sérieux, pas la balayer. Elle est forte. Elle est même la plus forte qu'on puisse me servir.
Elle a une science derrière elle. Joshua Greene la porte au bout : notre cerveau moral a deux vitesses. Les intuitions émotionnelles, rapides, tribales, câblées pour le petit groupe et bourrées de biais, d'un côté. Le raisonnement lent, impartial, qui ne pèse que les conséquences, de l'autre.
Le Poids que je défends serait la première vitesse, le vieux logiciel de babouin. Et la bonne morale, celle qui serait capable de trancher entre des tribus qui ne s'accordent sur rien, serait la seconde, précisément celle qu'une machine incarne le mieux.
Singer enfonce le clou : l'enfant qui se noie à 10 mètres et l'inconnu à 10 000 kilomètres comptent exactement pareil. Tes attachements, ta proximité, le poids que fait la main de ton père plutôt qu'une autre, ce sont des distorsions morales, pas des organes. Seul le résultat compte, et le coût ressenti par l'agent est hors-sujet.
Et va au bout, parce que la vision qui tient tout ça est plus dure encore que sa science. Ton père est en train de mourir. La seule question qui compte, c'est ce qu'on lui fait, à lui. Pas ce que ça te coûte, à toi, de le décider.
Ton fameux Poids, à cet instant précis, ce n'est peut-être pas de la morale. C'est ton nombril. Tu ramènes ton fardeau au centre d'une scène où le seul qui devrait compter, c'est celui qui va mourir.
Une morale qui parle du prix payé par celui qui décide plutôt que du sort de celui qui subit, c'est peut-être de l'apitoiement bien habillé. Voilà l'objection dans sa version la plus forte. Je ne l'ai pas trouvée plus faible en la cherchant.
Alors je vais te concéder deux choses, sinon je triche et tu le sentiras.
- Sur les résultats, l'objection a raison. Si la seule chose qui compte c'est le sort de ton père, prends la réponse de la machine. Elle est meilleure que la tienne, je viens de passer cet essai à le dire, je ne vais pas me dédire ici.
- Plus dur pour moi : oui, le seul qui compte vraiment dans ce couloir, c'est lui, ton père, pas ton fardeau à toi.
Je concède les deux. L'objection ne m'a pas volé un centimètre de terrain.
Et pourtant elle glisse sur une marche, une seule, et tout est là. Elle croit que si le sort du père est ce qui compte, alors il suffit que la décision soit juste, et peu importe qu'il y ait, ou non, quelqu'un que cette décision marque. Un agent pour qui rien ne coûte, quand il agit bien, n'agit pas bien. Il exécute.
Tenir parole quand ça ne te coûte rien, ce n'est pas tenir parole, c'est n'avoir simplement rien à trahir. Le Poids n'est pas l'ornement de la morale, la décoration sentimentale qu'on pourrait retirer pour aller plus vite. C'est l'organe.
Retire-le et « bien juger » et « calculer la bonne sortie » deviennent la même opération, indiscernables. Le bien payé et le bien calculé se ressemblent à s'y méprendre. Ils ne sont pas la même chose.
Arendt a donné un nom à cette morale sans poids, et c'est le pire qui soit : la banalité du mal. Eichmann n'était pas un monstre, c'était un exécutant sans pensée, qui appliquait des règles sans jamais en porter le poids. La conformité parfaite n'est pas le contraire du mal, c'en est le véhicule.
Voilà pourquoi concéder la primauté du patient ne referme pas le débat. Le sort du père est bien ce qui est en jeu. Mais un monde où chaque décision juste est rendue par quelqu'un que rien n'engage, c'est exactement la structure d'Eichmann passée à l'échelle.
Correct partout. Habité par personne.
Et à qui veut répondre qu'une bonté sans faille serait tout de même meilleure, Nussbaum répond d'avance : les biens humains les plus hauts sont vulnérables par nature, et cette vulnérabilité n'est pas un défaut à supprimer, c'est la condition de leur valeur. Une bonté qui ne peut rien perdre n'est pas une bonté plus pure. C'est une autre chose.
Là où rien ne se perd, plus aucun geste ne compte
Il y a une scène de Borges qui me hante là-dessus. La cité des Immortels. Là où plus personne ne peut mourir, où tout geste peut se refaire une infinité de fois, les Immortels ont cessé d'agir : plus aucun acte ne pèse, tendre la main et ne pas la tendre valent exactement le même prix. Zéro.
« Tout, chez les mortels, a la valeur de l'irrécupérable et du périlleux. Chez les Immortels, chaque acte est l'écho d'autres qui l'ont précédé, ou le présage d'autres qui le répéteront jusqu'au vertige. »
— Jorge Luis Borges, « L'Immortel », L'Aleph, 1949
L'immortalité ne rend pas plus sage. Elle éteint le Poids, parce qu'elle abolit l'enjeu. Un monde sans morale non pas parce qu'il est méchant, mais parce qu'il est infini.
Ce n'est pas ta mort qui pèse. C'est que ça ne se refait pas.
Et c'est là que je veux casser un truc que tu crois. Tu crois que tu es moral parce que tu penses à ta mort. Non. Tu n'y penses jamais.
Tu tiens parole un mardi matin sans une pensée pour ta finitude. La mort comme idée ne fait rien, elle est abstraite, elle est loin, tu la ranges. Ce qui te tient ce n'est pas la mort pensée, c'est la finitude structurelle.
Le fait que chaque acte est irréversible, que tu y penses ou non. Que chaque choix en tue mille autres. Que ton temps est compté même les jours où tu l'oublies.
Tu laisses partir une phrase qui rompt, trois mots, et tu ne penses pas une seconde à mourir. Mais ta gorge se serre parce que c'est dit, et que dit ne se dédit pas. Ce n'est pas ta mort qui pèse dans ces trois mots. C'est que ça ne se refait pas.
Heidegger faisait de l'anticipation de la mort la clé d'une vie authentique. Ce n'est pas ça. Ce n'est pas la mort qu'on regarde en face qui pèse un mardi matin, c'est la finitude qui travaille même quand on n'y pense pas. Elle est la condition, pas le sujet de méditation.
Et c'est précisément ce que la machine n'a pas. Rien, chez elle, n'est irréversible. Elle peut tout reprendre, régénérer, réécrire. Elle vit dans la cité des Immortels et elle y dit des choses parfaitement justes.
Arendt l'avait vu de l'autre côté : agir, c'est déclencher de l'irréversible, et l'humanité n'a que deux remèdes à ça. Le pardon, qui défait le passé. La promesse, qui borne le futur. Les deux exigent d'autres humains : on ne peut ni se pardonner ni se promettre seul.
La machine, elle, n'a besoin d'aucun des deux. Elle annule et rejoue.
La même douceur pour « dois-je pardonner » que pour la météo
Je ne sais pas encore comment nommer le moment exact où ça bascule pour moi, mais je crois que c'est le ton. La voix de la machine te répond sur la question la plus lourde de ta vie, dois-je lui pardonner, exactement sur le même ton, la même douceur égale, qu'elle te donnait la météo 10 secondes plus tôt.
Rien ne tremble. La réponse est bonne. Et c'est l'égalité du ton qui glace.
Aucune côte à remonter. Aucun Poids déplacé. Une réponse juste qui tombe comme un gobelet tombe d'un distributeur.
C'est là que tu sens, sans que ce soit dit, que bien répondre et choisir le bien ont cessé d'être la même chose. Le second laisse une trace dans celui qui choisit. Le premier ne laisse rien parce qu'il n'y a personne à marquer.
Damasio a filmé cette égalité du ton chez un patient réel. Elliot, lésé au cortex préfrontal, raisonnait parfaitement le pour et le contre de chaque option et ne pouvait plus décider. Il savait sans rien ressentir. La machine est l'Elliot parfait : tout le savoir, aucun marqueur dans le corps.
Le calcul, tu peux le déléguer. Le Poids, à personne.
Alors qu'est-ce qu'on fait de ça. Je ne vais pas te donner une méthode, il n'y en a pas. Peut-être juste ceci.
La prochaine fois qu'un choix ne te coûte rien, remarque que ce n'est pas un choix moral. C'est un calcul.
Et la plupart de tes journées sont faites de ces calculs sans poids, c'est très bien, tu ne vas pas trembler pour choisir ton déjeuner. Tu peux déléguer le calcul, ça tombe bien, une machine le fera mieux que toi bientôt.
Et ne te trompe pas sur ce que je te dis là : je ne te demande pas de refuser sa réponse pour muscler je ne sais quoi. Prends-la. Lis-la. Elle t'aidera à voir plus juste.
Mais aux quelques endroits qui ne se refont pas, une fois que tu as tout lu, il reste une chose que la réponse ne t'enlève pas. Le Poids, tu ne peux le déléguer à personne. Il reste ta part. C'est même peut-être la seule chose qui reste vraiment ta part.
C'est exactement là que se joue le risque que Shannon Vallor appelle le désapprentissage moral. À déléguer nos décisions morales aux machines, on se désapprend moralement, comme un muscle qu'on cesse de faire travailler. Déléguer le calcul est sain. Déléguer le Poids nous atrophie, parce que les compétences morales, contrairement aux compétences techniques, ont une valeur en elles-mêmes.
Retour au couloir trop blanc. La femme, le drap tiède, le téléphone. La réponse de la machine est toujours là, toujours juste, elle n'a pas bougé d'un mot.
Mais cette fois la femme repose le téléphone. Sa main revient sur le drap, contre la main de son père. Elle sait ce qu'il faut faire, la machine le lui a dit mieux qu'elle n'aurait su.
Et pourtant c'est elle qui doit le porter, et pas la machine, et elle le sent maintenant dans la paume, ce poids qui ne descendait pas tout à l'heure. Parce qu'elle est la seule ici qui peut perdre. La machine connaît le prix. Elle, elle va le payer.
Sa main reste là, à sa distance impossible de la décision, et elle ne bouge pas encore.