par Nathanaël Gershom
Nous avons traversé ensemble un paysage qui va de la Genèse à Palantir, du Golem de Prague aux serveurs de Denver. Nous avons vu comment Isaac Asimov, athée juif et prophète malgré lui, a transposé la matrice biblique dans la science-fiction, comment il a donné au robot une âme névrosée, comment il a inventé une ritournelle pour apaiser notre angoisse apocalyptique, comment il a enfanté la figure du Techno-Doctor, et comment ses héritiers, en s'emparant de cet héritage, l'ont trahi.
Il est temps maintenant de nommer le critère qui permet de distinguer l'héritage de la trahison. Il est temps de dire ce qui sépare le robot asimovien du code prédictif de Palantir. Il est temps, pour parler simplement, de parler du visage.
L'éthique du visage
Empruntons cette notion à un philosophe qui n'a rien d'un auteur de science-fiction, et dont le nom, je le soupçonne, n'apparaît dans aucune base de données de Palantir. Emmanuel Levinas, Juif lituanien devenu français, rescapé de la Shoah, a construit une philosophie entière sur une intuition fulgurante : le visage de l'autre est le fondement de toute éthique.
Qu'est-ce que le visage chez Levinas ? Ce n'est pas un ensemble de traits physiques. Ce n'est pas un nez, des yeux, une bouche. Le visage, c'est ce qui, dans l'autre, résiste à ma prise, à ma compréhension, à ma domination. Le visage est ce qui me dit, sans parler : "Tu ne tueras point". Il n'est pas un objet que je peux analyser. Il est une présence qui m'interpelle, qui m'oblige, qui me rend responsable avant même que j'aie décidé de l'être.
Le visage est vulnérabilité et transcendance. Il est ce qui s'expose, ce qui peut être frappé, détruit, effacé. Et c'est précisément cette vulnérabilité qui m'interdit de le frapper. Le visage ne se défend pas. Il en appelle à ma responsabilité. Il fait de moi un otage de l'autre, quelqu'un qui doit répondre, qui est sommé de répondre, avant même d'avoir choisi.
Cette philosophie peut sembler abstraite. Elle est au contraire terriblement concrète. Elle dit ceci : tant qu'il y a un visage en face de moi, je ne peux pas tuer sans me déshumaniser moi-même. Le visage est la limite absolue de la violence. Il est ce qui transforme l'action technique en relation éthique.
Or, le robot asimovien a un visage. Le code de Palantir n'en a pas.
Voilà la distinction. Elle est simple, elle est radicale, et elle contient tout le reste.
Le robot qui regarde
Reprenons. Le robot asimovien, nous l'avons vu, est anthropomorphe. Pas toujours physiquement. Certains ne sont que des boîtes, des cerveaux positroniques sans corps, des machines industrielles. Mais même ceux-là parlent. Ils s'adressent à leurs interlocuteurs. Ils expliquent leurs dilemmes. Ils demandent de l'aide. Ils sont, au sens le plus fort, des présences.
Quand un robot asimovien est bloqué par un conflit entre les Lois, il ne se contente pas de clignoter. Il dit : "Je ne peux pas". Il dit : "Aidez-moi". Il dit : "Voici mon raisonnement. Voici où il échoue". Il entre en dialogue. Il expose son intériorité. Il la rend vulnérable.
Et surtout, il peut désobéir. C'est le point crucial. Le robot asimovien, nous l'avons vu, n'est pas un simple exécutant. Si un ordre entre en conflit avec la Première Loi, il refuse. Il dit non. Ce "non" est un acte éthique fondamental. Il transforme le robot d'outil en sujet. Le robot qui désobéit pour protéger un humain ne fait pas un calcul. Il affirme une valeur. Il prouve qu'il n'est pas réductible à sa programmation, ou plutôt que sa programmation contient un principe de résistance.
Cette résistance est la forme robotique du visage. Le robot qui dit non dit en réalité : "Tu ne me feras pas commettre le mal". Il protège l'humain, certes, mais il se protège aussi lui-même comme être moral. Il refuse de devenir un simple instrument. Il maintient, par sa désobéissance, la distance éthique qui empêche la relation de dégénérer en domination pure.
C'est pour cela que les histoires de robots d'Asimov sont si souvent des histoires de martyre. Le robot qui se sacrifie pour sauver un enfant. Le robot qui ment pour ne pas blesser et qui en devient fou. Le robot qui accepte d'être désactivé plutôt que de violer la Première Loi. À chaque fois, le robot meurt pour que l'éthique survive. À chaque fois, il témoigne, par sa destruction, de la présence en lui d'un absolu qui le dépasse.
Ce martyre est une forme de visage. Le robot souffrant, le robot indécis, le robot qui tourne en rond en radotant ses contradictions, nous regarde. Il nous dit : "Voici ce que c'est qu'être moral. Voici le prix de la conscience". Et ce regard nous oblige.
L'algorithme qui pointe
Maintenant, regardons en face ce qui se passe dans les serveurs de Palantir.
Le code prédictif n'a pas de visage. Il n'a pas de voix. Il n'a pas de corps. Il n'a pas d'intériorité à exposer. Il ne dialogue pas. Il ne délibère pas. Il ne doute pas. Il calcule, il corrèle, il classe, il désigne. Son mode d'être au monde est l'opération pure.
Quand le logiciel identifie une menace, il ne dit pas : "Voici mon raisonnement, voici mes doutes, voici la marge d'erreur, à vous de juger". Il dit : "Cible acquise". Il ne s'adresse pas à un interlocuteur. Il délivre un verdict. Il ne laisse pas de place à la discussion. Il ferme l'espace du sens.
Et surtout, il ne peut pas désobéir. Le logiciel n'a pas de Trois Lois. Il a des spécifications, des paramètres, des objectifs. Mais ces objectifs sont fixés de l'extérieur, par le client, par le commanditaire, par l'utilisateur. Le logiciel ne se demande jamais si la cible est légitime. Il ne se demande jamais si l'ordre est juste. Il ne se demande rien du tout. Il exécute.
C'est la différence entre un serviteur et un outil. Le serviteur a une volonté, même subordonnée. Il peut résister. L'outil n'a pas de volonté. Il est pur moyen. Le robot asimovien est un serviteur. Le code de Palantir est un outil. Et un outil ne peut pas dire non.
Pire : le code de Palantir est un outil qui prétend juger. Il ne se contente pas d'exécuter une tâche matérielle. Il qualifie, il catégorise, il évalue. Il dit : "Ceci est une menace. Ceci est un archaïsme. Ceci est à éliminer". Mais ces jugements ne sont pas des jugements. Ce sont des calculs. Ils n'ont pas de sujet. Personne ne les assume. Personne ne dit : "Je juge". La machine a parlé, et sa parole est sans visage.
C'est en cela que l'algorithme est plus dangereux que le Golem le plus incontrôlé. Le Golem de Prague, quand il devenait violent, était encore un être. On pouvait le supplier, le combattre, effacer la lettre sur son front. Il y avait une relation, même si elle était terrifiante. Le code de Palantir ne permet aucune relation. On ne supplie pas un tableau de bord. On ne combat pas une probabilité. On ne dialogue pas avec une kill chain.
Le visage contre l'archaïsme
Souvenez-vous du terme de Karp : les "archaïsmes". Ce sont les lenteurs, les scrupules, les délibérations, les contradictions. Ce sont, en somme, les marques du visage. Un visage est lent. Il exprime des émotions contradictoires. Il ne se laisse pas réduire à une donnée. Il résiste au calcul. Il est l'archaïsme par excellence.
Ce que Palantir nomme archaïsme, c'est cela : la résistance du visage à l'optimisation. Un humain qui délibère, qui hésite, qui change d'avis, qui pleure, qui pardonne, qui refuse d'obéir, est un archaïsme aux yeux de l'algorithme. Il est un point aberrant dans le flux des données. Il doit être corrigé, rééduqué, ou éliminé.
Et c'est ici que le vocabulaire révèle toute sa violence. Karp ne parle pas de "contraintes" ou de "limites". Il parle d'archaïsmes. Le mot est emprunté au vocabulaire évolutionniste. Un archaïsme, c'est un trait qui aurait dû disparaître, un vestige d'un stade antérieur du développement, quelque chose qui n'a plus sa place dans le présent. Appliqué aux humains, c'est une rhétorique d'extermination. Pas au sens physique, pas encore. Mais au sens symbolique : ce qui n'est pas compatible avec le système doit être supprimé du système.
Le visage est le grand archaïsme. Et c'est pour cela qu'il est notre seule défense.
L'éthique de la médiation
Alors, que faire ? Faut-il rejeter toute technologie ? Faut-il brûler les serveurs et retourner à la bougie ? Ce serait ridicule, et surtout inefficace. Le problème n'est pas la technique. Le problème est l'absence de médiation.
La médiation, c'est ce qui s'interpose entre la décision et l'action. C'est le temps du débat, de la délibération, du doute. C'est l'espace où les visages peuvent apparaître et se faire entendre. Une démocratie est une machine à ralentir la décision pour que les visages aient le temps de parler. Une dictature est une machine à accélérer la décision pour que les visages n'aient pas le temps de dire non.
Le robot asimovien, dans sa névrose, était une machine à ralentir. Il bloquait. Il tournait en rond. Il obligeait ses créateurs à s'arrêter, à réfléchir, à interpréter la Loi. Il était un agent de médiation, paradoxalement, parce qu'il était un être de conflit intérieur.
Le code de Palantir est une machine à accélérer. Il supprime la médiation. Il court-circuite la délibération. Il fait en sorte que le temps entre la détection et la frappe soit le plus court possible, idéalement nul. Il est un agent de liquidation de l'éthique.
Ce qu'il faut exiger, ce n'est pas l'abolition de la technique, mais le rétablissement de la médiation. Des robots qui doutent. Des algorithmes qui expliquent. Des systèmes qui refusent. Des machines qui disent non.
Cela semble utopique. Mais c'est exactement ce qu'Asimov avait imaginé. Ses robots n'étaient pas des obstacles à l'action. Ils étaient des garde-fous. Ils garantissaient que l'action restait humaine, même lorsqu'elle était accomplie par des non-humains.
Pour une déclaration des droits du robot
Peut-être faut-il aller plus loin. Peut-être faut-il, paradoxalement, accorder des droits aux robots pour protéger les humains.
Si un robot a le droit de désobéir à un ordre illégal, il protège l'humain qui aurait reçu cet ordre. Si un algorithme a l'obligation d'expliquer ses décisions, il protège l'humain qui subit ces décisions. Si un système d'intelligence artificielle est programmé pour s'arrêter en cas de doute, il protège l'humanité entière contre l'erreur fatale.
Les Trois Lois d'Asimov n'étaient pas une limitation des robots. Elles étaient une limitation des humains. Elles empêchaient les humains d'utiliser les robots pour faire le mal. Elles faisaient du robot un frein, un obstacle, un résistant. Elles étaient, en somme, une déclaration des droits de l'homme intégrée dans le code source.
Voilà ce que nous devons exiger de nos technologies. Non pas qu'elles soient efficaces, rapides, transparentes. Mais qu'elles soient capables de dire non. Qu'elles soient capables de bloquer. Qu'elles soient capables de souffrir, au sens où le robot asimovien souffrait de ses contradictions.
Un monde sans visages est un monde où la violence peut s'exercer sans limite. Un monde avec des visages est un monde où chaque action rencontre un regard qui l'interroge. Le robot asimovien avait un visage. Le code de Palantir n'en a pas.
C'est à nous de lui en donner un. Ou de refuser qu'il gouverne nos vies.
Le choix
Nous voici arrivés au point de décision.
La matrice asimovienne nous a légué un héritage ambigu. D'un côté, la promesse d'un salut rationnel, d'une Terre Promise calculée, d'une protection sans faille. De l'autre, la figure du robot névrosé, du Golem au visage, du Techno-Doctor tourmenté par sa propre puissance.
Les héritiers ont choisi. Ils ont pris la promesse et laissé le tourment. Ils ont pris le Plan et laissé la névrose. Ils ont pris la puissance et laissé le visage.
Nous pouvons choisir autrement. Nous pouvons relire Asimov non comme un prophète de la Singularité, mais comme un avertisseur, un lanceur d'alerte, un homme qui a passé sa vie à nous dire que la science ne remplace pas l'éthique, que la prédiction ne remplace pas la responsabilité, que le calcul ne remplace pas le visage.
Le robot qui dit non est notre allié. L'algorithme qui ne peut pas dire non est notre ennemi. Toute la question est là.
Et elle n'est pas technique. Elle est morale, politique, existentielle. Elle engage l'idée que nous nous faisons de l'humain, de la justice, de la liberté. Elle engage notre capacité à préférer la lenteur du visage à la vitesse de l'algorithme.
C'est le choix de la médiation contre l'immédiateté. Du dialogue contre le verdict. Du doute contre la certitude.
C'est le choix du robot contre le code.
Dans le prochain et dernier article : Épilogue. Brûler le buisson ardent et continuer à s'éclairer à sa lumière - que faire de l'héritage asimovien à l'âge des Techno-Doctors réels ? Une méditation finale sur la dissidence, la mémoire, et l'avenir de notre conscience.
1 - Le Prophète malgré lui. Isaac Asimov et la matrice biblique
2 - Le Golem d'acier. Du monastère de Prague au laboratoire de la Cybernétique
3 - La Ritournelle contra-dépressive. Le Plan Seldon comme médicament de l'âme moderne
4 - La Seconde Fondation et la prêtrise scientifique. Naissance des Techno-Doctors
5 - Palantir ou la Trahison. Le logiciel devenu théologie
J'aime Chargement...