Superintelligence · Sagesse · Conscience · Sens
La philosophie arrive toujours après. Cette fois, il faut penser avant le jour.
Hegel disait que la chouette de Minerve ne s’envole qu’au crépuscule : on comprend une époque quand elle s’achève. Avec des machines qui apprennent plus vite que nous ne débattons, ce retard devient un risque. Voici quatre questions à poser pendant qu’il fait encore nuit.
Avant l’aube · Maintenant
Ce qui se décide déjà, sans attendre la superintelligence.
On discute beaucoup de la date à laquelle une machine nous dépassera. Pendant ce temps, des choix se prennent, le plus souvent par défaut, dans des produits que nous utilisons tous les jours.
- Une machine peut-elle dire « je » à quelqu’un qui souffre ? Des millions de personnes se confient déjà à un programme. Ce qu’il a le droit de répondre se règle aujourd’hui.
- Qui répond d’une décision que personne ne sait expliquer ? Un prêt refusé, un dossier écarté, un diagnostic suggéré : il faut bien que quelqu’un en porte la responsabilité.
- À qui appartient une intelligence entraînée sur ce que tout le monde a écrit ? Les modèles ont appris dans nos livres, nos forums, nos lettres. Leurs propriétaires se comptent sur les doigts.
- Que cesse-t-on de savoir faire quand on cesse de le faire ? Écrire, traduire, calculer un itinéraire, chercher ses mots : ce qu’on délègue, on finit par le désapprendre.
−18° · Aube astronomique
Le ciel paraît encore noir. La lumière, pourtant, a déjà commencé.
Superintelligence
Que devient-on à côté d’un esprit plus vaste que le nôtre ?
On en parle comme d’une date à prévoir. C’est d’abord une situation à penser : vivre avec une intelligence dont on ne pourrait plus suivre les raisons.
Nous suivons déjà l’avis du médecin sans savoir lire une radio, mais nous pourrions l’apprendre. Que vaut un accord donné à des raisons qu’aucun humain ne pourra jamais vérifier ?
- Établi
- Des systèmes dépassent déjà les meilleurs humains dans des tâches délimitées, et personne ne sait expliquer en détail leurs calculs.
- Débattu
- Qu’une intelligence générale supérieure à la nôtre soit possible, et à quelle échéance. Les spécialistes divergent de plusieurs décennies.
- Spéculatif
- Ce qu’elle voudrait, et ce qu’elle ferait de nous.
Quand on ne peut plus suivre le chemin, il reste à choisir la destination. −12° Sagesse ↓
−12° · Aube nautique
L’horizon devient visible. On distingue enfin la mer du ciel.
Sagesse
L’intelligence suffit-elle à savoir quoi faire ?
Savoir atteindre un but et savoir lequel mérite d’être atteint sont deux talents. Aristote appelait le premier habileté, le second prudence, et prévenait que l’habileté au service d’un mauvais but n’est que de la rouerie.
Reste à savoir si les deux se séparent aussi dans une machine. Et, en attendant, qui choisit les buts.
- Établi
- Un système optimise l’objectif qu’on lui a donné, y compris par des moyens que personne n’avait voulus. Les exemples sont documentés.
- Débattu
- Qu’une intelligence très avancée puisse poursuivre n’importe quel but. Certains pensent au contraire qu’à force de comprendre, on comprend aussi ce qui vaut.
- Spéculatif
- Qu’une machine puisse être sage, et que nous sachions le reconnaître.
Choisir des buts, c’est d’abord décider qui compte. −6° Conscience ↓
−6° · Aube civile
Assez de clarté pour lire sans lampe. Les formes ont leur couleur.
Conscience
Y a-t-il quelqu’un, à l’intérieur ?
Une machine peut décrire ce qu’elle ressent. Aucun instrument ne dit si elle ressent quoi que ce soit. Nous n’en avons d’ailleurs jamais eu pour personne : la conscience des autres, nous la supposons par ressemblance.
Deux erreurs sont possibles, et elles ne coûtent pas la même chose. Prêter une vie intérieure à un mécanisme nous rend manipulables. La refuser à un être qui en aurait une serait une faute. Entre les deux, il faut apprendre à agir sans savoir.
- Établi
- Les modèles de langage parlent d’états intérieurs parce qu’ils ont appris dans des textes humains. Leur témoignage, seul, ne prouve rien.
- Débattu
- Qu’une conscience puisse exister ailleurs que dans du vivant. Aucune théorie de la conscience ne fait consensus.
- Spéculatif
- Que les systèmes actuels éprouvent quoi que ce soit.
Et si les machines font presque tout, jusqu’à nous tenir compagnie, que nous reste-t-il ? 0° Sens ↓
0° · Lever du soleil
Le bord du disque touche l’horizon. Le jour commence ici.
Sens
Que reste-t-il à faire quand tout peut être fait ?
Si les machines font mieux que nous ce que nous faisions pour vivre, il faudra savoir ce que nous faisons pour exister.
La question a deux étages, et le premier est matériel : de quoi vit-on quand le travail ne paie plus ? Le second vient ensuite : que vaut un geste dont le résultat pourrait s’obtenir sans nous ?
- Établi
- Des machines traduisent, codent, illustrent et rédigent à un niveau qui suffit à beaucoup d’usages.
- Débattu
- L’ampleur et la vitesse des effets sur l’emploi, et qui en recueillera les gains.
- Spéculatif
- Un monde où plus aucun travail humain ne serait nécessaire.
La question qui traverse les quatre
Qui décide ?
Une fois le jour levé, on voit qui est dans la pièce. Dans chacune des quatre questions, nous avons écrit « nous ». Ce nous n’existe pas encore.
Quelques entreprises et quelques États construisent ces systèmes. Des milliards de personnes vivront avec, sans avoir été consultées. Avant de se demander ce qu’une superintelligence voudra, il faut regarder ce que veulent ceux qui la fabriquent, et qui a voix au chapitre.
C’est la part de l’aube qui dépend de nous. Le reste du site sert à s’y préparer.
Essais
Des textes courts, qui laissent la question plus nette qu’ils ne l’ont trouvée.
-
Faire confiance sans comprendre
Nous faisons confiance au médecin parce que nous pourrions, en principe, apprendre ce qu’il sait. Que devient la confiance quand ce chemin n’existe plus ?
-
L’habileté n’est pas la sagesse
Aristote séparait l’art d’atteindre un but de celui de bien le choisir. Nos machines progressent vite dans le premier. Personne ne sait encore si le second s’apprend de la même façon.
-
Le miroir inversé
Nous demandons aux machines de prouver qu’elles sont conscientes. Aucun de nous n’a jamais fourni cette preuve à un autre.
-
Ce qui ne se délègue pas
On peut faire rédiger une lettre de condoléances. On ne peut pas faire qu’un autre l’ait écrite à notre place. Sur les gestes dont la valeur tient à celui qui les fait.
Un fragment par mois · n° 4
Humain ou machine ?
Trois phrases. À vous de dire qui les a écrites.
Je me lève avant tout le monde. Pas par discipline : c’est la seule heure où personne n’attend rien de moi. La cuisine est froide, la ville n’a pas encore décidé ce qu’elle serait aujourd’hui.
Questions ouvertes
Le carnet de ce que nous ne savons pas encore.
Il s’allonge plus vite qu’il ne se résout. Chaque essai en ajoute.
−18° Superintelligence
- Peut-on consentir à une décision qu’on ne peut pas comprendre ?
- Une explication simplifiée est-elle encore une explication, ou déjà une fable ?
- À partir de quand un outil cesse-t-il d’être un outil ?
−12° Sagesse
- La sagesse peut-elle s’apprendre dans des textes ?
- Faut-il être mortel pour savoir ce qui compte ?
- Qui décide des fins d’une intelligence qui n’en a pas ?
−6° Conscience
- Quelle preuve accepterions-nous d’une conscience qui n’est pas la nôtre ?
- Peut-on faire du tort à un être dont on ignore s’il ressent ?
- La conscience est-elle un fait, ou une attribution ?
0° Sens
- De quoi vit-on quand le travail n’est plus nécessaire ?
- Une œuvre vaut-elle moins si personne n’a peiné pour la faire ?
- Le sens se trouve-t-il, ou se fabrique-t-il ?