SVP lisez le texte en entier et même en plusieurs fois. Hugo de Garis, son auteur, est entre autres titres docteur en intelligence artificielle. Il enseigne aux États-Unis.1. Introduction
Je suis un fabriquant de cerveaux. Mon rêve et mon ambition dans la vie, c'est de construire (c'est-à-dire faire évoluer/développer) des cerveaux artificiels comprenant des milliards (et au delà) de cellules cérébrales artificielles, et avant ma retraite (d'ici à peu près 20 ans), de voir la fabrication de cerveaux devenir une des plus importantes industries au monde, comparable à la construction, l'électronique, l'automobile et le pétrole.
Je pense avoir trouvé une méthodologie rendant le développement d'une telle industrie possible. Si cela se produit, je serai très heureux, mais ce n'est pas le sujet de ce chapitre. La création de cerveaux artificiels, je pense, pourra être atteinte dans les quelques prochaines années (au moins avec des centaines de milliers de neurones artificiels organisés en des circuits fonctionnant à des vitesses électroniques, dans des machines spéciales que j'appelle Machines de Darwin).
Voilà pour le court terme et pour le moyen terme. Ce qui m'intéresse, c'est le long terme, c'est-à-dire plus loin dans le XXIème siècle, au cas où moi et d'autres constructeurs de cerveaux réussissions. Qu'adviendra-t-il alors ?
Je pense réellement qu’au siècle prochain, la question qui dominera la politique à l’échelle mondiale sera la suivante : qui ou que doit être l'espèce dominante sur la planète ? Au cas où cela vous semble idiot, considérez ce qui suit. Imaginez un ordinateur ayant mille milliards de milliards de milliards de composants.
Ce nombre rend ridicule celui des neurones que nous avons dans notre cerveau par un facteur 1018, c'est-à-dire qu'un milliard de milliard de cerveaux humains auraient autant de neurones que cet ordinateur a de composants. Je crois que nous (l'humanité) aurons de telles machines d'ici à quelques décennies. C'est écrit.
Aujourd'hui, nous disposons déjà de transistors à un seul électron et de la nano-électronique, c’est-à-dire de l'électronique à l'échelle moléculaire, ce qui va créer une capacité de stockage de 1 bit d'information par atome. Avec les circuits réversibles modernes, il est théoriquement possible de réaliser des calculs sur ordinateur sans dissipation thermique.
Il devient donc possible de construire des circuits 3D sans qu'ils ne fondent, comme le feraient les circuits traditionnels irréversibles s'ils étaient tridimensionnels. Avec les circuits adiabatiques (sans dissipation thermique), il sera possible de construire des tonnes de matériaux capables de calculer, et si on peut en fabriquer des tonnes, on peut fabriquer d'énormes ordinateurs ayant la taille d'un astéroïde, comprenant 1040 composants ou plus, en prenant les atomes de la ceinture d'astéroïdes (entre Mars et Jupiter, NDT).
À l'aide de la technologie quantique ponctuelle, il sera possible de construire des "atomes artificiels" ayant les propriétés électroniques que l'on désire. Les circuits pourraient être construits par des nano-robots assemblant des blocs de construction que les futures Machines de Darwin pourront utiliser pour développer des circuits ultra-complexes (trop complexes pour que les ingénieurs humains puissent les comprendre).
Comme ces circuits opéreraient à la vitesse électronique, c’est-à-dire un million de fois plus vite que la transmission neuronale dans le cerveau humain, et étant donné l'énorme supériorité dans la capacité de mémoire, dans la complexité et le nombre des palpeurs qui pourraient être attachés à de tels dispositifs, il est clair pour n'importe quelle personne informée que la possibilité pour cet ordinateur de générer de l'intelligence est très, très largement supérieure à celle d'un cerveau humain avec ses ridicules 1000 milliards de neurones.
C'est pourquoi je pense que ce n'est qu'une question de temps pour que l'accroissement continuel des aptitudes des ordinateurs ne commence à générer ce que j'appelle le " débat sur l'espèce dominante ". Pour le moment, ce que je dis semble de la science fiction pour la plupart des gens, et par conséquent, ils ne le prennent pas au sérieux ou ne se sentent pas concernés.
Mais je suis un fabriquant de cerveaux. Je suis une de ces personnes qui sont en train de créer ce problème. Je suis aussi un ex-physicien théoricien, et j'ai conscience que mes ex-collègues de la génération précédente ont fabriqué un appareil de destruction massive qui aurait pu anéantir la vie sur la planète à la suite de la crise des missiles cubains de 1962.
Je vis au Japon, et je me suis délibérément rendu à Hiroshima pour voir par moi-même quelles horreurs les scientifiques sont capables d'infliger indirectement à l'humanité. J'ai été profondément bouleversé, et chaque fois que je donne une conférence à propos de la fabrication de cerveaux et du futur, ma gorge se serre à l'évocation de ce que j'ai vu au musée de Hiroshima (des femmes et des enfants avec leur peau tombant par bandes de 20 cm, des bouteilles de vin fondues, etc.).
Cette expérience m'a rendu très conscient de la nécessité pour les scientifiques de réfléchir aux conséquences sociales et politiques de leurs travaux. Dans mon cas, d'un côté je suis passionnément impliqué dans mon rêve de construire des cerveaux artificiels, et de l'autre j'écris des articles tels que celui-ci, essayant de faire prendre conscience à l'humanité des conséquences à long terme de la fabrication de cerveaux, si elle se voyait couronnée de succès.
À moyen terme, des cerveaux artificiels ayant l'intelligence d'un chimpanzé seraient très utiles (tant qu'ils seraient totalement obéissants). Ils pourraient être utilisés pour nettoyer la maison. Chaque lieu d'affluence en aurait un, et ça créerait le marché d'une des plus grosses industries du monde. Les cerveaux comme les ordinateurs pourraient devenir des compagnons personnalisés.
On peut imaginer que de telles machines sauraient parler, entendre et faire rire. Il serait possible d'avoir une sorte de "relation" avec de telles machines. Mais ce qui me préoccupe, c'est la comparaison numériquement inconcevable entre le nombre de neurones dans un cerveau humain et la possibilité d'obtenir des machines à 1030 composants.
Je peux imaginer que le domaine de la construction de cerveaux va s'étendre, à mesure que de plus en plus de circuits neuronaux pourront être développés, ainsi que leur interconnexion et les systèmes de contrôle, etc. Année après année, des appareils offrant toujours plus de possibilités seront introduits sur le marché, de sorte que les gens ordinaires pourront s'impliquer dans des questions telles que "Où est-ce que tout cela nous mène ?", "Jusqu'à quel degré d'intelligence devons-nous permettre que ces machines soient développées ?" "Les scientifiques nous disent que les machines ont le potentiel de dépasser largement les êtres humains, et il est clair qu'elles deviennent chaque année plus intelligentes", alors où et quand allons-nous dire "stop !" ? "Faut-il vraiment dire stop à un moment donné ?"
De telles questions seront d'actualité et deviendront très communes dès que les machines commenceront vraiment à reposer sur la technologie des cerveaux artificiels que moi et d'autres gens sommes en train de développer. Je continue à penser que si je représente une partie du problème, j'aimerais aussi être une partie de la solution (s'il y en a une).
Une des choses que je voudrais faire, à part construire des cerveaux, c'est rendre les gens conscients que le "débat sur l'espèce dominante" arrive, de façon à ce qu'ils aient le temps d'y réfléchir avant que les machines ne deviennent trop intelligentes. Je nomme ces machines ultra-intelligentes des "artilects" (pour "artificial intellect"). Je parle ainsi parfois du "débat sur les artilects" ou de la "question des artilects".
Comme je l'ai dit plus haut, je pense que ce débat déterminera les grandes lignes de la politique générale du XXIème siècle. Pour faire bref, je soupçonne fortement que les controverses sur la question des artilects seront si âpres qu'une guerre, disons une guerre à la mode du XXIème siècle, sera inévitable. Je suis très pessimiste sur cette question, et elle me tient éveillé la nuit trop fréquemment pour le bien de ma santé.
Bien sûr j'aimerais être plus optimiste quant à l'issue, sur le long terme, de la fabrication de cerveaux, mais sous quelque angle que je retourne le problème et quel que soit le scénario, parmi les nombreux possibles, auquel j'essaie de penser, je finis toujours avec quelque chose de vraiment terrible.
Bien sûr, il n'est pas difficile d'échafauder un scénario positif, dans lequel les machines et les êtres humains vivent en harmonie (scénario favori des femmes avec lesquelles je parle de cela), mais je trouve ces scénarios irréalistes. J'espère que les événements prouveront que j'ai tort, mais mon instinct me dit que le monde est bon pour un XXIème siècle des plus perturbés sur le plan de la politique générale.
Si tel est le cas, c'est vraiment dommage, parce que notre planète entre en ce moment dans une période de grande paix, dans laquelle les télécommunications rétrécissent à ce point la planète que l'idée d'un langage global et d'un gouvernement global semble assez réaliste pour les quelques décennies à venir.
Pour chaque citoyen global ayant sa montre émetteur/récepteur (sans distorsion), grâce aux intersatellites de communication, les programmes télé tombant du ciel par centaines depuis les satellites à orbite stationnaire, à 90% en anglais, vont provoquer un effet boule de neige sur tous ceux qui pourront parler et comprendre le langage mondial. Les idées vont alors se répandre rapidement, provoquant une homogénéisation culturelle et, partant, une compréhension bien supérieure entre les gens, jusqu’à ce qu’ils deviennent essentiellement un seul immense peuple planétaire.
Tel est l'avenir que je vois pour l'humanité dans les prochaines décennies, et je m'en réjouis.
Une fois que les superpuissances se seront entendues, c'est-à-dire une fois que la Chine aura eu sa révolution démocratique et que la Russie sera bien engagé dans la voie vers la démocratie prospère, elles pourront imposer un gouvernement mondial sur les pays mineurs, les obligeant à obéir aux décisions du gouvernement mondial et à la cours de justice mondiale lorsque des conflits de politique internationale éclateront. Les milliers de milliards de dollars gaspillés en armes aujourd'hui pourront alors être utilisés pour augmenter le niveau de vie de chacun, même des africains.
La question ayant le plus divisé l'humanité aux XIXe et XXe siècles a été : "Qui doit posséder les usines, c’est-à-dire les machines ?"
Certains pensaient que les machines devaient être entre des mains privées, et d'autres pensaient qu'elles devaient appartenir à tout le monde, c'est-à-dire à l'État. Au début de la révolution industrielle, l'exploitation économique faisait rage, et les propriétaires d'usines sont devenus riches en payant aux ouvriers des salaires de subsistance.
Lorsque ces ouvriers sont devenus conscients que les propriétaires s'enrichissaient par leur travail à eux, ils sont devenus amers et en colère. Lorsque quelqu'un sent qu'il est exploité et qu'une injustice est commise envers lui, il devient enragé jusqu'à tuer...
Comme on le sait bien, les courants intellectuels en Europe au XIXe siècle ont commencé à se concentrer sur les solutions aux effets pervers du capitalisme du début du XIXe siècle.
Les socialistes voulurent collectiviser les usines et en partager les biens : les bénéfices réalisés à partir de la vente des produits fabriqués par les machines reviendraient à l'état, qui en retour paierait à chacun un salaire en rapport avec sa valeur pour la société. Pour beaucoup de gens, l'idée marxiste était très séduisante, et au XXe siècle, de nombreux gouvernements se sont constitués à partir de ces idéaux.
Entre temps, les travailleurs des premiers pays industrialisés ont imposé des réformes politiques telles que le suffrage universel (pour les hommes), le droit de former des syndicats, des partis politiques défendant les travailleurs, un système de taxation progressive, etc., qui vinrent largement à bout du côté inhumain du capitalisme.
Après bientôt un siècle d'expérience communiste, il est maintenant clair que ça ne marche pas. Les régimes communistes ont disparu de la surface du globe. Il est clair que les possibilités offertes à des individualistes entreprenants et financièrement intéressés génèrent plus de richesses et donc plus de bien-être pour les gens (pour peu que les réformes indiquées aient été mises en place) que les économies abrutissantes planifiées par un comité central et contrôlées par la bureaucratie.
Mais il s'en est vraiment fallu de peu.
Il n'était pas si évident de savoir laquelle des deux alternatives majeures quant à l'organisation économique et sociale allaient l'emporter. Les deux régimes, les deux idéologies se haïssaient tellement qu'à la limite elles étaient prêtes à s'anéantir mutuellement dans un holocauste nucléaire.
Heureusement, les armes atomiques sont si destructrices que les politiciens et les généraux ne se sentaient plus en sécurité "à l'intérieur de leurs frontières", comme pour les guerres traditionnelles, car soit ils se seraient tués eux-mêmes dans l'échange nucléaire, soit ils auraient été massacrés par leurs compatriotes survivants, dans une sorte de " châsse aux sorcières " anti-politiques et anti-généraux.
Dieu merci, il semble que tout cela soit terminé. Nous pouvons dormir plus profondément la nuit, sachant que la "guerre froide" est finie. Mais l’est-elle vraiment ? Je ne fais pas allusion à une reprise du vieux conflit idéologique entre capitalisme et communisme, mais à un nouveau conflit, plus amer encore parce que les enjeux en sont bien supérieurs.
La question "Qui doit posséder le capital ?" est triviale à côté de "Qui ou que doit être l'espèce dominante ?", parce que cette dernière question peut faire intervenir l'idée que l'essor des artilects sera peut-être le signal de l'anéantissement de l'espèce humaine. Qu'y a-t-il de plus important pour les êtres humains que la survie de leur propre espèce ? L'enjeu est potentiellement énorme.
Je crois que l'ère de paix dans laquelle nous vivons aujourd'hui ne durera que quelques décennies, car l'implacable controverse du récent passé, entre capitalistes et communistes, va être remplacée par une nouvelle dichotomie entre les "terrans" et les "cosmistes".
2. Le cosmisme
Je vois l'humanité du XXIe siècle se séparer en deux groupes politiques majeurs, ceux (probablement la majorité) qui auront le sentiment que les êtres humains doivent rester l'espèce dominante (les "terrans"), et ceux qui penseront qu'il faut donner la chance aux machines de devenir la prochaine forme d'espèce dominante, transcendant les limitations des êtres humains (les "cosmistes").La première motivation des terrans, je pense que ce sera la peur - la peur d'être exterminés par une espèce largement supérieure, et la peur de l'inconnu et de l'inconnaissable. La motivation première des cosmistes, il me semble que ce sera l'émerveillement.
Personnellement, je partage les vues de chacun des deux groupes, mais au bout du compte, serais-je terrans ou cosmiste ? Pas facile à dire ! Essayons d'approfondir ces deux points de vue principaux. Je commence par les cosmistes car ce sont eux qui introduiront quelque chose de nouveau dans la politique générale, à savoir l'idée qu'on devrait permettre aux machines de devenir des artilects.
Le terrestrisme sera une réaction au cosmisme. Pour l'heure il n'y a pas de débat, car l'état de la technologie ne permet pas de produire des artilects; mais la nano-technologie, et plus spécialement la nano-électronique, va rendre une telle chose possible.
C'est pourquoi ce chapitre est approprié dans ce livre sur la nano-tech (Drexler 1992). Le cosmisme est une idéologie du XXIe siècle parce qu'elle nécessite la technologie du XXIe siècle. L'initiative reposera dans les mains des cosmistes. Mais à quoi les cosmistes croient-ils donc ? (En d'autres termes, que va proposer, selon moi, le groupe à venir de gens favorables à la production d'artilects, d'un point de vue politique ?)
Pour répondre à cette question, je vais essayer de faire appel à votre intuition, à vos instincts émotionnels. À quand remonte la dernière fois où vous êtes allés à l'étranger, loin des lumières des villes, par une nuit sans Lune, dormant à la belle étoile ? Peut-être à jamais, mais si cela vous est déjà arrivé, fixant la Voie Lactée, n'avez-vous pas été submergé par l'insignifiance de l'existence humaine ?
Vous avez peut-être été tourmenté par les points majeurs de votre vie, "Sue se mariera-t-elle avec moi ?", "Obtiendrai-je celle promotion ?", "Ma tumeur est-elle cancéreuse ?", etc., etc. Réponse ? "Peu importe !" Il y a un million de milliards de milliards d'étoiles, la plupart d'entre elles (au moins les étoiles de seconde génération) ont probablement des systèmes planétaires, et certaines sont des milliards d'années plus anciennes que notre système solaire. Il y a donc probablement là-bas des millions et des millions de civilisations.
Qui s'inquiète que vous puissiez mourir l'année prochaine ou que vous deviez vendre votre maison parce que vous ne pouvez plus payer votre hypothèque après votre licenciement, et que votre femme vous ait quitté en prenant les enfants, et que vous ayez perdu tous vos amis parce que vous picolez, et que vous ayez un problème de cœur à force de trop manger et d’avoir beaucoup trop fumé toutes ces dernières années.
Qui s'en inquiète ? Votre petite vie est insignifiante comparée à ce que vous voyez en regardant les étoiles. Il y a de plus grandes choses, plus hautes, des questions d'intérêt cosmique. Des grandes questions du type : "Pourquoi y a-t-il de la matière ?", "Quel est le but de l'existence, si toutefois il y en a un ?" Les cosmistes s'intéressent à ces questions cosmiques.
Le cosmisme est une "religion de scientifiques", c’est-à-dire une religion dans le sens où les religions traditionnelles stimulent et dirigent les vies de groupes de gens. Dans le cas du cosmisme, des milliards de gens seront impliqués, parce qu'il y va de la destinée de l'espèce humaine. Les religions traditionnelles et les sectes modernes ne sont pas scientifiques.
Certaines prétendent l'être, mais la plupart ne sont que des dogmes superstitieux, basés sur des idées que la connaissance scientifique regarde avec mépris. Peu de peuples ayant l'esprit critique et une éducation scientifique sont religieux. Mais le cosmisme est essentiellement une vision ou une entreprise scientifique.
Mais sa nature est très "high-tech". Ses croyances sont pratiquement compatibles avec les dernières connaissances scientifiques, et pour cette raison, elles ne sont pas facilement réfutées par les scientifiques cyniques qui traitent avec dérision (dans les cultures occidentales) des superstitions vieilles de deux mille ans telles l'idée de la vie après la mort, la résurrection, l'enfantement par des vierges ou autres.
L'impulsion religieuse est probablement présente en chacun de nous. C'est une des quelques constantes culturelles universelles, comme le tabou de l'inceste.
Pratiquement toutes les cultures (quelques 5000 à 10000 sur la planète) ont inventé leurs propres Dieux.
Pour ma part, j'aimerais bien croire en quelque chose qui me donne une direction, ou même un certain sens de l'émerveillement ou de l'exaltation, mais qui soit également compatible avec ma connaissance scientifique et mon cynique esprit critique. Le cosmisme serait un sérieux candidat pour une telle " religion " ou idéologie.
Peut-être que le mot "religion" est mieux adapté que le mot idéologie, parce que si on se demande quelle différence il y a entre les deux (elles ont en effet de nombreuses caractéristiques communes), la réponse qui vient évidemment tout de suite à l’esprit est qu'une religion implique généralement la croyance en une sorte de super être ayant des pouvoirs supérieurs à ceux des êtres humains, qui peuvent souvent l'influencer pour leurs propres avantages.
Les cosmistes pourraient penser que les artilects seraient les nouveaux dieux, sans doute plus capable que les êtres humains de répondre aux grandes questions, et d'explorer et comprendre le cosmos éminemment mystérieux. D'où le mot "cosmisme". Les horizons des cosmistes sont cosmiques. Les horizons des terrans sont largement terrestres et centrés sur l'humain.
A moyen terme, c’est-à-dire d'ici à plusieurs décennies, le développement des cerveaux artificiels sera probablement très profitable, et c'est pourquoi il se poursuivra avec vigueur. Je peux donc me sentir non coupable pour un moment.
J'ai une amie japonaise à qui je dis pour plaisanter, "Si je réussis à fabriquer des cerveaux et si plus tard une guerre Cosmistes-Terrans éclate, des gens te diront que tu aurais dû me tuer quand j'étais plus jeune". "Tu veux dire maintenant ?", plaisante-t-elle en retour. Je ne pense pas que le débat sur les artilects débutera avant que les machines ne commencent vraiment à montrer des signes d'aptitudes comparables à un cerveau et un vaste répertoire de comportements.
Un de mes buts personnels, par exemple, est de voir un projet de recherche et de développement du type "objectif Lune pour la NASA" pris en charge par le gouvernement japonais et destiné à la construction de cerveaux artificiels, utilisant les qualifications de milliers de gens. Je n'ai certainement pas l'intention de diriger une pareille entreprise, mais j'aimerais vraiment voir un tel projet émerger. Je crois que ça vient.
Construire un cerveau artificiel vraiment compétent sera une entreprise énorme. Les répercussions aussi seront colossales. L'industrie pourra en prendre les résultats et les incorporer à de nombreux produits "intelligents".
Des chercheurs tels que moi auront exposé le pour et le contre du cosmisme pendant des années et auront probablement été largement ignorés, en raison de son apparence de science fiction.
Mais une fois que des millions de gens, année après année, auront vu de leurs propres yeux l'augmentation de l'intelligence de leurs machines, ils commenceront à réfléchir et, à terme, un grand débat s'installera. Entre temps, les machines continueront à devenir de plus en plus intelligentes. Tôt ou tard, une sorte d'incident tirera l'humanité de son sommeil.
Par exemple les robots ménagers pourraient commencer à répondre à leurs propriétaires, ou les effrayer avec leurs processus de pensée des millions de fois plus rapides. Lorsqu'ils seront confrontés "chair contre métal" à un corps étranger émergeant d'une compagnie industrielle qui ne cesse d'améliorer ces produits chaque année, il faut s'attendre à ce que des millions de gens soient forcés de considérer la "question des artilects".
Ce n'est qu'une question de temps. Sans doute les premières versions d'artilects, c’est-à-dire ayant une intelligence quasi humaine, vont-ils commencer à prendre des décisions avec lesquelles les êtres humains ne seront pas d'accords ou qu'ils ne comprendront pas.
Les artilects pourraient tenter d'expliquer mais ne pas être compris. S'ils sont vraiment intelligents, ils parviendront à éviter les objections des hommes. Le problème de maintenir à tout moment les artilects comme des esclaves dociles et obéissants est un problème clé.
Les "trois lois de la robotique" d’Asimov sont ici pertinentes en tant que tentatives de formuler des règles concernant les caractéristiques des futurs artilects.
Cependant, je doute qu'une intelligence artilectuelle et une obéissance totale soient compatibles, auquel cas les idées d'Asimov sont sans valeur pour les artilects avancés.
Dans l'appendice, je présenterai mon travail sur la fabrication de cerveaux, montrant comment il est possible de construire des cerveaux artificiels (sous une forme élémentaire pour l'instant, avec à peu près 100 000 neurones) sans comprendre comment ils fonctionnent. Ils sont trop complexes, mais il est néanmoins possible de les construire sur un mode darwinien, en utilisant une méthodologie que j'appelle "ingénierie évolutionnaire". Construire un cerveau artificiel avec un milliard de neurones (mon rêve pour le XXIe siècle) ne sera pas possible avec les techniques d'ingénierie traditionnelle.
D'ordinaire les ingénieurs dessinent un plan pour construire quelque chose, impliquant qu'ils comprennent comment cette chose fonctionne, et ensuite ils la fabriquent. Cependant, avec l'ingénierie évolutionnaire — un concept que j'ai aidé à introduire — il est possible de construire avec succès quelque chose dont on ne comprend pas complètement le fonctionnement. On utilise simplement une forme de jeu d'instructions linéaires pour spécifier (à un bas niveau) comment il faut construire un système ou comment il devrait fonctionner.
On emploie une série de telles instructions linéaires, chacune un peu différente des autres. Celles qui par hasard produisent un système qui fonctionne bien selon un certain critère humain, survivent et ont plus de descendants dans la génération suivante.
En faisant des changement aveugles et aléatoires dans les instructions, il est possible de générer des systèmes supérieurs par le hasard. Ces chaînes d'instructions supérieures commencent alors à dominer la population, jusqu'à la prochaine mutation favorable, etc...
La nature a employé cette technique de mutation et sélection pendant des milliards d'années et nous a produit, nous, comme résultat, et probablement des millions et des millions d'autres intelligences extra-terrestres à travers le cosmos.
L'ingénierie évolutionnaire est probablement le seul moyen efficace dont disposeront les scientifiques et les ingénieurs pour construire des cerveaux artificiels. Leur complexité, avec leur nombre énorme de neurones et de circuits, sera monstrueuse, et s’étendra au delà de la compréhension humaine. Cependant, je développe couramment des modules de circuits neuronaux avec leurs interconnexions, qui réalisent ce que je veux. Je ne comprend pas comment elles fonctionnent, mais elles le font.
Je peux imaginer, dans quelques décennies, une armée d'ingénieurs "développeurs de cerveaux", avec une armée de Machines de Darwin, qui construiront des cerveaux artificiels avec des milliers, sinon des millions de modules neuronaux, sans rien comprendre de leur fonctionnement.
C'est cette ignorance fondamentale de la structure et du fonctionnement des artilects issus de l'ingénierie évolutionnaire qui constituera la base des objections intellectuelles des terrans.
Les terrans diront que les artilects sont fondamentalement non compréhensibles, et que donc leur comportement est imprévisible. Ils sont tout simplement trop complexes. À mesure que leur intelligence augmentera, leurs actions deviendront de plus en plus menaçantes, parce que leurs plus gros intellects leur permettront de faire aux êtres humains plus de choses menaçantes.
Les êtres humains ne pourront jamais être sûrs de l'attitude que les artilects adopteront envers eux. En tant qu'humains, nous tuons couramment des animaux pour la nourriture, le sport, ou juste comme ça. Nous ne pourrons jamais être certains que les artilects ne traiteront pas les êtres humains de la même manière.
Ainsi, pour que nous soyons en sécurité, il est bien possible qu'une législation générale soit vraiment adoptée, interdisant le développement des artilects au delà d'un certain niveau d'intelligence.
Cette législation résultera probablement de la montée des protestations du public à propos de la menace grandissante provoquée par la nature toujours plus artilectuelle des machines et la puissance croissante que celles-ci exerceront sur les êtres humains.
La création elle-même de cette législation sera le résultat d'un énorme débat. La minorité cosmiste ne sera probablement pas d'accord et il se peut qu'elle devienne clandestine. Pour les cosmistes, il sera extrêmement frustrant d'arrêter le développement des artilects.
La curiosité naturelle du scientifique sera stoppée par un tel interdit, et ce sera l'anathème pour ceux des scientifiques qui seront des cosmistes.
L'interdiction du développement artilectuel séparera vraiment la chèvre et le chou, c'est-à-dire les terrans et les cosmistes. Les cosmistes les plus fervents seront les plus frustrés et commenceront probablement à organiser leurs propres institutions politiques.
Dans une organisation globale (à l’échelle planétaire, NDT), il n'y aura probablement plus de corrélation entre la géographie et l'idéologie. Dans une culture globale, les points de vue idéologiques seront sans doute plus basés sur des différences de personnalité que sur des différences culturelles.
Dans une culture globale et homogénéisée, de telles différences seront minimales.
Alors comment les cosmistes vont-ils réagir à une interdiction générale de leurs activités futures ? Une idée est de former leur propre État, un peu comme les juifs en Israël et les Mormons en Utah.
Les cosmistes pourraient acheter de grandes zones de terrains dans des endroits peu chers de la planète, et sélectionner comme citoyens ceux qui veulent construire des artilects. Ceux des cosmistes qui auraient de sérieux remords et qui ne s'en cacheraient pas pourraient être exclus de la colonie, et pourraient retourner vers la majorité terrans.
Mais les terrans permettront-ils seulement à une telle colonie cosmiste de s'établir sur Terre ? On peut imaginer leurs arguments : "Qu'adviendra-t-il si les cosmistes réussissent dans leurs expériences artilectuelles ?"
Les artilects seraient alors sur Terre, constituant une menace non seulement pour les cosmistes, mais plus encore pour les terrans. Ceci serait trop dangereux pour les terréens pour être toléré, et les colonies cosmistes seraient alors interdites pour menace d'anéantissement total.
À la limite, si l'existence de micro-colonies cosmistes secrètes était découverte, elles seraient exterminées par voies militaires (i.e. "atomisées"). Les cosmistes ne seraient pas même arrêtés ou jugés. On peut assez bien imaginer que la peur des terrans devant un éventuel succès des cosmistes serait si grande, et la menace pour l'humanité si importante, qu'une justification de la vaporisation des colonies cosmistes secrètes serait facilement trouvée.
Devant une telle opposition terrans, les cosmistes, poussés par une ferveur religieuse pour promouvoir le "grand dessein" - les "questions cosmiques", dédaigneront les terrans et feront tout ce qu'ils peuvent pour obtenir la liberté de développer leurs artilects. Une autre possibilité est qu'à l'aide de la technologie du XXIe siècle, il soit possible de lancer de nombreux cosmistes hors de la Terre, pour qu'ils puissent fabriquer leurs artilects ailleurs.
Mais il se peut que la Terre soit considérée par les artilects comme un endroit très précieux, et qu'ils souhaitent y revenir. L'hostilité des terrans pour les artilects ferait des êtres humains une menace pour ces derniers. Qui sait ce que les artilects pourraient faire à une race aussi inférieure que celle des terrans.
L'éventualité d'un tel retour des artilects motiverait à l'avance l'interdiction par les terrans de tout exode extra-planétaire cosmiste. C'est encore trop dangereux. Ainsi le rêve des cosmistes de s'évader dans les profondeurs de l'espace, de voyager vers d'autres étoiles pour bâtir leurs colonies cosmistes serait stoppé. La frustration des cosmistes ne peut que croître.
A terme, il est probable qu'ils réalisent que le seul moyen qu'ils aient pour faire ce qu'il désirent, c'est d'employer la force des armes militaires.
Je peux imaginer les stratèges cosmistes préparer la création de lointaines colonies cosmistes, si loin de la Terre que la plupart des terriens ne seraient pas tellement inquiétés par la menace d'un succès artilectuel des cosmistes.
Les cosmistes pourraient suivre une sorte de stratégie d'évasion, d'abord à petite échelle, allant de plus en plus loin de la Terre, à chaque fois qu'il y aurait une menace de la part des terrans. À terme, les cosmistes peuvent être en mesure de s'établir avec suffisamment de force pour être capables de se défendre par eux-mêmes contre une attaque terrans.
Le scénario que je dépeins est celui d'une vigilance continuelle de la part des terrans, et d'un désir similaire de la part des cosmistes de développer des artilects. Je vois une guerre continue entre ces deux groupes, à présent séparés géographiquement, mais cette fois non pas sur une échelle planétaire, mais sur l'échelle interstellaire du XXIe siècle.
Le cosmos est immense, de sorte qu'il devrait y avoir suffisamment d'espace pour que terrans et cosmistes existent presque indépendamment les uns des autres. Le gros problème est d'atteindre un tel état. Les terrans pourraient toujours prétendre que si les artilects existent, leur intelligence supérieure leur permettrait de rejoindre la Terre s'ils le souhaitaient, quelle que soit la distance à laquelle ils se trouvent. S'ils avaient pu aller si loin, ils pourraient revenir sur Terre, ce remarquable bien foncier.
Mais revenons à la question de savoir si je suis un cosmiste ou un terréen. Et bien, je pense que je suis un cosmiste, avec suffisamment de terrans en moi pour ne pas vouloir être écrasé comme un moustique par un artilect, mais néanmoins je veux voir construits des artilects, de préférence loin de la Terre.
Je pense qu'il serait tragique à l'échelle cosmique si l'évolution de la nature, qui est allée des particules élémentaires jusqu'à des créatures intelligentes comme nous-mêmes, devait s'arrêter au niveau humain, étant donnée la supériorité tellement énorme du potentiel de l'ordinateur.
Cette opinion qui est la mienne, je peux imaginer qu'elle soit partagée par de nombreuses personnes, de sorte qu'il n'y aura pas pénurie de sympathisants cosmistes. Cependant les politiciens et les stratèges terrans durs ne permettront pas à de pareilles sympathies de prendre forme concrètement. C'est trop dangereux.
C'est pourquoi je ne vois pas de voies pacifiques pour sortir de ce terrible dilemme. C'est ainsi que la guerre du XXIe siècle se déclenchera, selon moi. Elle sera nucléaire par sa forme, et totale, au sens où les terrans voudront éliminer complètement les cosmistes.
D'un autre côté, il se peut que les cosmistes aient quelque sympathie pour l'opinion des terrans, car ils sont humains eux aussi, mais la différence est qu'ils sont prêts à courir le risque de la menace des artilects, parce qu'ils voient la "montée des artilects" comme leur première raison d'être (en français dans le texte, NDT).
3. Discussion
Bien sûr je ne peux pas prédire le futur, et mon avis est inévitablement très personnel. Dans ce paragraphe, je tenterai d'anticiper les objections aux opinions présentées ci-dessus.Tout d'abord, pourquoi devrait-il vraiment y avoir une menace de la part des artilects ? Ne serait-il pas possible de fabriquer des artilects qui seraient merveilleusement utiles pour les êtres humains, mais qui seraient sûrs et s'assiéraient tranquillement dans un coin, totalement inoffensifs ? Bien sûr qu'il serait possible de construire de telles machines, et peut-être seraient-elles hautement intelligentes.
Mais on se demande si l'intelligence artificiel peut-être placée dans une boîte stationnaire. Le mouvement n'est-il pas nécessaire pour interagir avec le monde ? Sinon, comment est-il possible d'apprendre des choses sur l'environnement.
On peut imaginer un ordinateur restant dans un coin et ayant des yeux, mais comment pourrait-il vérifier ses hypothèses visuelles sur le monde s'il ne peut pas toucher ce qu'il voit ?
Je soupçonne fortement que la notion de mouvement soit essentielle pour générer l'intelligence. Selon cette opinion, des robots mobiles seront le véhicule de l'intelligence artificielle. Mais des robots mobiles sont potentiellement dangereux.
Grâce à leur mobilité, ils pourraient tuer des gens s'ils le décidaient. Un ordinateur stationnaire, sans membres pour manipuler son monde, est inoffensif. À moins qu'il ne puisse se mouvoir indirectement, en persuadant des êtres humains de faire des choses pour lui. Le développement de l'intelligence pré-humaine dans les artilects se fera presque certainement dans des robots mobiles.
Une coexistence pacifique entre les artilects et les humains n'est-elle pas possible ? Regardez les humains et les arbres. Chacun a son propre créneau, et ça fait des millions d'années qu'ils vivent ensemble. Les artilects et les humains ne pourraient-ils pas vivre ensemble pacifiquement, simplement en s'ignorant les uns les autres ? Les humains ne comprendront pas comment les artilects occupent leur temps.
Les artilects trouveront probablement les humains totalement inintéressants, étant donné qu'ils sont si lents à penser, à savoir un million de fois plus lents, et qu’ils ont une capacité de mémoire lourdement inférieure.
Ce scénario est possible, je pense, mais sa grande faiblesse est son incertitude. Les êtres humains n'auraient aucun moyen de savoir ce que les artilects pensent d'eux. Les artilects ne sont pas humains. Du point de vue des êtres humains, les artilects sont absolument étrangers, et dès lors capables de générer toutes les réactions de peur que l'évolution a fabriquées et introduites en nous pendant des millions d'années.
L'inconnu a souvent été une menace de mort, et était évité ou tué, comme les tigres ou les serpents, etc. Puisque nous ne savons pas comment les artilects seront, nous devons être prudents. Les politiciens ont un dicton, "espérons le meilleur, préparons-nous au pire".
Le pire dans les scénarios avec artilects, c'est l'anéantissement de l'espèce humaine par une espèce supérieure d'artilects. En anticipant sur cette éventualité, et étant donné l'ultime importance des enjeux, l'option consistant à autoriser la construction d'artilects (du point de vue des terrans) ne doit pas être tolérée.
Est-il possible que la production d'artilects soit inévitable, et qu'on ne puisse pas l'arrêter du tout ?
Comme je l'ai dit plus haut, je pense que la fabrication d'artilects finira par être une des toutes premières industries mondiales...
D'énormes investissements de capitaux seront consacrés à la création des premiers artilects, avant qu'ils ne deviennent une menace potentielle. Les problèmes arriveront une fois que les artilects commenceront à approcher des niveaux d'intelligence humains.
Quand les vies de millions de personnes seront économiquement tributaires de la création et de l'utilisation des artilects de bas niveau, comment sera-t-il possible d'arrêter la machine ? On peut imaginer : "Oh, juste cette petite nouveauté supplémentaire sur les artilects de la compagnie !" Ce sera difficile de vaincre ce genre d'incrémentalisme.
En pratique, il y a des chances que la fabrication de cerveaux procède rapidement, jusqu'à ce que les niveaux d'intelligence humains soient atteints ou approchés. Si aucun événement vraiment négatif ne se produit jusqu'à ce point, alors le développement des artilects sera probablement ininterrompu.
Que se passera-t-il lorsque les artilects atteindront le niveau humain ? On peut imaginer certains responsables réclamer l'intelligence artilectuelle super humaine, pour différentes raisons, par exemple : " Oh nous avons besoin d'un ordinateur superintelligent pour contrôler la politique économique à notre place.
L'économie est si complexe qu'aucun économiste humain ne peut la suivre, mais un ordinateur superintelligent en serait capable. Voilà pourquoi nous devrions en avoir un. Les physiciens pourraient argumenter que leurs théories sont trop complexes pour être facilement comprises. Peut-être qu'un artilect pourrait se représenter comment le monde fonctionne et l'expliquer aux physiciens humains.
Peut-être l'argument le plus fort en faveur de la construction d'artilects sera-t-il la pure fascination de ce que nous soyons capables d'une telle chose. Il y a donc une réelle possibilité que des artilects d'intelligence supérieur à celle des humains soient construits, jusqu'à ce que quelque expérience négative se produise, ou qu'une sorte de menace soit ressentie.
Il est également possible, à ce niveau, que la dépendance des humains envers ces artilects soit si grande qu'il leur soit pratiquement impossible d'arrêter de s'en servir. C'est pour cela que je soupçonne qu'une certaine crise impliquant les artilects se produira à l’occasion de leur rejet massif par une majorité des êtres humains.
Les deux scénarios ci-dessus, que j'appelle respectivement le scénario de "coexistence" et le scénario "progressif", peuvent être accompagnés d'un scénario "explosif". J'ignore complètement si nous aurons de vrais artilects de mon vivant (sans doute encore 40 ans). Nous avons donc encore tout le temps de nous laisser imprégner par le "débat sur les artilects".
Mais le danger arrivera au dernier moment, lorsqu'une certaine percée scientifique sera réalisée, et que soudainement les artilects seront là. Il est possible que le monde soit pris de cours par quelque développement quelque part dans un laboratoire de recherche, dépassant soudainement un certain seuil, et qu'à partir de ce moment-là, les êtres humains doivent partager la planète avec une espèce supérieure.
4. Conclusion
Bien évidemment je n'ai pas toutes les réponses, ni même toutes les questions concernant le "débat sur les artilects", ou le débat sur "l'espèce dominante", etc...
J'espère que ce chapitre vous aura fait réfléchir sur les conséquences d'un authentique succès artilectuel. Le potentiel d'un ordinateur pour générer de l'intelligence est massivement supérieur à celui de notre propre et piteux système nerveux. C'est pourquoi ce n'est qu'une question de temps avant que le débat sur les artilects ne s'ouvre.
Espérons que les idées présentes dans cet essai vous auront donné matière à pensée. Espérons qu'il servira de catalyseur à un bien plus ample débat. Les positions à la fois terréennes et cosmistes sont puissantes et seront défendues avec passion. Malheureusement c'est un jeu à somme nulle.
J'espère que je me trompe à propos de tout ceci, mais mon instinct me dit : "non, il y aura un vrai conflit". La question des artilects comporte toutes les conditions nécessaires pour alimenter une guerre idéologique générale, et même une guerre interstellaire.
