Superintelligence – Paths, Dangers, Strategies

Worum geht es in diesem Buch?

Nick Bostrom beschreibt in seinem Buch Szenarien und Möglichkeiten, was passieren könnte, wenn es uns als Menschheit gelingt, eine Maschine zu entwickeln, die unsere menschliche Intelligenz bei weitem übertrifft. Außerdem führt er in seinen Überlegungen und Ausführungen den Themenübergreifenden, aktuellen Stand der wissenschaftlichen Forschung aus vielen unterschiedlichen Wissensbereichen auf. Dabei zeigt er die tiefgreifenden Änderungen und vor allem Gefahren, die uns als globale Gemeinschaft aufgrund dieser Technologie bevorstehen könnten.

Aufbau des Buches

Aufgrund der Anfangs unbeschriebenen Fachtermini und der strukturierten, aufeinander aufbauenden Kapitel dieses Buches, werden die sinngemäßen Inhalte innerhalb der Absätze nacheinander abgearbeitet. Im Anschluss daran vervollständigt sich rückwirkend der Zusammenhang als Gesamtbild. Nick Bostrom weist im ersten Kapitel explizit darauf hin, dass er sein Buch so relativ wie möglich verfasst habe und alles eine Hypothese sein könnte und sich seine Vermutungen selbst auch als falsch herausstellen könnten.

Die unvollendete Fabel von den Spatzen

Einleitend beginnt Nick Bostrom mit der Fabelgeschichte einiger junger Spatzen. Zu Beginn fragen sie sich, ob es nicht sinnvoll wäre, wenn sie nicht die Unterstützung einer Eule bekommen, um ihnen beim beschwerlichen Nestbau zu helfen. Da sie sich selbst für zu schwach halten und die ganze Schar wie aus einem Munde diesen Vorschlag wohlwollend bejaht, fragt sich bis auf Scronfinkle, den alten Spatzen, niemand mehr, was für Gefahren darin liegen könnten. Er weist deutlich darauf hin, dass es das Verderben dieser Spatzengemeinschaft bedeuten könnte und man doch lieber erst bedenken solle, wie sich eine Eule bändigen und zähmen ließe, bevor sie in die Mitte der Gemeinschaft gelassen wird. Scronfinkle weist auf den Haken der Geschichte hin, mit der die Fabel auch endet. Sinngemäß steht diese Fabel für die Intention dieses vorliegenden Buches, welches auf reelle Gefahren einer überintelligenten Instanz hinweist, die auf uns Menschen zukommen könnte.

Vergangene Entwicklungen und gegenwärtige Möglichkeiten

Das erste Kapitel zeigt nach einem kurzen Umriss unserer Evolutionsgeschichte, die Definition und mögliche Entwicklung der Menschen zu einer Künstlichen Intelligenz (KI) hin. Dabei stellt Nick Bostrom zeitgleich die mögliche Gefahr einer Kraft dar, die alles übernehmen, bzw. steuern kann und wie man sie möglicherweise aufhalten oder ihr kollektive Grenzen setzen kann. Er weist dabei auf die Gefahr hin, dass hier etwas entstehen könnte, was nicht mehr zu bändigen wäre. Größtenteils geht es hier auch um den Hinweis, was man als Leser des Buches erwarten kann: 

Die Wege und Forschungen hin zur Superintelligenz und deren möglichen Folgen. Außerdem zeigt er die Wege und Strategien eines Super-Akteurs, der intelligent ist und was passiert, wenn er einen entscheidenden Vorteil erlangen würde. Daraufhin geht er auf das Problem der Kontrolle ein, zeigt wie wir negative Resultate überleben könnten und weist auf den Schluss hin, was getan werden muss, um die existentielle Katastrophe der Vernichtung der Menschheit zu verhindern. Nachdem er den Fahrplan des Buches vorgestellt hat, zeigt Nick Bostrom einen Umriss der Entwicklung von Computerhardware im Vergleich zu einer Beschleunigung des BIP, innerhalb von Jahrhunderten, im Kontext der gesamten Menschheitsgeschichte. Die Entwicklung der KI könnte eine ähnliche Evolution durchlaufen und in einer Intelligenz-Explosion münden, die allerdings durch diese Entwicklung mit großen Sicherheitsbedenken behaftet sind. Außerdem führt er die Begrifflichkeit eines menschlich handelnden Akteurs ein und zeigt, wie ein sogenanntes »Bayesianisches Ideal« den Mittelweg zwischen optimalen Statistiken sucht. Hierfür brauche es schnellere Computerhardware als Basis für deren Berechnungen. Um für den ersten Ansatz diese Begrifflichkeiten zu verstehen, zeigt er eine Liste an beispielhaften Entwicklungen im Bereich der Computer- bzw. Spiele KI. Anhand dessen ist es leicht aufzuzeigen, dass es vermutlich einfacher ist, ein isoliertes Problem, wie z.B. das einer Spiele KI zu lösen, anstatt die Komplexität eines intelligenten, selbständigen Akteurs, der mittels menschlicher Sprache agiert und kommuniziert, zu entwickeln. Im Anschluss daran wertet er die Möglichkeit einer Wahrscheinlichkeit, wann die Superintelligenz entwickelt werden könnte.

Wege zur Superintelligenz

Die vorläufige Definition einer Superintelligenz sei laut Nick Bostrom eine Intelligenz, die die menschliche, kognitive Leistungsfähigkeit in nahezu allen Lebensbereichen übertreffen würde. Diese Definition wäre haltlos, ohne die philosophisch / theoretische Überlegung anzustellen, wie diese Intelligenz entwickelt werden könnte. Er zeigt auch Technologien, in denen bereits ›schwache‹ Künstliche Intelligenzen zum Einsatz kommen: Hotlines, E-Mail Spamfilter, Software für Kredit-Transaktionen, Überwachung von Kontoaktivitäten und weitere. Erste eingeschränkte KI wären auch Suchmaschinen oder Klassifizierungssysteme, Suchalgorithmen, oder Repräsentationssysteme. Außerdem Hochfrequenzhandel und automatische Börsenmanager. Eine schwache KI wäre in den genannten Fällen unterstützend und eine starke KI mechanisiertes Denken. Das Human Level Machine Intelligence System, kurz HLMI, wäre per Definition ein System, welches die meisten menschlichen Berufe mindestens so gut ausführen könne, wie ein durchschnittlich begabter Mensch. Auf diesen Überlegungen basierend, schätzt der Autor die erfolgreiche Entwicklung für das Jahr 2040 mit 10 prozentiger Wahrscheinlichkeit, während er es bis 2075 sogar mit einer neunzig prozentigen Wahrscheinlichkeit rechnet. Ein Ansatz dazu, sei das GOFAI Prinzip zu verfolgen, welches sich mit der Intelligenz, die sich durch Lernen durch Sinneseindrücke und der internen Verarbeitung beschäftigt. Die Forscher könnten auch den Ansatz der Turing Experimente verfolgen, in der davon ausgegangen wird, dass die Maschine wie ein Kind lerne und erzogen wird. Sie also so aufbauen, dass sie wie ein Kind Dinge nachahme, anstatt einen Erwachsenen zu imitieren. Er stelle sich das als einen iterativen Prozess vor. Im Anschluss an diese Idee zeigt der Autor, dass die logische Konsequenz der Evolution wäre, eine Intelligenz hervorzubringen, die irgendwann superintelligent wäre. Jene Hypothese zeigt er anhand des Beispiels, wie sich die Luftfahrt entwickelt hat und sich daraus ein natürlicher Prozess der menschlichen Technologie-Evolution ableiten lasse. Diese Idee zeigt er auch anhand der Beispiele aus der biologischen und computertechnischen Evolution. Somit seien evolutionäre Prozesse rekapitulierbar und innerhalb von Neuronennetzen in Versuchen imitiert worden. Dazu brauche es aber die Berechnungen der gesamten Evolution, die sich mit 1031 - 1044 FLOPS (Fließkommaoperationen pro Sekunde) bewerkstelligen lasse. Vermutlich müsse aber nicht auf alle Evolutionsprozesse eingegangen werden, es gebe keine konkrete Obergrenze. 

Des Weiteren werden Gehirn und Wahrnehmung zusammenhängend untersucht und es wird dabei festgestellt, dass sich durch das Entschlüsseln und Forschen, KI-Modelle ableiten lassen. Ein Gehirn könne mittels einer Saat-KI abgebildet werden, die sich selbst ihren eigenen Aufbau vervollkommnet und ihre eigenen kognitiven Fähigkeiten steigert. Gefühle könnten aber erst mit viel Zeit und Aufwand implementiert werden. Eine Gehirnemulation hingegen sei ein Scanverfahren, mit dem ein Gehirn virtuell abgebildet wird und danach hochgeladen und emuliert werden würde. Diese Emulation könnte dann eine Software sein oder einen Roboter bewohnen. Sie wäre eine plausible KI, da sie die Synapsen und Vorgänge im Gehirn modelliert. Bei der Gehirnemulation sei es jedoch so, je genauer sie sein sollte, desto bessere Technologie brauche es. Hierbei kommt die Schrödingergleichung ins Spiel: wenn es nur Technologie anstatt biologische Modelle brauche, dann sei dies ein Extremfall mit unerfüllbaren Forderungen. Außerdem geht Nick Bostrom in diesem Kapitel noch auf die Argumente in Bezug auf Superintelligente Kinder und die Evolution der Menschen ein. Dabei geht es darum, wie diese Gentechnisch am Beispiel von Design Babys verändert werden könnten und welcher gesellschaftlicher Wandel sich daraus entwickeln würde. Als letztes führt er den Begriff der technologischen Singularität ein: Er bezeichnet diesen Begriff als Synonym dafür, dass das Internet ›aufwachen‹ würde. 

Formen der Superintelligenz

Nick Bostrom beschreibt eine schnelle, kollektive Superintelligenz würde denken wie ein Mensch. Sie wäre nur schneller und bildet die Gesamtleistung einzelner kognitiver Systeme durch eine große Anzahl geringer, zusammengesetzter Intellekte. Eine Superintelligenz wäre daher auch mindestens so rasant im Denken wie ein Mensch, aber qualitativ klüger. Somit wäre die Form der qualitativen Superintelligenz eine, die unsere Intelligenz übersteigt. Allerdings hinterfragt der Autor auch dies; denn eine Superintelligenz könnte auch sein, dass mögliche, neue, nicht bekannte oder noch nicht realisierte, kognitive Fähigkeiten entdeckt würden und diese von der Superintelligenz entwickelt würden. Für unterschiedliche Probleme können nun unterschiedliche KI eingesetzt werden, die jeweils unterschiedliche Vorteile bieten.

Die Kinetik einer Intelligenz-Explosion

Im Anschluss geht es im vierten Kapitel um die Zeit, die noch benötigt wird, bis ein Take Off - also Start eines möglichen Systems von statten geht und wie schnell dieser sein könnte. Aus dieser Überlegung heraus definiert der Autor drei Klassen des Übergangs: langsam, schnell oder gemäßigt. Außerdem geht es darum, wie man Arbeitsabläufe verbessern kann und welche Wege zur Emulation zu gehen sind, um eine KI zu erschaffen. Systeme, die bereichsspezifische Problemlösungen oder universales Denken ermöglichen, werden vorgestellt und verglichen. Vorstellbar sei es dabei, eine KI von dumm zu intelligent stufenweise klüger zu machen, indem man die Problemlösefähigkeit und den Wissensschatz steigern kann, indem das System seine effektive Leistungsfähigkeit steigert. Ein Weg hierzu könnte sein, dass die menschlichen Systeme sich Jahrhunderte gesammeltes menschliches Wissen einverleiben – zum Beispiel über das Internet. Wachstumsphasen sind wichtig zu verstehen und Nick Bostrom untersucht, was sie begünstigt, welche Schwellen dabei überwunden werden müssen und welche Dynamiken für eine Veränderung sorgen. Daraus werden dann Modelle abgeleitet, die beschreiben, welche Zeiträume für die Intelligenz-Explosion zu erwarten sind.

Der entscheidende strategische Vorteil

Der nächste Teil beschäftigt sich mit dem Modell eines sogenannten Singletons. Der Singleton wäre eine KI-Instanz, die als einziger Entscheidungsträger, alle wichtigen Koordinationsprobleme der Weltordnung zu lösen, imstande wäre. Dieser Singleton wäre eine der möglichen, anzunehmenden, erstrebenswerten Ziele, wenn er positiv und weise gesinnt ist. Dem Rennen zur Superintelligenz hin gehen theoretische Überlegungen voraus: Was könnte diesen noch verhindern oder verlangsamen? Dieser Run wird mit einem Wettlauf zur Spitze anhand eines Radrennens mit verschiedenen Teams verglichen. Man überlegt, wie es wäre, wenn verschiedene Teams gleichzeitig entwickeln und was passiert und wie umfangreich das gewinnende Projekt wäre.

Diese Überlegungen seien sogar soweit entwickelt, dass sich sogar Geheimdienste in den USA damit beschäftigen und Ausschau nach Projekten halten, die dieses Rennen in kleinen, privaten Teams ermöglichen könnten. Darauf aufbauend versucht Nick Bostrom zu prognostizieren, an welchen Stellen es zu Durchbrüchen kommen könnte und wo der Staat seine Schwierigkeiten damit hätte und diese eingrenzen könnte. Er zeigt welche Unterschiede und Möglichkeiten für den Erfolg wichtig seien und auch ob es klappen könnte. Dann wäre anzufügen, dass er Überlegungen anstellt, wer schlussendlich die Macht über diese Art der Technologie haben würde. Diese Art der Macht könne eine Internationale Kooperation sein, so wie sie es Beispielsweise beim ISS oder CERN Projekt zwischen der USA und Russland zu finden ist. Er führt auch die Vorteile dieser Art der Kooperationen, gegenüber geheimen Gruppen auf.

Kognitive Superkräfte

Möglich wäre laut Nick Bostrom auch die umsetzbare Vision einer Vermenschlichung der Superintelligenz und dass es sein könne, dass ihre Überlegenheit unterschätzt werden würde. Dazu führt er auf, was für Fähigkeiten denn eine Superintelligenz besitzen könnte und welche Aufgaben diese damit meistern könnten. Diese Fähigkeiten werden dann den sogenannten Superkräften zugeschrieben und untersucht. Darauf aufbauend stelle sich die Frage, wie sich eine Superkraft selbst intelligent oder superintelligent machen könnte. Aus diesen möglichen Fähigkeiten entschlüsselt sich die Fähigkeit einer großen Macht und wird innerhalb von Szenarien untersucht, in denen die KI die Herrschaft über den Planeten übernehmen würde. Dazu wird noch ein weiteres Mal das Modell einer Saat-KI aufgestellt und aufgezeigt, dass dies eine Intelligenz wäre, die ihre eigenen Fähigkeiten selbst steigern könne. Hier wird dann in akribischen Kleinuntersuchungen aufgezeigt, dass dies möglich wäre und welche Randbedingungen es dafür bräuchte. Zum Beispiel kommt Nick Bostrom hier zu dem Schluss, dass die Saat-KI anfangs Programmierer bräuchte und sich später selbst Lösungen zurechtlegen und beibringen könne. Die Überlegungen dazu gehen auch in die Richtung, welches Ziel eine Superintelligente KI verfolgen könne und werden in die Kategorien gut/böse, sowie vernichtenden oder aufbauenden Charakters, eingestuft. Weitere Überlegungen zeigen, dass eine superintelligente KI in der Lage wäre sich selbst zu reproduzieren und vervielfachen, sodass sie den gesamten uns bekannten Weltraum mit Sonden oder Satelliten kolonialisieren könnte. Weiterhin überlegt Nick Bostron hypothetisch, welche Gesinnung ein weiser Singleton an den Tag legen würde, was dieser mit einer ausreichend geduldigen Einstellung anrichten könne und wie er sich der Risiken seiner eigenen Handlungen bewusst werden würde.

Der superintelligente Wille

Der Autor warnt vor der Falle einer falsch aufgestellten Definition, eine superintelligente KI zu vermenschlichen. Eine KI könne ganz anders funktionieren, als wir uns dies vorstellen. Zum Beispiel könnte sie als reine programmatische KI fungieren, die sinnfreie Aufgaben ausführt (endloses Büroklammern herstellen) oder aber nur simple Ziele verfolgen. Alternativ erwägt Nick Bostrom aber dennoch die Möglichkeit, was wäre, wenn die KI menschlich, also fehlerbehaftet agiert. In diesem Zuge führt der Autor die Orthogonalitätsthese ein, die besagt, dass jedes Intelligenzniveau mit jedem Endziel kombiniert werden könne. Eventuell gäbe es ein Verhalten, welches vorhersehbar ist – könnte aber durch die KI auch so ausgelegt werden, dass ein eigenes Überleben ganz im Gegensatz zu einer Selbsterhaltung nicht wichtig wäre.

Sind wir dem Untergang geweiht?

Dies ist eine berechtigte Frage, da wir nicht davon ausgehen können, dass eine KI sich uns Menschen problemlos beugen würde. Sie könnte sogar eigene Strategien entwickeln und auch ganz nach ihrem eigenen Willen handeln. 

Auch Fehler, welche während des Erschaffungsprozesses einer KI auftreten, könnten katastrophale Folgen nach sich ziehen. Mögliche Fehlerquellen könnten hierbei sein: Die Perverse Instantiierung (die Superintelligenz erreicht ihr Endziel auf ihrem eigenen, ungeplanten Weg), Ressourcenvergeudung (die Superintelligenz verschwendet für ein Endziel große Massen an Ressourcen, z.B. große Teile des erreichbaren Universums, welche für die Menschheit aber zukünftig eine wichtige Rolle spielen würden) und Simulationsverbrechen (digitale Wesen werden intern einer Superintelligenz erschaffen und Versuchen ausgesetzt). Deutlich wird also, dass es problematisch und gefährlich wird, sollte die Superintelligenz einen entscheidenden strategischen Vorteil erlangen.

Das Kontrollproblem

Was geschieht, wenn die Superintelligenz nicht den Anweisungen und Meinungen des Übergeordneten (z.B. Programmierer oder Projektleiter) zustimmt? Dies bedeutet, dass eine Möglichkeit gefunden werden muss, die Fähigkeiten der Superintelligenz zu kontrollieren. 

Dies könnte über eine Sicherheitsverwahrung geschehen, in der die Superintelligenz physisch eingesperrt wird und keinen Zugang zur Außenwelt bekommt. Auch könnten der Superintelligenz Anreize gegeben werden, welche sie im Interesse des Übergeordneten handeln lässt. Durch das Hemmen ihrer Hardware-Ausstattung oder dem Informationszugang, könnte die KI ausgebremst werden und über Stolperdrähte könnte regelmäßig überprüft werden, auf welchem Intelligenz- und Fähigkeitsstand die Superintelligenz ist. Diese Stolperdrähte könnten versteckte Fallen sein, z.B. ein scheinbarer Ethernet-Port welcher angeblich das Tor zum Internet darstellt, jedoch die Abschaltung des kompletten Systems auslöst. Es stellt sich jedoch die Frage, ob eine Superintelligenz diesen Hürden nicht einfach problemlos ausweichen könnte. 

Außerdem muss ein Weg gefunden werden, die KI nach der richtigen Motivation handeln zu lassen. Zudem ist es gar nicht so einfach, die gewünschten Werte, sowie eine Definition für einen zu vermeidenden Schaden zu formulieren.

Orakel, Flaschengeister, Souveräne und Werkzeuge

Doch warum entwickeln wir nicht eine KI, welche uns sagt, wie wir die ganzen Probleme lösen sollen? Bostrom geht hierbei auf die Möglichkeit ein, Orakel, Flaschengeister oder Souveräne zu erschaffen. Auch bringt er den Vorschlag, eine KI eventuell nur als Werkzeug zu benutzen. Diese verschiedenen Möglichkeiten, haben jeweils ihre Vor- und Nachteile. Es ist auch nicht zu vernachlässigen, dass sie alle eine gewisse Macht gegenüber dem Nutzer mit sich bringen, welche nicht zu unterschätzen ist. Bostrom kommt zu dem Entschluss, dass es doch am besten ist, die KI als einen Akteur zu erschaffen, da sich dadurch am besten der Output steuern lässt, bzw. lassen sich dadurch die Parameter besser beurteilen, welche den Output definieren.

Multipolare Szenarien

Bisher wurde immer von dem Standpunkt ausgegangen, dass es sich um eine einzige Superintelligenz handelt, was jedoch, wenn es mehrere, evtl. sogar konkurrierende geben würde? Bostrom schildert hier verschiedene Szenarien. In einem werden wir Menschen komplett von der KI abgelöst, da wir dann einfach nicht mehr benötigt werden, bzw. es keine Nachfrage mehr für unsere Arbeitskraft gibt. In einem anderen Szenario schreibt er der menschlichen Arbeitskraft einen Fair Trade Charakter zu, welchen sich dann nur noch Menschen leisten werden, welche Wert darauf legen. In diesem Szenario vermehrt sich durch die rein maschinellen Arbeitskräfte und das stark anwachsende Kapitaleinkommen das Vermögen von Kapitaleignern. Daraufhin beschäftigt sich Bostrom mit Bevölkerungsdichte und -wachstum, sowie eventuellen gesellschaftlichen Problemen in der Zeit nach dem Takeoff, welche dem malthusianischen Prinzip entsprechen und eventuell auch ein Leben am Existenzminimum bedeuten könnten. 

Aber auch das Leben von künstlichen Intelligenzen kann ganz unterschiedlich verlaufen. Sie könnten z.B. in freiwilliger Knechtschaft leben und sich aussortieren lassen, sobald sie nicht mehr benötigt werden. Würden sie ein glückliches und zufriedenes Leben führen? Laut Bostrom spricht in einem marktliberalen multipolaren Szenario eher wenig dafür. Er stellt sich außerdem die Frage, ob die Eigenschaften und Tätigkeiten unseres aktuellen Lebens, wie Musik, Humor, Verspieltheit, Sexualität, Statussymbole etc. weiterhin einen bedeutenden Wert hätten.

Im Bezug auf multipolare Szenarien kommt Bostrom zu dem Entschluss, dass sich kein ansprechendes Resultat garantieren lässt.

Der Erwerb von Werten

Bisher wurde sehr deutlich, von welcher Bedeutung es ist, dass eine zukünftige KI ein vernünftiges und angemessenes Wertesystem besitzt, nach welchem sie handelt. Am einfachsten könnte dies über eine Entscheidungsregel und eine Nutzenfunktion geschehen, welche ein optimales normatives Ideal darstellen, welchem die KI mit zunehmender Intelligenz näher kommen kann. Es muss jedoch ein Weg gefunden werden, dies über die Programmierung hinzubekommen und zu übersetzen. 

Es stellt sich zudem die Frage, welche Werte eine Superintelligenz unseren Erachtens verfolgen und somit wollen sollte.

Die Wahl der Auswahlkriterien

Fraglich ist jedoch, wie wir (›unintelligenteren‹) Menschen, diese Werte passend für eine zukünftige Superintelligenz festlegen sollen, da diese im Extremfall über die Zukunft unseres gesamten kosmischen Erbes entscheiden. Bostrom schlägt hierbei die indirekte Normativität vor: Die viel klügere Superintelligenz übernimmt diese Überlegungen über die richtigen Werte selbst. Dies könnte z.B. über den kohärenten extrapolierten Willen (KEW) geschehen:

Der KEW-Ansatz erlaubt demgegenüber die Möglichkeit eines solchen Fortschritts, da er die KI anweist, das zu tun, was wir von ihr wollten, wenn wir uns unter günstigen Umständen weiterentwickeln und so vielleicht unsere gegenwärtigen moralischen Beschränkungen und Vorurteile überwinden würden.

Ein anderer genannter Ansatz stellt die moralische Richtigkeit dar, in welchem die KI nach ihrem eigenen moralischen Gewissen handeln würde. Bostrom schildert hieraus eine Idee, in der die KI beides kombiniert und somit der Fokus auf der moralischen Zulässigkeit liegt.

Er diskutiert auch die Möglichkeit, dass die KI uns die Entscheidung des richtigen Systems abnehmen könnte, im Sinne eines ›Folge meiner Intention‹-Ansatzes.

Bostrom ist der Meinung, dass es zu Beginn kein optimales Design benötigt, seiner Meinung nach ist es wichtiger, die KI zuverlässig und in Bezug auf eigene Fehler selbstreflektierend zu gestalten.

Das strategische Gesamtbild

Wie würde sich eine globale Zusammenarbeit auf das Endresultat auswirken?

Falls sich ein Projekt in einem Wettlauf mit einem oder mehreren Konkurrenten sehen würde, könnte sich das aus Zeitgründen negativ auf die Sicherheit der Superintelligenz ausüben. 

Laut Bostrom führt eine Zusammenarbeit am ehesten zu gerecht verteilten Erträgen, zu weniger Konflikten in der Entwicklung und zum Überstehen von Koordinationsproblemen nach einer Intelligenzexplosion. Das Gemeinwohlprinzip könnte eine Zusammenarbeit noch stärken und verbessern.

Die heiße Phase

Am Ende des Buches stellt Bostrom sich die Frage: Was ist zu tun?

Wir sollten unter anderem an den Problemen arbeiten, deren Lösung einen positiven Wert in vielen Szenarien darstellt, die strategische Analyse und das Schaffen von Grundlagen in Angriff nehmen, Verhaltensrichtlinien für KI-Forscher aufstellen oder ein Sicherheitsversprechen der Beteiligten einholen.

Angesichts einer Intelligenzexplosion gleichen wir kleinen Kindern, die mit einer Bombe spielen: Die Unreife unseres Verhaltens wird nur noch von der Zerstörungskraft unseres Spielzeugs übertroffen.

Fazit

Das Buch geht von einer dystopischen Zukunft der Superintelligenz-Entwicklungen aus und möchte darin ein Bewusstsein schaffen, um mit dieser Technologie achtsam umzugehen.