Alexander Zai
Brandon Brown

Einstieg in Deep Reinforcement Learning

KI-Agenten mit Python und PyTorch programmieren

Deep Reinforcement Learning rückte 2015 ins Rampenlicht, als DeepMind einen Algorithmus entwickelte, der in der Lage ist, eine Reihe von Atari-2600-Spielen besser als der Mensch zu spielen. Die künstliche Intelligenz schien endlich echte Fortschritte zu machen, und wir wollten unseren Teil dazu beitragen.

Wir haben beide einen Hintergrund im Software-Engineering und Interesse an den Neurowissenschaften, und wir interessieren uns schon seit Langem für das breitere Feld der künstlichen Intelligenz (tatsächlich hat einer von uns sein erstes neuronales Netz noch vor der High School in C# geschrieben). Diese frühen Erfahrungen führten zu keinem anhaltenden Interesse, da sie in die Zeit vor der Revolution des Deep Learning um das Jahr 2012 fielen, als die überragende Leistung des Deep Learning deutlich wurde. Aber nachdem wir die erstaunlichen Erfolge des Deep Learning gesehen hatten, wandten wir uns wieder den aufregenden und aufblühenden Bereichen des Deep Learning und dann des Deep Reinforcement Learning zu, und wir beide haben das Machine Learning auf die eine oder andere Weise stärker in unsere berufliche Laufbahn integriert. Alex wechselte in eine Karriere als Machine Learning Engineer und machte sich an wenig bekannten Orten wie Amazon einen Namen, und Brandon begann, Machine Learning in der akademischen neurowissenschaftlichen Forschung einzusetzen. Als wir uns in Deep Reinforcement Learning vertieften, mussten wir uns durch Dutzende von Lehrbüchern und Forschungsartikel kämpfen, wobei wir uns in fortgeschrittene Mathematik und die Theorie des maschinellen Lernens vertieften. Wir stellten jedoch fest, dass die Grundlagen des Deep Reinforcement Learning durchaus zugänglich sind, wenn man einen Hintergrund im Software-Engineering hat. Die gesamte Mathematik lässt sich leicht in eine Sprache übersetzen, die für jeden Programmierer gut lesbar ist.

Wir begannen, über die Dinge zu bloggen, die wir in der Welt des Machine Learning lernten, und über Projekte, die wir bei unserer Arbeit verwendeten. Am Ende bekamen wir eine ganze Menge positives Feedback, was uns auf die Idee brachte, gemeinsam an diesem Buch zu arbeiten. Wir sind der Meinung, dass die meisten Ressourcen, die es zum Lernen komplexer Dinge gibt, entweder zu einfach sind und die fesselndsten Aspekte des Themas auslassen oder für Menschen ohne fortgeschrittenen mathematischen Hintergrund unzugänglich sind. Mit diesem Buch haben wir uns bemüht, ein für Experten geschriebenes Kompendium in einen Kurs für diejenigen zu übersetzen, die nichts weiter als einen Programmierhintergrund und einige Grundkenntnisse über neuronale Netze haben. Wir wenden einige neuartige Lehrmethoden an, von denen wir glauben, dass sie unser Buch auszeichnen und zu einem viel schnelleren Verständnis führen. Wir fangen bei den Grundlagen an, und am Ende werden Sie innovative Algorithmen implementieren, die von industriellen Forschungsprojekten wie DeepMind und OpenAI sowie von leistungsstarken akademischen Einrichtungen wie dem Berkeley Artificial Intelligence Research (BAIR) Lab und dem University College London entwickelt wurden.

Danksagung

Dieses Buch hat viel länger gedauert, als wir erwartet hatten, und wir haben unseren Lektorinnen Candace West und Susanna Kline viel zu verdanken. Sie haben uns in jeder Phase des Prozesses geholfen und uns auf Kurs gehalten. Wenn man ein Buch schreibt, muss man viele Details im Auge behalten, und ohne das professionelle und unterstützende Lektorenteam wären wir ins Schwimmen geraten.

Unser Dank gilt auch unseren technischen Redakteuren Marc-Philippe Huget und Al Krinker sowie allen Gutachtern, die sich die Zeit genommen haben, unser Manuskript zu lesen und uns entscheidendes Feedback zu geben. Unser besonderer Dank gilt den Gutachtern Al Rahimi, Ariel Gamiño, Claudio Bernardo Rodriguez, David Krief, Dr. Brett Pennington, Ezra Joel Schroeder, George L. Gaines, Godfred Asamoah, Helmut Hauschild, Ike Okonkwo, Jonathan Wood, Kalyan Reddy, M. Edward (Ed) Borasky, Michael Haller, Nadia Noori, Satyajit Sarangi und Tobias Kaatz. Wir möchten auch allen bei Manning danken, die an diesem Projekt mitgearbeitet haben: Karen Miller (Developmental Editor), Ivan Martinović (Review Editor), Deirdre Hiam (Project Editor), Andy Carroll (Copy Editor) und Jason Everett (Proofreader).

In der heutigen Zeit werden viele Bücher über verschiedene Online-Dienste im Selbstverlag herausgegeben, und diese Option hat uns zunächst gereizt. Nachdem wir jedoch diesen ganzen Prozess durchlaufen haben, können wir den enormen Wert eines professionellen Lektorats erkennen. Insbesondere danken wir dem Copy Editor Andy Carroll für sein aufschlussreiches Feedback, das die Klarheit des Textes wesentlich verbessert hat.

Alex bedankt sich bei seinem PI Jamie, der ihn bereits während seines Grundstudiums an Machine Learning herangeführt hat.

Brandon dankt seiner Frau Xinzhu dafür, dass sie seine langen Nächte am Schreibtisch und seine Abwesenheit von der Familie erduldet und ihm zwei wunderbare Kinder, Isla und Avin, geschenkt hat.

Die Autoren

Alex Zai arbeitete als Chief Technology Officer bei Codesmith, einem immersiven Coding-Bootcamp, wo er weiterhin als Technical Advisor tätig ist, sowie als Software-Ingenieur bei Uber und als Machine Learning Engineer bei Banjo und Amazon. Darüber hinaus wirkt er am Open-Source Deep-Learning-Framework Apache MXNet mit. Er hat zwei Unternehmen mitbegründet, von denen eines durch Y Combinator gefördert wurde.

Brandon Brown beschäftigte sich von klein auf mit dem Programmieren und arbeitete während des Studiums als Teilzeit-Software-Ingenieur, entschied sich aber schließlich für eine Karriere in der Medizin; nebenbei arbeitete er als Software-Ingenieur im Bereich der Gesundheitstechnologie. Heute ist er Arzt und verfolgt seine Forschungsinteressen im Bereich der Computational Psychiatry, inspiriert durch Deep Reinforcement Learning.

Wer dieses Buch lesen sollte

Einstieg in Deep Reinforcement Learning ist ein Kurs, der entwickelt wurde, um Sie von den grundlegenden Konzepten des Reinforcement Learning bis hin zur Implementierung der neuesten Algorithmen zu führen. Als Kurs konzentriert sich jedes Kapitel auf ein Hauptprojekt, das das jeweilige Thema oder Konzept veranschaulichen soll. Wir haben jedes Projekt so konzipiert, dass es effizient auf einem neueren Laptop ausgeführt werden kann; wir erwarten nicht, dass Sie Zugriff auf teure GPUs oder Cloud-Computing-Ressourcen haben (auch wenn der Zugriff auf diese Ressourcen einiges beschleunigt).

Dieses Buch richtet sich an Personen mit einem Programmierhintergrund, insbesondere mit Grundkenntnissen in Python, und an Personen, die zumindest ein grundlegendes Verständnis von neuronalen Netzen haben (auch bekannt als Deep Learning). Mit „grundlegendem Verständnis“ meinen wir, dass Sie schon einmal versucht haben, ein einfaches neuronales Netz in Python zu implementieren, auch wenn Sie nicht ganz verstanden haben, was tief im Inneren vor sich geht. Obwohl sich dieses Buch auf die Verwendung von neuronalen Netzen in Bezug auf das Reinforcement Learning konzentriert, werden Sie wahrscheinlich auch viel Neues über Deep Learning im Allgemeinen lernen, das sich auf andere Probleme außerhalb des Reinforcement Learning anwenden lässt, sodass Sie kein Experte für Deep Learning sein müssen, bevor Sie sich in das Deep Reinforcement Learning stürzen.

Wie dieses Buch organisiert ist: Ein Fahrplan

Das Buch hat zwei Teile mit insgesamt 11 Kapiteln.

Teil I erläutert die Grundlagen des Deep Reinforcement Learning.

       Kapitel 1 bietet eine Einführung in Deep Learning, Reinforcement Learning und die Verbindung von beidem zum Deep Reinforcement Learning.

       Kapitel 2 führt in die grundlegenden Konzepte des Reinforcement Learning ein, die im weiteren Verlauf des Buches immer wieder auftauchen werden. Wir implementieren auch unseren ersten angewandten Reinforcement-Learning-Algorithmus.

       Kapitel 3 stellt Deep Q-Learning vor, eine der beiden Hauptklassen von Deep-Reinforcement-Algorithmen. Dabei handelt es sich um den Algorithmus, mit dem DeepMind im Jahr 2015 bei vielen Atari 2600 Spielen die Leistung von Menschen übertroffen hat.

       Kapitel 4 beschreibt die andere Hauptklasse von Deep-Reinforcement-Learning-Algorithmen, die Policy-Gradient-Methoden. Wir verwenden sie, um einen Algorithmus für ein einfaches Spiel zu trainieren.

       Kapitel 5 zeigt, wie wir Deep Q-Learning aus Kapitel 3 und Policy-Gradient-Methoden aus Kapitel 4 zu einer kombinierten Klasse von Algorithmen, den sogenannten Actor-Critic-Algorithmen, verbinden können.

Teil II baut auf den Grundlagen auf, die wir in Teil I gelegt haben, um die größten Fortschritte der letzten Jahre im Bereich des Deep Reinforcement Learning zu behandeln.

       Kapitel 6 zeigt, wie evolutionäre Algorithmen, die Prinzipien der biologischen Evolution nutzen, implementiert werden können, um neuronale Netze zu trainieren.

       Kapitel 7 beschreibt eine Methode zur signifikanten Verbesserung der Leistung des Deep Q-Learning durch die Einbeziehung probabilistischer Konzepte.

       Kapitel 8 stellt eine Methode vor, wie man Reinforcement-Learning-Algorithmen ein Gefühl der Neugierde vermittelt, damit sie ihre Umgebung ohne externe Hinweise erforschen können.

       Kapitel 9 zeigt, wie wir das, was wir beim Trainieren von Reinforcement-Learning-Algorithmen mit einem Agenten gelernt haben, auf Systeme mit mehreren interagierenden Agenten ausweiten können.

       Kapitel 10 beschreibt, wie man Deep-Reinforcement-Learning-Algorithmen durch den Einsatz von Aufmerksamkeitsmechanismen besser interpretierbar und effizienter machen kann.

       Kapitel 11 schließt das Buch mit einer Erörterung all der spannenden Bereiche des Deep Reinforcement Learning, die wir aus Platzgründen nicht behandeln konnten, die Sie aber vielleicht interessieren.

Die Kapitel in Teil I sollten der Reihe nach gelesen werden, da jedes Kapitel auf den Konzepten des vorhergehenden Kapitels aufbaut. Die Kapitel in Teil II können mehr oder weniger in beliebiger Reihenfolge angegangen werden, obwohl wir auch hier empfehlen, sie der Reihe nach zu lesen.

Über den Code

Wie bereits erwähnt, ist dieses Buch ein Kurs, daher haben wir den gesamten Code, der für die Durchführung der Projekte erforderlich ist, in den Haupttext des Buches aufgenommen. Grundsätzlich fügen wir kürzere Codeblöcke als Inline-Code ein, der in dieser Schriftart formatiert ist, und stellen größere Codeblöcke in separaten, nummerierten Code-Listings dar.