Untersuchung von evolutionären Strategien für die Anwendung in der Neurorobotik: Unterschied zwischen den Versionen

Aus SDQ-Institutsseminar
Keine Bearbeitungszusammenfassung
Keine Bearbeitungszusammenfassung
 
(4 dazwischenliegende Versionen von 2 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
{{Vortrag
{{Vortrag
|vortragender=Patrich Deubel
|vortragender=Patrick Deubel
|email=dzimmer@fzi.de
|email=dzimmer@fzi.de
|vortragstyp=Bachelorarbeit
|vortragstyp=Bachelorarbeit
|betreuer=Daniel Zimmermann
|betreuer=Daniel Zimmermann
|termin=Institutsseminar/2019-11-08
|termin=Institutsseminar/2019-11-08
|kurzfassung=Evolutionäre Algorithmen bieten sich als Optimierungsverfahren für das Trainieren von tiefen neuronalen Netzen (Deep Neural Networks) als Alternative zu weit verbreiteten Backpropagation-basierten Verfahren. In dieser Arbeit werden Software-Agenten für die Ansteuerung komplexer Robotersysteme mit Hilfe von evolutionären Algorithmen trainiert, analysiert und mit den etablierten Verfahren verglichen.
|kurzfassung=Die Neurorobotik beschäftigt sich damit, Roboter unter Verwendung von künstlichen neuronalen Netzen zu trainieren. Als effektiv hat sich in den letzten Jahren Verfahren auf der Grundlage des Reinforcement Learning (RL) herausgestellt, welche allerdings gradientenbasiert sind. Zur Anpassung der Gewichte des Netzes wird dabei der Backpropagation-Algorithmus angewendet, der bei der Ausführung durch die Schichten
des Netzes iteriert und die Gewichte anpasst. Dies limitiert RL-Algorithmen in ihrer
Skalierbarkeit. Ein Ansatz, der komplett auf Backpropagation verzichtet, sind die evolutionären Strategien (ES). Basierend auf dem biologischen Vorbild der Evolution werden über Generationen hinweg die Gewichtsvektoren optimiert, indem pro Generation mehrere
Veränderungen stattfinden und deren Güte ausgewertet wird.
Eine solche ES haben Mitarbeiter von OpenAI um Salimans, 2017 in einem Artikel vorgestellt. Diese wurde auf Robotersimulationen getestet, bei denen standardmäßig RL-Algorithmen eingesetzt werden. Es wurde festgestellt, dass
ES mit State-of-the-Art RL konkurrieren können. Des Weiteren sind ES hoch parallelisierbar und können daher beispielsweise einen humanoiden Roboter deutlich schneller trainieren als der vergleichbare RL-Algorithmen.
Die vorliegende Arbeit untersucht die ES anhand von zwei Umgebungen der Roboschool. Dies ist eine Gruppe von Robotersimulationen, die in dem Artikel nicht verwendet wurden.
Dazu wird auf der Implementation, die zusammen mit dem Artikel veröffentlicht wurde, aufgebaut und eine eigene Implementation angefertigt. Um die ES auf der Roboschool zu evaluieren, werden Ergebnisse von RL-Algorithmen aus der Literatur zitiert und diese
zum Vergleich herangezogen.
Die Evaluation zeigt, dass die Robotersimulationen durch das Training mit ES das Laufen lernen. Außerdem kann durch das Hinzufügen von Rechenleistung die Berechnungszeit verringert werden.
}}
}}

Aktuelle Version vom 4. November 2019, 10:02 Uhr

Vortragende(r) Patrick Deubel
Vortragstyp Bachelorarbeit
Betreuer(in) Daniel Zimmermann
Termin Fr 8. November 2019
Vortragsmodus
Kurzfassung Die Neurorobotik beschäftigt sich damit, Roboter unter Verwendung von künstlichen neuronalen Netzen zu trainieren. Als effektiv hat sich in den letzten Jahren Verfahren auf der Grundlage des Reinforcement Learning (RL) herausgestellt, welche allerdings gradientenbasiert sind. Zur Anpassung der Gewichte des Netzes wird dabei der Backpropagation-Algorithmus angewendet, der bei der Ausführung durch die Schichten

des Netzes iteriert und die Gewichte anpasst. Dies limitiert RL-Algorithmen in ihrer Skalierbarkeit. Ein Ansatz, der komplett auf Backpropagation verzichtet, sind die evolutionären Strategien (ES). Basierend auf dem biologischen Vorbild der Evolution werden über Generationen hinweg die Gewichtsvektoren optimiert, indem pro Generation mehrere Veränderungen stattfinden und deren Güte ausgewertet wird. Eine solche ES haben Mitarbeiter von OpenAI um Salimans, 2017 in einem Artikel vorgestellt. Diese wurde auf Robotersimulationen getestet, bei denen standardmäßig RL-Algorithmen eingesetzt werden. Es wurde festgestellt, dass ES mit State-of-the-Art RL konkurrieren können. Des Weiteren sind ES hoch parallelisierbar und können daher beispielsweise einen humanoiden Roboter deutlich schneller trainieren als der vergleichbare RL-Algorithmen. Die vorliegende Arbeit untersucht die ES anhand von zwei Umgebungen der Roboschool. Dies ist eine Gruppe von Robotersimulationen, die in dem Artikel nicht verwendet wurden. Dazu wird auf der Implementation, die zusammen mit dem Artikel veröffentlicht wurde, aufgebaut und eine eigene Implementation angefertigt. Um die ES auf der Roboschool zu evaluieren, werden Ergebnisse von RL-Algorithmen aus der Literatur zitiert und diese zum Vergleich herangezogen. Die Evaluation zeigt, dass die Robotersimulationen durch das Training mit ES das Laufen lernen. Außerdem kann durch das Hinzufügen von Rechenleistung die Berechnungszeit verringert werden.