Forschungsförderung Effektivere Funktionsweise soll maschinelles Lernen bezahlbar machen
Zu teuer zum Erforschen sind große, selbst lernende Netzwerke für Wissenschaftlerinnen und Wissenschaftler an Universitäten. Anand Subramoney entwickelt Algorithmen, die einen sparsameren Betrieb ermöglichen sollen.
Selbst lernende (deep learning) Computersysteme sind den neuronalen Netzwerken des Gehirns nachempfunden. Sie verarbeiten sehr große Datenmengen und benötigen entsprechend viel Energie. „Es kostet mehrere Millionen Euro, solche Systeme auf die Dinge zu trainieren, bei denen sie später helfen sollen“, erklärt Dr. Anand Subramoney vom Institut für Neuroinformatik der Ruhr-Universität Bochum (RUB). Mithilfe des Förderprogrammes „KI-Starter“ des Ministeriums für Kultur und Wissenschaft des Landes NRW möchte der Nachwuchsforscher Lernalgorithmen entwickeln, mit denen solche Systeme energieeffizienter und kostengünstiger funktionieren sollen.
Dem Gehirn noch ähnlicher werden und so Energie sparen
Die entsprechende Rechentechnik soll sich noch stärker an der Arbeitsweise des Gehirns orientieren und um mehrere Größenordnungen weniger Energie benötigen als die bestehenden Modelle. „Existierende deep-learning-Systeme basieren auf mathematischen Grundlagen, durch die sie viele Rechnungen durchführen, die gar nicht notwendig sind“, erläutert der Wissenschaftler.
Normalerweise werden kontinuierlich alle vorhandenen Informationen in die nächste Rechenebene überführt und dort verarbeitet. „Ich möchte den Systemen beibringen, Informationen nur dann weiterzuschicken, wenn diese auch notwendig sind“, sagt der Forscher. So ähnlich funktioniere auch das Netzwerk der Neuronen im Gehirn. Ein Neuron werde nur aktiv, wenn eine wichtige Information weitergeleitet werden müsse. Danach ruhe das Neuron wieder. „Es feuern immer nur einzelne oder mehrere zusammengehörende Neuronen, aber nie alle gleichzeitig. Dadurch ist das Gehirn besonders energieeffizient“, führt Anand Subramoney aus. Dieses Prinzip möchte er auf KI-Systeme übertragen.
Als Rechengrundlage dafür verwendet der Informatiker dünn besetzte Matrizen. Eine Matrix ist ein Quadrat, das aus Zeilen und Spalten besteht und an jeder Position eine Zahl enthält. Bei dünn besetzten Matrizen befindet sich an den meisten Stellen eine Null. Da dort bei den weiteren Rechenschritten als Ergebnis wieder Null herauskommt, sind diese Nullen überflüssig. Deshalb möchte der Forscher einen Algorithmus verwenden, der nur diejenigen Positionen an die nächste Rechenebene weiterleitet, an denen andere Zahlen stehen.
„So werden nur die wenigen benötigten Botschaften weitergeleitet – und dies nicht gleichzeitig, sondern zeitkontinuierlich, wie im Gehirn. Dadurch geht die Übertragung der Daten auf die nächste Rechenebene schneller“, so der Nachwuchswissenschaftler. Zudem beabsichtigt er, die Algorithmen auf einer größeren Auswahl an Hardware funktionsfähig zu machen.
Sehr große deep-learning-Netzwerke können Dinge, auf die sie gar nicht trainiert worden sind.
Verwendung finden solche selbst lernenden Systeme zum Beispiel beim autonomen Fahren oder in der Landwirtschaft. Richtig interessant werde es laut Anand Subramoney jedoch bei besonders großen Netzwerken, denn diese zeigten ein ganz neues Verhalten. „Sehr große Modelle können Aufgaben lösen, die sie nie zuvor gesehen haben. Das können kleinere Systeme nicht. Es gibt ein Sprachmodell, das darauf trainiert worden ist, aus einem gegebenen Wort das nächste Wort vorherzusagen. Kann es auch. Aber obwohl es nie eine Mathematikaufgabe erhalten hat, ist es in der Lage, leichte Rechenaufgaben zu lösen. Wenn wir diese großen Modelle energieeffizient betreiben können, wird es bezahlbar, ihr Verhalten zu erforschen. Universitäten können sich so etwas in der Regel nicht leisten. Zugang zu solchen Modellen haben momentan nur große Unternehmen oder Stiftungen“, verdeutlicht der Wissenschaftler.
