Forschungsförderung Effektivere Funktionsweise soll maschinelles Lernen bezahlbar machen
Zu teuer zum Erforschen sind große, selbst lernende Netzwerke für Wissenschaftlerinnen und Wissenschaftler an Universitäten. Anand Subramoney entwickelt Algorithmen, die einen sparsameren Betrieb ermöglichen sollen.
Selbst lernende (deep learning) Computersysteme sind den neuronalen Netzwerken des Gehirns nachempfunden. Sie verarbeiten sehr große Datenmengen und benötigen entsprechend viel Energie. „Es kostet mehrere Millionen Euro, solche Systeme auf die Dinge zu trainieren, bei denen sie später helfen sollen“, erklärt Dr. Anand Subramoney vom Institut für Neuroinformatik der RUB. Mithilfe des Förderprogrammes „KI-Starter“ des Ministeriums für Kultur und Wissenschaft des Landes NRW möchte der Nachwuchsforscher Lernalgorithmen entwickeln, mit denen solche Systeme energieeffizienter und kostengünstiger funktionieren sollen.
Förderung
Dem Gehirn noch ähnlicher werden und so Energie sparen
Die entsprechende Rechentechnik soll sich noch stärker an der Arbeitsweise des Gehirns orientieren und um mehrere Größenordnungen weniger Energie benötigen als die bestehenden Modelle. „Existierende deep-learning-Systeme basieren auf mathematischen Grundlagen, durch die sie viele Rechnungen durchführen, die gar nicht notwendig sind“, erläutert der Wissenschaftler.
Normalerweise werden kontinuierlich alle vorhandenen Informationen in die nächste Rechenebene überführt und dort verarbeitet. „Ich möchte den Systemen beibringen, Informationen nur dann weiterzuschicken, wenn diese auch notwendig sind“, sagt der Forscher. So ähnlich funktioniere auch das Netzwerk der Neuronen im Gehirn. Ein Neuron werde nur aktiv, wenn eine wichtige Information weitergeleitet werden müsse. Danach ruhe das Neuron wieder. „Es feuern immer nur einzelne oder mehrere zusammengehörende Neuronen, aber nie alle gleichzeitig. Dadurch ist das Gehirn besonders energieeffizient“, führt Anand Subramoney aus. Dieses Prinzip möchte er auf KI-Systeme übertragen.
Als Rechengrundlage dafür verwendet der Informatiker dünn besetzte Matrizen. Eine Matrix ist ein Quadrat, das aus Zeilen und Spalten besteht und an jeder Position eine Zahl enthält. Bei dünn besetzten Matrizen befindet sich an den meisten Stellen eine Null. Da dort bei den weiteren Rechenschritten als Ergebnis wieder Null herauskommt, sind diese Nullen überflüssig. Deshalb möchte der Forscher einen Algorithmus verwenden, der nur diejenigen Positionen an die nächste Rechenebene weiterleitet, an denen andere Zahlen stehen.
„So werden nur die wenigen benötigten Botschaften weitergeleitet – und dies nicht gleichzeitig, sondern zeitkontinuierlich, wie im Gehirn. Dadurch geht die Übertragung der Daten auf die nächste Rechenebene schneller“, so der Nachwuchswissenschaftler. Zudem beabsichtigt er, die Algorithmen auf einer größeren Auswahl an Hardware funktionsfähig zu machen.
