Neuronale Netze: KI-System vermehrt sich selbst, um effizienter zu werden

"Selbstvermehrung ist ein primärer Aspekt biologischen Lebens, der größtenteils bei künstlichen Intelligenzen übersehen wurde". Mit diesen Worten beginnt die wissenschaftliche Arbeit der Forscher Oscar Chang und Hod Lipson der Columbia Unviversity. Sie entwickeln ein neuronales Netzwerk, das sich selbst repliziert. Sie wollen herausfinden, ob und wie sich ein Algorithmus kopiert und dabei von allein verbessert. Das Vorbild ist die Natur und die natürliche Auslese, wie sie einst Charles Darwin definierte. Das Dokument steht im Universitätsarchiv arxiv zum Download zur Verfügung.

Zum Test bauten die zwei Forscher ein relativ kleines neuronales Netzwerk auf, das anhand von 21.100 Parametern Bilder erkennt. Dabei hielten sie sich an zwei etablierte Open-Source-Algorithmen Draw und Dcgan. Allerdings nutzen diese eine Million beziehungsweise elf Millionen Parameter, um Bilder mit 784 Pixeln zu klassifizieren. Deshalb ist das Resultat der Arbeit auch nicht so genau. Das trainierte neuronale Netzwerk erkannte 90,41 Prozent der Bilder korrekt - ein unterdurchschnittlicher Wert. Dem Algorithmus standen 60.000 MNIST-Bilder zur Verfügung und 10.000 weitere für die Validierung der Ergebnisse. Beim MNIST-Test müssen KI-Systeme richtige Ergebnisse von handgeschriebenen Gleichungen errechnen.

Replikation benötigt zu viele Rechenressourcen

Allerdings musste die Parametermenge relativ klein gehalten werden, um eine Replikation überhaupt möglich zu machen. Im Prinzip dupliziert das neuronale Netz seine aus den Parametern erstellte Gewichtungsmatrix, die zumindest eine Größe von A Eingaben mal B Ausgaben hat. Die benötigte Rechenkapazität skaliert dementsprechend sehr hoch. Es stellte sich auch heraus, dass ein großer Teil der Leistung allein für den Replizierungsprozess benötigt wurde. Das neuronale Netz hatte dadurch weniger Ressourcen zur eigentlichen Bilderkennung zur Verfügung, was in schlechteren Ergebnissen resultierte.

Replikation ist nicht die erste Anlehnung an das echte Leben: Auch andere Prozesse in der Natur werden von maschinellen Lernalgorithmen nachgeahmt. Es gibt beispielsweise Modelle, die sich in verschiedenen Generationen mit meist zufälligen Änderungen der Gewichtung stetig weiterentwickeln. Dieses Zufallselement erinnert an die Evolution durch zufällige Mutationen und Anpassungen an die Umwelt. Allerdings scheint Vermehrung als weiteres Naturgeschehen zumindest noch nicht effizient genug auf Software anwendbar zu sein.