Erinnern hat seinen Preis

Von: Matthias Knapp

Innsbruck – KI-Systeme handeln auf der Grundlage von gesammeltem Wissen. Dabei sind ihnen physikalische Grenzen gesetzt, wie Innsbrucker Forscher in einer aktuellen Studie zeigen. In Rahmen einer Beschreibung der thermodynamischen Grenzen von Informationsverarbeitung, liefern sie den mathematischen Beweis dafür, dass Agenten, die mit ihrer Umgebung interagieren, in manchen Fällen nur dann energieeffizient agieren können, wenn sie Informationen wieder vergessen – selbst solche, die ihre Vorhersagen verbessern würden.

Künstliche Intelligenz wird zunehmend Teil unseres Alltags, von digitalen Assistenten bis zu Robotern, die auf ihre Umgebung reagieren. Jede dieser Fähigkeiten beruht auf physikalischen Rechenprozessen, die Energie verbrauchen. Ein internationales Forschungsteam um Wittgenstein-Preisträger Hans Briegel vom Institut für Theoretische Physik der Universität Innsbruck ist der Frage nachgegangen, welche physikalischen Grenzen der Effizienz gesetzt sind, mit der intelligente Systeme Informationen verarbeiten.

Physik der Informationsverarbeitung

Ein Agent ist ein System, das Informationen aus seiner Umgebung aufnimmt und darauf reagiert, etwa wie ein Roboter, der sich durch einen Raum bewegt und dabei ständig neue Beobachtungen macht. „Der Agent verändert durch sein Handeln die Welt, die er selbst vorherzusagen versucht. Wir wollten verstehen, was diese Rückkopplung für die Physik der Informationsverarbeitung bedeutet“, erklärt Lukas Fiderer, der federführende Autor der Studie.

Bereits 1961 zeigte Rolf Landauer, dass das Löschen von Information unausweichlich mit einem Energieaufwand verbunden ist. Der Zusammenhang funktioniert aber auch umgekehrt: Unter geeigneten Bedingungen kann ein Agent Information über ein physikalisches System nutzen, um daraus Energie zu gewinnen. Die neue Studie bestimmt die maximale Energiemenge, die ein idealer Agent im Mittel pro Interaktion aus solchen Austauschprozessen mit seiner Umgebung gewinnen kann. Damit liefert die Studie ein präzises thermodynamisches Maß, um verschiedene Formen der Gedächtnisorganisation eines Agenten miteinander zu vergleichen.

Thermodynamisch optimale Leistung

Frühere Untersuchungen haben gezeigt, dass ein Agent, der Informationen passiv verarbeitet, nur dann eine thermodynamisch optimale Leistung erzielen kann, wenn er sein Gedächtnis konsequent auf Vorhersagen ausrichtet und sich Informationen aus vergangenen Interaktionen merkt, die ihm helfen, zukünftige Beobachtungen zu antizipieren. Die neue Arbeit entwickelt ein Modell für Agenten, deren Handlungen ihre Beobachtungen beeinflussen, was realen Anwendungen mehr entspricht. Die Autoren beweisen mathematisch, dass Agenten, die über alle für eine optimale Vorhersage erforderlichen Informationen verfügen, in bestimmten Umgebungen gerade nicht die bestmögliche Effizienz erzielen können. Um diese zu erreichen, müssen sie Teile ihrer eigenen Handlungsgeschichte vergessen – auch Informationen, die ihre Vorhersagen tatsächlich verbessert hätten.

Ein einfaches Beispiel veranschaulicht, was „Vergessen“ in diesem Zusammenhang bedeutet: Ein Roboter, der eine Tür öffnet, könnte sich genau merken, wie stark er gedrückt hat, um vorherzusagen, wie sich die Tür bewegen wird. Wenn er vergisst, wie stark er gedrückt hat, verliert er Informationen, die seine Vorhersage der Bewegung der Tür verbessern würde. Die Studie zeigt, dass Agenten in manchen Umgebungen auf solche nützlichen Informationen verzichten müssen, um die Energie zu maximieren, die sie durch ihre Interaktionen gewinnen.

„Das Überraschende ist, dass ein Agent energetisch davon profitieren kann, Informationen zu vergessen, die seine Vorhersagen eigentlich verbessern würden“, sagt Lukas Fiderer. Der Effekt bleibt bestehen, selbst wenn man dem Agenten mehr Speicherkapazität zur Verfügung stellt, und er ist unabhängig von praktischen Speicherkosten heutiger Hardware. Fiderer betont: „Der Kompromiss zwischen Vorhersagen und Vergessen bleibt bestehen, selbst wenn wir die praktischen Kosten für den Bau und Erhalt von Speicher außer Acht lassen. Es handelt sich also um einen Konflikt, der sich aus den fundamentalen Gesetzen der Physik ergibt.“

Grundlage für effiziente Agenten der Zukunft

„Heutige Computer sind noch weit von diesen fundamentalen Grenzen entfernt. Unsere Arbeit gibt uns eine Möglichkeit, zu erforschen, wie effiziente Agenten aussehen könnten, wenn sich die Technologie diesen Grenzen annähert“, sagt Lukas Fiderer, der einen experimentellen Nachweis des Effekts jedoch bereits mit heutigen Methoden für möglich hält.

Die Ergebnisse werfen auch grundsätzlichere Fragen auf: „Vorhersage und Vergessen sind vertraute Merkmale intelligenten Verhaltens. Eine Verbindung zwischen ihnen in einem fundamentalen thermodynamischen Zielkriterium zu finden, liefert möglicherweise Ansätze für die Erforschung und Entwicklung von nachhaltigeren KI-Systemen“, sagt Lukas Fiderer.

Die Studie ist im Fachjournal Physical Review X erschienen und wurde vom österreichischen Wissenschaftsfonds FWF, der Forschungsförderungsgesellschaft FFG und der Europäischen Union finanziert. Die Forschungsgruppe um Hans Briegel ist Teil des Forschungsschwerpunkts Quantenphysik der Universität Innsbruck und erforscht grundlegende Konzepte der Quantenmechanik und der statistischen Physik sowie deren Anwendungen für die Informationsverarbeitung. Briegel wurde 2023 mit dem Wittgenstein-Preis ausgezeichnet, Österreichs höchstdotierter Wissenschaftsauszeichnung.