Das Eigenprinzip

Teil A · Fundament

Kapitel 1

Die Stimmgabel und die Regel fürs nächste Mal

Eine angeschlagene Stimmgabel gibt einen einzigen, nahezu reinen Ton ab, und sie tut dies so zuverlässig, dass sie über zwei Jahrhunderte als Referenznormal zum Stimmen von Instrumenten diente. Bemerkenswert ist dabei nicht der Ton selbst, sondern seine Stabilität: Ob die Gabel sanft oder kräftig angeschlagen wird, ob warm oder kalt, die Frequenz bleibt dieselbe. Dieses Verhalten deutet darauf hin, dass das System ein bestimmtes Schwingungsmuster bevorzugt und nach jeder Störung zu ihm zurückkehrt.

Im Folgenden wird entwickelt, woher diese Stabilität stammt. Die Antwort ist ein Muster, das sich durch den gesamten Beitrag zieht und hier als Eigenprinzip bezeichnet wird: Ein System, das einer einfachen lokalen Regel folgt, entwickelt von selbst charakteristische, stabile Muster. Diese Muster sind dabei keine äußere Vorgabe, sondern eine mathematische Konsequenz der Regel.

Eine Regel fürs nächste Mal

Ein Punkt auf dem schwingenden Zinken lässt sich durch zwei Größen vollständig beschreiben. Sei \(x\) die Auslenkung dieses Punktes aus der Ruhelage und \(v\) seine Geschwindigkeit. Die Elastizität des Materials legt fest, wie sich diese beiden Größen von einem kleinen Zeitschritt \(\Delta t\) zum nächsten ändern:

Die erste Regel beschreibt anschaulich die reine Bewegung: Wer sich mit einer bestimmten Geschwindigkeit fortbewegt, ist nach einem Zeitschritt um das Produkt aus Geschwindigkeit und Zeitschritt weiter. Die zweite Regel beschreibt anschaulich die Rückstellkraft des Materials: Je weiter der Punkt ausgelenkt ist, desto stärker wird er zur Ruhelage zurückgezogen. Dabei bestimmt die Konstante \(k/m\) – Steifigkeit geteilt durch Masse – wie heftig diese Rückstellung ausfällt.

Aus diesen beiden Zeilen folgt das gesamte Verhalten der Stimmgabel. Werden sie viele Tausend Mal hintereinander angewendet, entsteht keine beliebige Kurve, sondern eine reine Sinusschwingung, und zwar unabhängig von der anfänglichen Auslenkung. Die folgende Darstellung führt diese Iteration Schritt für Schritt aus.

Die geschlossene Ellipse im Phasenraum ist der Kern der Sache. Sie bedeutet anschaulich, dass das System nach jedem vollen Umlauf in seinen Ausgangszustand zurückkehrt; genau diese Wiederkehr macht den Ton stabil. Mathematisch betrachtet ist die Update-Regel eine lineare Abbildung, und die Schwingung ist ihr Eigenmuster. Dies bedeutet, dass die Stabilität der Stimmgabel und der Begriff des Eigenvektors zwei Beschreibungen desselben Sachverhalts sind – ein Zusammenhang, der im folgenden Kapitel entwickelt wird.

Teil A · Fundament

Kapitel 2

Was ein Eigenvektor wirklich ist

Eine Matrix ist eine lineare Abbildung: Vektor rein, Vektor raus. Die meisten Vektoren ändern dabei sowohl ihre Länge als auch ihre Richtung. Einige wenige Vektoren jedoch behalten ihre Richtung und werden nur gestreckt oder gestaucht. Diese richtungstreuen Vektoren werden Eigenvektoren genannt, der zugehörige Streckungsfaktor heißt Eigenwert.

Wie sich die Eigenrichtungen finden lassen

Gesucht sind Vektoren \(\mathbf{v}\), für die die Abbildung \(A\) lediglich eine Streckung bewirkt, also \(A\mathbf{v} = \lambda\,\mathbf{v}\) mit einem Skalar \(\lambda\) gilt. Diese Gleichung bedeutet anschaulich, dass Eingabe und Ausgabe auf derselben Geraden durch den Ursprung liegen. Umgeschrieben zu \((A - \lambda I)\,\mathbf{v} = \mathbf{0}\) besitzt sie eine nichttriviale Lösung genau dann, wenn die Determinante \(\det(A - \lambda I)\) verschwindet.

Diese Determinante ist ein Polynom in \(\lambda\), das charakteristische Polynom. Seine Nullstellen sind die Eigenwerte, und zu jedem Eigenwert gehört eine Eigenrichtung. Dabei muss eine reelle Abbildung keine reellen Eigenwerte besitzen: Eine Drehung verschiebt jeden Vektor, sodass keiner richtungstreu bleibt – die Visualisierung oben zeigt diesen Fall unter dem Preset Drehung.

Damit schließt sich der Bogen zu Kapitel 1. Die Update-Regel der Stimmgabel war eine lineare Abbildung, angewendet in jedem Zeitschritt; die stabile Schwingung entsprach ihrer Eigenrichtung, und die Frequenz war durch den zugehörigen Eigenwert festgelegt. Dies bedeutet, dass Eigenvektoren keine algebraische Kuriosität sind, sondern beschreiben, welche Muster ein wiederholt angewandter Prozess bevorzugt.

Teil A · Fundament

Kapitel 3

Von Vektoren zu Funktionen: die Eigenfunktion

Derselbe Gedanke trägt, wenn an die Stelle des Vektors eine ganze Funktion tritt. Eine Eigenfunktion ist eine Funktion, die unter einer Operation – etwa der zweiten Ableitung oder der Fourier-Transformation – ihre Form behält und nur mit einem Faktor skaliert wird. Diese Definition überträgt den Begriff des Eigenvektors von endlichen Vektoren auf den unendlichdimensionalen Raum der Funktionen.

Stehende Wellen auf einer Platte

Eine eingespannte Platte kann nicht beliebig schwingen. Sie nimmt nur bestimmte Muster an, die Eigenmoden, bei denen gewisse Linien dauerhaft in Ruhe bleiben. Streut man Sand auf die Platte, sammelt er sich entlang dieser Knotenlinien und macht das Muster sichtbar; Ernst Chladni führte diese Figuren ab 1787 vor.

Erlaubt sind nur ganzzahlige Modennummern. Diese Diskretisierung ist kein Zufall, sondern folgt aus den Randbedingungen: Die Platte ist am Rand fest, und nur Muster mit ganzzahliger Wellenzahl erfüllen diese Bedingung. Dieselbe Quantisierung erzeugt die diskreten Energieniveaus eines Atoms; Schrödinger nannte seine Arbeit von 1926 daher Quantisierung als Eigenwertproblem.

Jede Kurve als Summe von Eigenfunktionen

Für die schwingende Saite sind die Eigenfunktionen die Sinus-Moden. Hierbei gilt eine Eigenschaft, die weit über die Saite hinaus trägt: Jede hinreichend glatte Funktion lässt sich als Summe dieser Sinus-Eigenfunktionen schreiben, \(f(x) = \sum_n c_n \sin(n\pi x)\). Diese Summe bedeutet anschaulich, dass die Eigenfunktionen eine vollständige Basis bilden – so wie jeder Vektor sich aus Basisvektoren zusammensetzt.

Dass überhaupt vollständige Eigenfunktions-Basen existieren, ist der Inhalt der Sturm-Liouville-Theorie von 1836. Sie zeigt, dass eine breite Klasse physikalischer Differentialgleichungen ein vollständiges, orthogonales System von Eigenfunktionen besitzt; die jeweilige Randbedingung wählt aus, welches. Daher tauchen Sinus-Funktionen bei der Saite auf, Bessel-Funktionen bei zylindrischer Symmetrie und Hermite-Funktionen beim quantenmechanischen Oszillator. Dies bedeutet, dass das Zerlegen in Eigenfunktionen kein Spezialtrick einzelner Gebiete ist, sondern die gemeinsame Struktur hinter Akustik, Wärmeleitung und Quantenmechanik.

Teil B · Anwendungen

Kapitel 4

Gesichter im Datenstrom: Hauptkomponenten

Bisher waren Eigenvektoren eine Eigenschaft einer gegebenen Abbildung. In der Datenanalyse kehrt sich die Blickrichtung um: Aus den Daten selbst wird eine Matrix gebildet, deren Eigenvektoren die innere Struktur der Daten offenlegen. Dieses Verfahren ist die Hauptkomponentenanalyse (engl. Principal Component Analysis, PCA).

Die Achsen der größten Streuung

Sei eine Wolke von Datenpunkten gegeben. Aus ihr wird die Kovarianzmatrix berechnet, deren Einträge beschreiben, wie stark die Koordinaten gemeinsam schwanken. Die Eigenvektoren dieser Matrix bedeuten anschaulich die Richtungen, entlang derer die Daten am stärksten streuen; der zugehörige Eigenwert gibt an, wie groß diese Streuung ist. Die erste Hauptachse erfasst somit den größten Teil der Information, die zweite den zweitgrößten, und so fort.

Hierin liegt der praktische Nutzen: Trägt die erste Achse den Großteil der Streuung, lässt sich die zweite vernachlässigen, ohne viel Information zu verlieren. Hochdimensionale Daten werden so auf wenige Achsen verdichtet. Dies bedeutet, dass PCA eine Kompression ist, deren Basis nicht vorgegeben, sondern aus den Daten als deren Eigenstruktur gewonnen wird.

Eigengesichter

Werden Gesichtsbilder als Datenpunkte aufgefasst – jeder Pixel eine Koordinate – so liefern die Hauptachsen die Eigengesichter. Matthew Turk und Alex Pentland zeigten 1991, dass sich jedes Gesicht als Mittelwertgesicht plus gewichtete Summe weniger Eigengesichter darstellen lässt. Hierfür genügen wenige Dutzend Koeffizienten, um ein Gesicht wiederzuerkennen.

Dieselbe Idee trägt den Deepfakes-Beitrag: Dort ersetzt ein Autoencoder die lineare PCA durch eine nichtlineare Verallgemeinerung, doch das Prinzip bleibt, dass ein Gesicht durch wenige Koordinaten in einer gelernten Basis beschrieben wird. Dies bedeutet, dass Gesichtserkennung im Kern dasselbe Eigenwertproblem löst wie die schwingende Stimmgabel – nur dass die Eigenvektoren hier aus Daten statt aus einer Bewegungsgleichung stammen.

Teil B · Anwendungen

Kapitel 5

Das Web als Zufallsprozess: Markov und PageRank

Eine Markov-Kette beschreibt Übergänge zwischen Zuständen, bei denen allein der aktuelle Zustand über den nächsten entscheidet. Die Wahrscheinlichkeiten dieser Übergänge bilden eine Matrix. Sei eine Anfangsverteilung über die Zustände gegeben, so liefert die Multiplikation mit dieser Matrix die Verteilung einen Schritt später.

Die Verteilung, die sich nicht mehr ändert

Wird dieser Schritt wiederholt, konvergiert die Verteilung unter milden Bedingungen gegen einen festen Vektor, die stationäre Verteilung. Dieser Vektor ändert sich unter der Übergangsmatrix nicht mehr; er erfüllt also \(\boldsymbol{\pi} P = \boldsymbol{\pi}\) und ist damit der Eigenvektor zum Eigenwert eins. Das Perron-Frobenius-Theorem sichert, dass dieser Eigenwert bei einer stochastischen Matrix existiert, betragsgrößt und einfach ist.

PageRank: das Web als Markov-Kette

Googles ursprünglicher Ranking-Algorithmus fasst das Web als Markov-Kette auf. Die Zustände sind Webseiten, die Übergänge sind die Links. Ein gedachter Besucher folgt mit Wahrscheinlichkeit \(d\) einem zufälligen Link der aktuellen Seite und springt mit Wahrscheinlichkeit \(1-d\) auf eine beliebige Seite des Webs. Dieser Dämpfungsfaktor \(d\), üblicherweise \(0{,}85\), verhindert, dass der Besucher in verlinkungsfreien Sackgassen hängen bleibt.

Der PageRank einer Seite ist ihre Aufenthaltshäufigkeit im stationären Zustand – erneut der dominante Eigenvektor, diesmal der sogenannten Google-Matrix. Hierbei tritt der Dämpfungsfaktor als Regularisierung auf, die das Problem stabil und eindeutig lösbar macht. Im Eigenwerte-Beitrag wird gezeigt, dass dieser Dämpfungsfaktor strukturell demselben Term entspricht wie der Regularisierungsparameter der Ridge-Regression. Dies bedeutet, dass die Stabilisierung einer Websuche und die Vermeidung von Überanpassung beim maschinellen Lernen zwei Ausprägungen desselben Eingriffs in ein Eigenwertspektrum sind.

Teil B · Anwendungen

Kapitel 6

Wenn Brücken tanzen: Resonanz

Bisher waren die Eigenmuster erwünscht oder nützlich. Dieses Kapitel zeigt ihre gefährliche Seite. Jedes mechanische Bauwerk besitzt Eigenfrequenzen, also Schwingungsmuster, die es bevorzugt annimmt. Diese Eigenfrequenzen sind die Eigenwerte der Bewegungsgleichung des Bauwerks. Trifft eine periodische Anregung eine dieser Frequenzen, überträgt sie ihre Energie besonders wirksam, und die Bewegung schaukelt sich auf – ein Vorgang, der Resonanz genannt wird.

Tacoma Narrows, 1940

Wenige Monate nach ihrer Eröffnung geriet die Tacoma-Narrows-Brücke bei mäßigem Wind in eine sich aufschaukelnde Torsionsschwingung und brach zusammen. Der Wind lieferte keine periodische Anregung im einfachen Sinne; vielmehr lösten sich an der Fahrbahn rhythmisch Wirbel ab, deren Frequenz einer Eigenfrequenz der Brücke nahekam. Dieser Mechanismus – aeroelastisches Flattern – ist seitdem fester Bestandteil der Brückenstatik.

Millennium Bridge, 2000

Am Eröffnungstag der Londoner Millennium Bridge begann diese unter dem Gewicht der Fußgänger seitlich zu schwingen. Hierbei wirkte keine äußere Anregung, sondern eine Rückkopplung: Eine kleine seitliche Bewegung brachte die Gehenden dazu, ihren Schritt unbewusst an die Schwingung anzupassen, was die Bewegung verstärkte und weitere Personen mitzog. Dieser Übergang von ungeordnetem zu gleichgeschaltetem Gehen ist ein Beispiel für Synchronisation, die das Kuramoto-Modell beschreibt.

Beide Fälle teilen dieselbe Ursache. Ein System mit ausgeprägten Eigenmoden wird in der Nähe einer Eigenfrequenz angeregt und antwortet mit wachsender Amplitude. Dies bedeutet, dass die Stabilität des Stimmgabeltons und der Einsturz einer Brücke zwei Seiten derselben Medaille sind: Im einen Fall ist das bevorzugte Eigenmuster erwünscht, im anderen zerstörerisch.

Teil B · Anwendungen

Kapitel 7

Die Glockenkurve als bevorzugte Form

Werden viele unabhängige Zufallseinflüsse summiert, ergibt sich fast immer dieselbe Verteilung: die Glockenkurve. Der Zentrale Grenzwertsatz beschreibt diese Beobachtung präzise. Auf den ersten Blick gehört sie nicht in dieses Kapitel, denn von Eigenwerten ist hier keine Rede. Bei genauerer Betrachtung jedoch trägt dasselbe Muster.

Die mathematische Operation, die zwei unabhängige Zufallseinflüsse zusammenführt, ist die Faltung ihrer Verteilungen. Der Zentrale Grenzwertsatz besagt anschaulich, dass die wiederholte Faltung beliebiger Verteilungen gegen eine einzige Form strebt: die Gaußsche Glockenkurve. Diese Form ändert sich unter weiterer Faltung nicht mehr in ihrer Gestalt, sondern nur in ihrer Breite.

Damit ist die Glockenkurve ein Fixpunkt der Faltung – und ein Fixpunkt ist nichts anderes als ein Eigenvektor zum Eigenwert eins, hier im Raum der Wahrscheinlichkeitsverteilungen. Dies bedeutet, dass die Allgegenwart der Normalverteilung dieselbe Ursache hat wie die Stabilität des Stimmgabeltons: Sie ist das bevorzugte, sich selbst reproduzierende Muster eines wiederholt angewandten Prozesses.

Teil B · Anwendungen

Kapitel 8

Das wiederkehrende K: Quanten und KI

Die bisherigen Kapitel haben das Eigenprinzip in der Mechanik, der Datenanalyse und der Wahrscheinlichkeitstheorie aufgesucht. Dieses Kapitel führt es dorthin zurück, wo die früheren Beiträge dieses Blogs es bereits angetroffen haben: in die Quantenmechanik und das maschinelle Lernen.

In der Quantenmechanik beschreibt der Propagator, wie sich ein Teilchen von einem Ort zu einem anderen entwickelt. Er schreibt sich als Summe über Eigenzustände, gewichtet mit Phasenfaktoren der Energie-Eigenwerte:

In Kernel-Methoden des maschinellen Lernens beschreibt der Kernel, wie ähnlich zwei Datenpunkte sind. Auch er schreibt sich als Summe über Eigenfunktionen, gewichtet mit ihren Eigenwerten:

Beide Ausdrücke tragen denselben Buchstaben \(K\), und das ist kein Zufall. Beide sind eine Spektralzerlegung: eine Summe über Eigenfunktionen, jede gewichtet mit ihrem Eigenwert. Dies bedeutet anschaulich, dass die Frage Wie gelangt ein Quantenteilchen von A nach B? und die Frage Wie ähnlich sind sich zwei Datenpunkte? dieselbe mathematische Form besitzen.

Dieselbe Struktur reicht bis in moderne Sprachmodelle. Der Attention-Mechanismus eines Transformers berechnet gewichtete Ähnlichkeiten zwischen Token und lässt sich als Kernel-Operation lesen, deren Verhalten von einem Eigenwertspektrum bestimmt wird. Wie sich dieses Spektrum ändert, wenn ein Modell wächst, ist Gegenstand des Beitrags zur Emergenz.

Teil C · Was es über die Natur sagt

Kapitel 9

Entdeckt oder erfunden?

Die vorangegangenen Kapitel haben dieselbe Struktur in sehr verschiedenen Gebieten angetroffen. Diese Wiederkehr lässt sich zweifach deuten. Nach der ersten Deutung projizieren wir lediglich ein vertrautes mathematisches Werkzeug auf alles, was wir betrachten; die Eigenstruktur läge dann in unserem Blick, nicht in den Dingen. Nach der zweiten Deutung ist die Eigenstruktur ein Zug der Wirklichkeit selbst, den wir entdecken.

Ein Argument spricht für die zweite Deutung. Die Eigenmuster treten in Physik, Biologie und Informatik unabhängig voneinander auf, abgeleitet aus völlig verschiedenen Ausgangsannahmen. Wären sie bloße Projektion, müssten sie sich an den Stellen brechen, an denen die Gebiete einander nicht kennen. Stattdessen liefern sie dort dieselben Strukturen. Dieser Befund lässt sich vorsichtig im Sinne eines spektralen Realismus lesen: Die Eigenstrukturen sind nicht erfunden, sondern aufgefunden.

Vorsicht ist dennoch geboten, und hier sei die Annahme offen benannt. Dass ein Werkzeug überall passt, kann auch heißen, dass es grob genug ist, um überall zu passen. Lineare Abbildungen sind die einfachste nichttriviale Klasse von Abbildungen, und Eigenwerte sind ihr natürliches Vokabular. Ein Teil der Allgegenwart dürfte daher auf die Einfachheit des Werkzeugs zurückgehen, nicht allein auf eine Tiefe der Natur. Eine abschließende Entscheidung zwischen beiden Deutungen wird hier nicht beansprucht.

Stabilität als Auswahl

Ein verbindender Gedanke bleibt unabhängig von dieser Frage bestehen. Durch alle Kapitel zog sich dasselbe Prinzip: Stabile Muster bleiben, instabile löschen sich aus. Die Stimmgabel kehrt zu ihrem Eigenmuster zurück; die stationäre Verteilung ist der Zustand, der sich selbst reproduziert; die Glockenkurve ist die Form, die unter Faltung erhalten bleibt. In jedem Fall ist das Eigenmuster nicht das, was am lautesten beginnt, sondern das, was überdauert.

Dasselbe Auswahlprinzip trägt zwei frühere Beiträge dieses Blogs. Im Quantenbeitrag überleben jene Pfade, deren Phasen sich konstruktiv addieren, während sich die übrigen durch destruktive Interferenz auslöschen. Im Beitrag über Gott als Emergenzphänomen setzen sich kohärente Konfigurationen als Attraktoren einer Dynamik durch. Dies bedeutet, dass Eigenmuster, stabile Quantenpfade und kohärente Weltbilder Beschreibungen desselben Vorgangs sind: Ein Prozess wird wiederholt angewandt, und was ihn unverändert übersteht, bleibt zurück.

Hierin liegt das Glasperlenspiel dieses Blogs. Nicht in der Behauptung, alles sei dasselbe, sondern in der genaueren Beobachtung, dass sehr verschiedene Gegenstände denselben mathematischen Kern teilen. Erwin Schrödinger nannte seine Arbeit von 1926 Quantisierung als Eigenwertproblem. Die hier verfolgte Linie fügt dem nur hinzu, dass nicht allein die Quantisierung, sondern eine ganze Reihe stabiler Ordnungen sich als Eigenwertproblem schreiben lässt – und dass diese Ordnungen entstehen, weil ein Prozess seine eigenen bevorzugten Muster auswählt.

Häufige Fragen

Was ist das Eigenprinzip?

Das Eigenprinzip bezeichnet die Beobachtung, dass ein System, das einer einfachen lokalen Regel folgt, von selbst charakteristische stabile Muster entwickelt – die Eigenmuster. Diese Muster sind keine äußere Vorgabe, sondern eine mathematische Konsequenz der Regel und werden durch Eigenwerte und Eigenvektoren beschrieben.

Was ist der Unterschied zwischen Eigenvektor und Eigenfunktion?

Ein Eigenvektor ist ein Vektor, der unter einer Matrix seine Richtung behält und nur gestreckt wird. Eine Eigenfunktion ist eine Funktion, die unter einer Operation wie der Ableitung oder der Fourier-Transformation ihre Form behält und nur skaliert wird. Es ist dieselbe Idee, einmal im endlichdimensionalen Raum der Vektoren, einmal im unendlichdimensionalen Raum der Funktionen.

Was haben PageRank und die Hauptkomponentenanalyse gemeinsam?

Beide berechnen einen dominanten Eigenvektor. PageRank bestimmt den Eigenvektor der Google-Matrix – die stationäre Verteilung eines zufällig surfenden Besuchers. Die Hauptkomponentenanalyse bestimmt die Eigenvektoren der Kovarianzmatrix – die Richtungen größter Streuung in den Daten.

Warum taucht dieselbe Mathematik in so verschiedenen Gebieten auf?

Weil stabile Muster genau das sind, was ein wiederholt angewandter Prozess auswählt: Stabiles bleibt erhalten, Instabiles löscht sich aus. Dieses Auswahlprinzip führt in Mechanik, Datenanalyse, Wahrscheinlichkeitstheorie und Quantenmechanik auf dieselbe Eigenwert-Struktur.