8.8 Wie viele Cluster gibt es?

Lernziele

Nach der Bearbeitung dieses Abschnitts sollten Sie in der Lage sein,

zu erklären, warum die Bestimmung der Clusterzahl eine grundlegende Herausforderung des Clusterings ist.
die Elbow-Methode und ihre zugrunde liegende Intuition zu beschreiben.
den Silhouettenkoeffizienten als Maß für Clusterqualität zu interpretieren.
zwischen interner und externer Clustervalidierung zu unterscheiden.
zu erläutern, warum biologische Validierung oft informativer ist als rein mathematische Kriterien.

Nachdem wir mehrere Clustering-Verfahren kennengelernt haben, bleibt eine wichtige Frage offen:

Wie viele Cluster sind in einem biologischen Datensatz tatsächlich vorhanden?

Auf den ersten Blick wirkt diese Frage einfach. Man könnte meinen, die Daten selbst müssten doch verraten, wie viele biologische Gruppen es gibt.

Überraschenderweise ist genau das nicht der Fall.

Im Unterschied zum überwachten Lernen gibt es beim Clustering keine bekannte Referenzzuordnung (Ground Truth), mit der sich Ergebnisse direkt vergleichen ließen. Es existiert keine Liste korrekter Clusterzuordnungen, keine vorgegebenen Labels und oft nicht einmal eine eindeutige biologische Definition dessen, was als funktionelle Gruppe gelten soll.

Daher ist bereits die Wahl einer angemessenen Clusterzahl selbst ein Modellierungsproblem.

Mehr Cluster verbessern immer die Anpassung

Eine naheliegende Idee wäre es, verschiedene Clusterlösungen danach zu bewerten, wie gut sie die Daten beschreiben.

Für Verfahren wie k-Means ist das direkt möglich, weil das Optimierungsziel, also die Variation innerhalb der Cluster, für jeden Wert von (K) berechnet werden kann.

Angenommen, wir erhöhen die Zahl der Cluster schrittweise.

Bei nur einem Cluster müssen alle Beobachtungen dasselbe Zentroid teilen, was zu einer schlechten Beschreibung der Daten führt. Fügt man weitere Cluster hinzu, repräsentiert jedes Zentroid eine kleinere und homogenere Gruppe, und die Gesamtvariation innerhalb der Cluster sinkt.

Im Extremfall könnte schließlich jede Beobachtung ihren eigenen Cluster bilden.

Dann fällt jedes Zentroid exakt mit einer einzelnen Beobachtung zusammen, und die Variation innerhalb der Cluster wird null.

Mathematisch wäre dies eine perfekte Lösung.

Biologisch wäre sie jedoch völlig bedeutungslos.

Eine Clusterung, in der jedes Gen seinen eigenen Cluster bildet, liefert keinerlei Einsicht in biologische Organisation.

Daraus folgt ein wichtiger Grundsatz:

Die mathematisch optimale Clusterung ist nicht notwendigerweise die biologisch informativste.

Clustering sucht also nach einem Gleichgewicht zwischen einer guten Anpassung an die Daten und einer biologisch sinnvollen Struktur.

Die Elbow-Methode

Eine der einfachsten Strategien zur Auswahl der Clusterzahl ist die Elbow-Methode.

Sie beruht auf der Beobachtung, dass eine größere Clusterzahl die Variation innerhalb der Cluster kontinuierlich verringert.

Anfangs verbessert jeder zusätzliche Cluster die Beschreibung der Daten deutlich, weil wirklich verschiedene biologische Gruppen voneinander getrennt werden.

Mit wachsender Clusterzahl nimmt dieser Gewinn jedoch ab.

Irgendwann führt ein weiterer Cluster nur noch zu einer marginalen Verringerung der Variation, weil bestehende Cluster lediglich weiter unterteilt werden, ohne dass grundsätzlich neue biologische Organisation sichtbar wird.

Trägt man die Variation innerhalb der Cluster gegen die Zahl der Cluster auf, entsteht häufig eine charakteristische Biegung, die an einen Ellenbogen erinnert.

Der zugehörige Wert von (K) wird dann als vernünftiger Kompromiss zwischen Einfachheit und Erklärungskraft interpretiert.

Die Elbow-Methode liefert keine mathematisch strenge Lösung, bietet aber eine anschauliche Möglichkeit, den Punkt zu identifizieren, ab dem zusätzliche Modellkomplexität nur noch abnehmenden Nutzen bringt.

Der Silhouettenkoeffizient

Während die Elbow-Methode vor allem die Kompaktheit der Cluster betrachtet, berücksichtigt sie nicht explizit, wie gut sich verschiedene Cluster voneinander trennen lassen.

Ein ergänzendes Maß ist der Silhouettenkoeffizient.

Der Silhouettenwert kombiniert zwei intuitive Ideen.

Für jede Beobachtung vergleicht er

den mittleren Abstand zu Beobachtungen im eigenen Cluster
mit dem mittleren Abstand zu Beobachtungen im nächstgelegenen Nachbarcluster.

Ein gutes Clustering sollte beide Anforderungen zugleich erfüllen.

Jede Beobachtung sollte ihren eigenen Cluster eng begleiten und zugleich von benachbarten Clustern klar getrennt sein.

Silhouettenwerte liegen zwischen −1 und 1.

Werte nahe 1 bedeuten, dass Beobachtungen ihrem Cluster sehr gut zugeordnet sind.

Werte nahe 0 deuten darauf hin, dass Beobachtungen in der Nähe einer Clustergrenze liegen.

Negative Werte sprechen dafür, dass eine Beobachtung möglicherweise besser in einen anderen Cluster passen würde.

Im Unterschied zur Elbow-Methode bewertet der Silhouettenkoeffizient sowohl Clusterkohäsion als auch Clustertrennung und gehört deshalb zu den am häufigsten verwendeten internen Validierungsmaßen.

Interne und externe Validierung

Maße wie die Elbow-Methode oder der Silhouettenkoeffizient sind Beispiele für interne Validierung.

Sie beurteilen die Qualität einer Clusterung ausschließlich anhand der mathematischen Struktur der Daten.

Zusätzliche biologische Information ist dafür nicht erforderlich.

So praktisch das ist, bringt es doch eine wichtige Einschränkung mit sich.

Mathematische Qualität bedeutet nicht automatisch biologische Relevanz.

Eine Clusterung kann aus sehr kompakten und gut getrennten Gruppen bestehen und trotzdem keine biologisch sinnvollen Prozesse widerspiegeln.

Wenn biologisches Vorwissen vorhanden ist, lässt sich dieses daher zur externen Validierung heranziehen.

Man denke etwa an einen Cluster, der Gene enthält, die bereits als an der Photosynthese beteiligt bekannt sind.

Wenn der Großteil der Gene dieses Clusters dieselbe funktionelle Annotation besitzt, spricht das dafür, dass die Clusterung tatsächliche biologische Organisation erfasst.

Wenn Gene aus völlig unabhängigen Signalwegen dagegen zufällig über die Cluster verteilt sind, mag die Clusterung mathematisch konsistent, biologisch aber wenig aussagekräftig sein.

Externe Validierung bewertet Clusterergebnisse also mithilfe unabhängiger biologischer Evidenz und nicht nur anhand mathematischer Kriterien.

Experimentelles Design ist oft wichtiger als der Algorithmus

Wenn über Clustering-Verfahren gesprochen wird, richtet sich die Aufmerksamkeit leicht vor allem auf die Algorithmen.

In der Praxis hängt die Qualität einer Clusterung jedoch häufig stärker vom experimentellen Design ab als vom gewählten Verfahren.

Betrachten wir ein Genexpressionsexperiment, das ausschließlich die Antwort auf Hitzestress misst.

Gene der Hitzeschockantwort werden charakteristische Muster zeigen und sich wahrscheinlich erfolgreich clustern lassen.

Gene, die an Photosynthese, Stickstoffmetabolismus oder Zellteilung beteiligt sind, zeigen in einem solchen Experiment womöglich kaum Variation, weil diese Prozesse von der Messsituation kaum betroffen sind.

Kein Clustering-Algorithmus kann funktionelle Gruppen rekonstruieren, die in den gemessenen Daten gar nicht sichtbar werden.

Die Lösung liegt daher nicht zwangsläufig in einem ausgefeilteren Algorithmus, sondern häufig in einem reichhaltigeren experimentellen Design.

Zusätzliche Umweltbedingungen, Entwicklungsstadien oder Zeitpunkte erhöhen die in den Merkmalsvektoren enthaltene Information.

Gene, die zuvor nicht unterscheidbar waren, können dann unterschiedliche Verhaltensweisen zeigen, sodass biologisch sinnvolle Cluster sichtbar werden.

Diese Beobachtung unterstreicht einen weiteren zentralen Grundsatz der Datenwissenschaft:

Algorithmen können keine Information rekonstruieren, die nie gemessen wurde.

Die Qualität einer rechnergestützten Analyse ist grundlegend durch Qualität und Vielfalt der zugrunde liegenden experimentellen Daten begrenzt.

Mathematische Qualität versus biologische Bedeutung

Die Diskussion über Clustervalidierung macht einen wichtigen Unterschied sichtbar.

Ein Clustering-Algorithmus optimiert ein mathematisches Ziel.

Wissenschaftlerinnen und Wissenschaftler suchen jedoch biologisches Verständnis.

Diese beiden Ziele überschneiden sich oft, sind aber nicht identisch.

Eine mathematisch hervorragende Clusterung ist nicht automatisch biologisch bedeutungsvoll.

Umgekehrt muss eine biologisch wertvolle Clusterung nicht jedes mathematische Gütemaß maximieren.

Erfolgreiches Clustering verlangt deshalb die Verbindung mathematischer Validierung mit biologischer Begründung.

Algorithmen identifizieren potenzielle Struktur.

Biologisches Wissen entscheidet darüber, ob diese Struktur tatsächlich eine sinnvolle funktionelle Organisation repräsentiert.

Konzeptionelle Zusammenfassung

Die Bestimmung der Clusterzahl ist selbst ein Modellierungsproblem.
Eine größere Clusterzahl verbessert immer die mathematische Anpassung, kann aber die biologische Interpretierbarkeit verschlechtern.
Die Elbow-Methode sucht einen Ausgleich zwischen Modellkomplexität und Erklärungskraft.
Der Silhouettenkoeffizient bewertet sowohl Clusterkompaktheit als auch Clustertrennung.
Interne Validierung stützt sich ausschließlich auf die Daten, externe Validierung bezieht biologisches Wissen ein.
Ein reichhaltiges experimentelles Design trägt oft mehr zu sinnvollem Clustering bei als die Wahl eines noch komplexeren Algorithmus.

Fragen zur Selbstkontrolle

Warum verbessert eine größere Zahl von Clustern immer die mathematische Anpassung?
Welche Intuition steckt hinter der Elbow-Methode?
Worin unterscheidet sich der Silhouettenkoeffizient von der Elbow-Methode?
Was unterscheidet interne von externer Clustervalidierung?
Warum können Verbesserungen im experimentellen Design einen größeren Einfluss auf die Clusterqualität haben als ein Wechsel des Algorithmus?