Die Landschaft der computergestützten Biologie hat sich in den letzten Jahren dank der Einführung von Protein-Sprachmodellen dramatisch verändert. In Anlehnung an große Sprachmodelle (LLMs) haben diese leistungsstarken Werkzeuge ein besonderes Gespür dafür bewiesen, die Struktur und Funktion von Proteinen mit beeindruckender Präzision vorherzusagen. Sie bieten ein breites Anwendungsspektrum, das vom Aufspüren potenzieller Wirkstoffziele bis hin zur Entwicklung zukunftsweisender therapeutischer Antikörper reicht.
Doch es war ein bittersüßer Erfolg. Trotz ihrer bahnbrechenden Beiträge litten diese Modelle traditionell unter mangelnder Transparenz. Bislang hatten Wissenschaftler Schwierigkeiten zu verstehen, wie genau diese Modelle ihre Vorhersagen generieren oder welche spezifischen Eigenschaften eines Proteins sie dabei berücksichtigen. Doch dank der jüngsten Bemühungen von Forschern am MIT neigt sich diese Ära der Ungewissheit nun dem Ende zu.
Ein Forschungsteam am Labor für Informatik und Künstliche Intelligenz (CSAIL) des MIT unter der Leitung von Bonnie Berger, Simons-Professorin für Mathematik und Leiterin der Forschungsgruppe „Computation and Biology“, hat eine Methode vorgestellt, mit der sich die inneren Mechanismen dieser leistungsstarken Modelle entschlüsseln lassen. Laut einer Studie, die in der Proceedings of the National Academy of Sciences, könnte dieses neu gewonnene Verständnis Wissenschaftlern dabei helfen, Modelle für bestimmte Aufgaben effektiver auszuwählen und zu optimieren, wodurch die Geschwindigkeit der Wirkstoffforschung und der Impfstoffentwicklung gesteigert würde.
Wie funktionieren diese Protein-Sprachmodelle also? Man kann sie sich wie LLMs wie ChatGPT vorstellen, nur dass sie statt menschlicher Sprache Aminosäuresequenzen analysieren. Sie werden eingesetzt, um vorherzusagen, wie sich Proteine falten, miteinander interagieren und funktionieren. Im Jahr 2018 stellten Berger und ihr ehemaliger Student Tristan Bepler eines der ersten dieser Modelle vor und ebneten damit den Weg für spätere bahnbrechende Modelle wie AlphaFold, ESM2 und OmegaFold.
Eine der herausragendsten Anwendungen zeigte sich im Jahr 2021, als Bergers Team ein Proteinmodell nutzte, um Abschnitte von Virusproteinen zu identifizieren, bei denen Mutationen unwahrscheinlich waren. Diese entscheidenden Erkenntnisse trugen dazu bei, potenzielle Impfstoffziele für schwer zu bekämpfende Viren wie HIV, Influenza und SARS-CoV-2 zu identifizieren. Die Modelle blieben jedoch gewissermaßen eine „Black Box“ – die Wissenschaftler konnten zwar das Ergebnis beobachten, hatten aber keinen Einblick in den Prozess, der dazu führte.
Um Aufschluss über den Entscheidungsprozess innerhalb von Proteinmodellen zu gewinnen, nutzte das MIT-Team eine Methode, die als „Sparse Autoencoder“ bekannt ist – eine Technik, die mittlerweile zur Interpretation von LLMs eingesetzt wird, bisher jedoch noch nicht auf Proteinmodelle angewendet wurde. Seltsamerweise stellt ein Proteinmodell Daten in der Regel mit einer begrenzten Anzahl von Knoten dar, beispielsweise 480. Da diese Knoten dicht mit Daten gefüllt sind, ist es praktisch unmöglich zu bestimmen, was jeder einzelne Knoten darstellt. „Sparse Autoencoder“ erleichtern dies, indem sie die Darstellung auf eine viel größere Anzahl von Knoten, beispielsweise 20.000, erweitern. Diese Erweiterung ermöglicht in Verbindung mit einer Sparsity-Beschränkung eine Streuung der Daten und vereinfacht so den Prozess der Isolierung und Interpretation einzelner Merkmale.
Diese Verwendung spärlicher Darstellungen hat neue Erkenntnisse zutage gefördert. Nachdem sie spärliche Darstellungen verschiedener Proteine generiert hatten, setzten die Forscher einen von Anthropic entwickelten KI-Assistenten namens Claude ein, um die Daten zu interpretieren. Dabei zeigte sich, dass bestimmte Knotenpunkten bestimmten biologischen Merkmalen entsprechen. Neben der Vorhersage der Ergebnisse ist es nun auch möglich zu verstehen, warum das Modell eine bestimmte Vorhersage trifft. Interessanterweise stellten die Forscher fest, dass einige biologische Merkmale häufiger kodiert wurden als andere. “Auch ohne dass das Modell auf Interpretierbarkeit trainiert wurde, ergibt sich dies ganz natürlich, wenn die Sparsität gefördert wird”, räumt Onkar Gujral ein, der Hauptautor der Studie und Doktorand am MIT.
Dieser Fortschritt hat nicht nur erhebliche Auswirkungen auf den Bereich der Biologie, sondern reicht auch darüber hinaus. Da nun klar ist, welche Merkmale ein Proteinmodell kodiert, können Wissenschaftler Modelle besser auf spezifische Forschungsaufgaben abstimmen oder die Eingabedaten verfeinern, um die Vorhersagen zu verbessern, was möglicherweise zu neuen biologischen Erkenntnissen führt, die ausschließlich auf dem Modellverhalten basieren. “Sobald die Modelle leistungsfähiger werden, besteht die Möglichkeit, allein durch die Analyse dieser Modelle mehr über die Biologie zu erfahren, als derzeit bekannt ist”, bemerkt Gujral.
Diese bahnbrechende Studie wurde von den National Institutes of Health gefördert. Sie stellt einen bedeutenden und entscheidenden Schritt in Richtung Transparenz und effizienter Nutzung von KI in der Biologie dar.
Weitere Einzelheiten finden Sie im Originalartikel, der auf MIT News veröffentlicht wurde: https://news.mit.edu/2025/researchers-glimpse-inner-workings-protein-language-models-0818
Diese Website verwendet Cookies.