Die Initiative „Neuronen im Heuhaufen finden“ am MIT, Harvard und der Northeastern University führt sporadische Untersuchungen durch

Es ist üblich, sich neuronale Netze als adaptive „Merkmalsextraktoren“ vorzustellen, die lernen, indem sie geeignete Darstellungen anhand ihrer anfänglichen Roheingabe schrittweise verbessern. Es stellt sich also die Frage: Welche Eigenschaften werden dargestellt und auf welche Weise? Um zu verstehen, wie hochrangige, vom Menschen interpretierbare Merkmale in den neuronalen Aktivierungen von LLMs beschrieben werden, schlägt ein Forschungsteam des MIT, der Harvard University (HU) und der Northeastern University (NEU) eine Technik namens Sparse Investigation vor.

Standardmäßig trainieren Forscher den zugrunde liegenden Klassifikator (Sonde) auf interne Aktivierungen eines Modells, um das Eingabemerkmal vorherzusagen, und untersuchen dann das Netzwerk, um zu sehen, ob und wo es das fragliche Merkmal darstellt. Die vorgeschlagene Sparse-Screening-Methode untersucht mehr als 100 Variablen, um relevante Neuronen zu identifizieren. Diese Methode überwindet die Einschränkungen bisheriger Screening-Methoden und wirft Licht auf die komplexe Struktur von LLMs. Dadurch wird der Untersuchungsklassifikator darauf beschränkt, in seinen Vorhersagen nicht mehr als k Neuronen zu verwenden, wobei k eine Variable zwischen 1 und 256 ist.

Das Team verwendet hochmoderne Vorhersagetechniken für die spärliche Optimierung, um die kleine k-Präferenz eines Sub-k-sparse-Merkmalsauswahlproblems zu beweisen und die Verwechslung von Rangfolge und Klassifizierungsgenauigkeit anzugehen. Sie nutzen Varianz als induktive Vorspannung, um sicherzustellen, dass ihre Sonden eine robuste A-priori-Einfachheit beibehalten können, und um Schlüsselneuronen der granularen Untersuchung zu identifizieren. Darüber hinaus kann die Technik ein zuverlässigeres Signal darüber erzeugen, ob ein bestimmtes Merkmal explizit dargestellt und nachgelagert verwendet wird, da die mangelnde Kapazität die Sonden daran hindert, sich Korrelationsmuster zu merken, die mit den interessierenden Merkmalen verbunden sind.

Die Forschungsgruppe LLMs verwendete in ihrem Experiment einen autoregressiven Transformator und berichtete über Klassifizierungsergebnisse nach dem Training von Sonden mit unterschiedlichen k-Werten. Sie schließen aus der Studie wie folgt:

• LLM-Neuronen enthalten eine Fülle interpretierbarer Strukturen, und eine spärliche Sondierung ist eine effektive Möglichkeit, sie zu lokalisieren (sogar im Overlay-Zustand). Um eindeutige Schlussfolgerungen ziehen zu können, muss es jedoch mit Vorsicht verwendet und eine anschließende Analyse durchgeführt werden.
• Wenn viele Neuronen in der ersten Schicht für unkorrelierte N-Gramme und lokale Muster aktiviert werden, werden die Merkmale als spärliche lineare Gruppen polysemischer Neuronen kodiert. Gewichtsstatistiken und Erkenntnisse aus Spielmodellen lassen uns auch zu dem Schluss kommen, dass die ersten 25 % der vollständig verbundenen Schichten Overlay ausgiebig nutzen.
• Obwohl endgültige Schlussfolgerungen zur Monosemantizität methodisch noch schwer zu fassen sind, kodieren monosemantische Neuronen, insbesondere in den mittleren Schichten, kontextuelle und sprachliche Eigenschaften auf höherer Ebene (wie z. B. is_python_code).
• Während die Varianz in der Darstellung tendenziell zunimmt, wenn die Größe der Modelle zunimmt, ist dieser Trend nicht überall gültig; Einige Merkmale entstehen mit zunehmender Modellgröße mit dedizierten Neuronen, andere zerfallen mit zunehmender Modellgröße in feinere Merkmale und viele andere ändern sich entweder nicht oder kommen zufällig an.

Wenige Vorteile eines spärlichen Klangs

• Das potenzielle Risiko einer Verwechslung von Klassifizierungsqualität und Rankingqualität bei der Untersuchung einzelner Neuronen mit Sonden wird durch die Verfügbarkeit von Sonden mit Kollateraloptimierung weiter angegangen.
• Darüber hinaus zielen Sparse-Probes auf eine geringe Speicherkapazität ab, sodass weniger Grund zur Besorgnis darüber besteht, dass die Probe die Aufgabe selbst erlernen kann.
• Für die Untersuchung benötigen Sie einen moderierten Datensatz. Sobald jedoch eines erstellt wurde, können Sie es zur Interpretation jedes Modells verwenden, was die Tür für die Erforschung von Dingen wie der Universalität erworbener Schaltkreise und der Hypothese der natürlichen Abstraktion öffnet.
• Anstatt sich auf subjektive Einschätzungen zu verlassen, kann damit untersucht werden, wie sich unterschiedliche architektonische Entscheidungen auf das Auftreten von Polysemie und Überlagerung auswirken.

Eine vereinzelte Untersuchung hat ihre Grenzen

• Aussagekräftige Schlussfolgerungen können nur aus der Untersuchung der Versuchsdaten mit zusätzlicher sekundärer Untersuchung spezifischer Neuronen gezogen werden.
• Aufgrund der Empfindlichkeit gegenüber Implementierungsdetails, Anomalien, Fehlcharakterisierungen und irreführenden Korrelationen im Untersuchungsdatensatz bietet die Untersuchung nur begrenzte Einblicke in die Kausalität.
• Insbesondere im Hinblick auf die Interpretierbarkeit sind spärliche Sonden nicht in der Lage, über mehrere Schichten hinweg generierte Merkmale zu erkennen oder zwischen Merkmalen in einer Überlagerung und Merkmalen zu unterscheiden, die als Vereinigung mehrerer unterschiedlicher, subtilerer Merkmale dargestellt werden.
• Es kann ein iteratives Bereinigen erforderlich sein, um alle interessierenden Neuronen auszuwählen, wenn bei spärlicher Sondierung aufgrund von Redundanz im Assay-Datensatz einige übersehen werden. Die Verwendung von Eigenschaften mit mehreren Symbolen erfordert eine spezielle Verarbeitung, die üblicherweise mithilfe von Aggregationen implementiert wird, die die Spezifität des Ergebnisses weiter beeinträchtigen können.

Mithilfe einer revolutionären sporadischen Screening-Technik deckt unsere Arbeit eine Fülle menschlich verständlicher und reichhaltiger Strukturen in LLMs auf. Die Wissenschaftler planen, möglicherweise mithilfe künstlicher Intelligenz ein umfassendes Repository mit Umfragedatensätzen aufzubauen, das Details aufzeichnet, die für Voreingenommenheit, Fairness, Sicherheit und Entscheidungsfindung mit hohem Risiko relevant sind. Sie ermutigen andere Forscher, sich an der Erforschung dieser „ehrgeizigen Interpretation“ zu beteiligen, und argumentieren, dass ein experimenteller Ansatz, der an die Naturwissenschaften erinnert, produktiver sein könnte als experimentelle Episoden des maschinellen Lernens. Die Verfügbarkeit breiter und vielfältiger moderierter Datensätze wird eine verbesserte Bewertung der nächsten Generation unbeaufsichtigter Interpretationstechniken ermöglichen, die erforderlich sein werden, um mit dem Fortschritt der KI Schritt zu halten, sowie die Automatisierung der Bewertung neuer Modelle.

scannen Sie die Papier. Vergessen Sie nicht, mitzumachen 26k+ML Sub RedditUnd Discord-KanalUnd Und E-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen. Wenn Sie Fragen zum obigen Artikel haben oder wir etwas verpasst haben, schreiben Sie uns gerne eine E-Mail an Asif@marktechpost.com

🚀 Schauen Sie sich 100 AI Tools im AI Tools Club an