Kann die künstliche Intelligenz (KI) helfen uns zu verstehen, wie das Gehirn Sprache versteht? Können die Neurowissenschaften werden uns helfen zu verstehen, warum die KI und neuronale Netze sind effektiv bei der Vorhersage der menschlichen Wahrnehmung?
Forschung von Alexander Huth und Shailee Jain von Der Universität Texas in Austin (UT Austin) schlägt vor, beide sind möglich.
In einem Vortrag auf das Jahr 2018 Conference on Neural Information Processing Systems (NeurIPS), der Gelehrte beschrieben die Ergebnisse von Experimenten, die verwendet künstliche neuronale Netze, Vorhersage mit größerer Genauigkeit als je zuvor, wie die verschiedenen Bereiche im Gehirn reagieren auf bestimmte Wörter.
„Da die Wörter in unseren Köpfen, wir Formen Ideen von dem, was jemand sagt, zu uns, und wir wollen verstehen, wie das kommt, um uns im inneren des Gehirns“, sagte Huth, assistant professor der Neurowissenschaft und der informatik an der UT Austin. „Es scheint, wie es sein sollte-Systeme, aber praktisch ist das eben nicht, wie Sprache funktioniert. Wie alles in der Biologie, es ist sehr schwer zu reduzieren, um einen einfachen Satz von Gleichungen.“
Die Arbeit beschäftigt eine Art von rekurrenten neuronalen Netzwerk namens long short-term memory (LSTM) schließt in seine Berechnungen die Beziehungen der einzelnen Wort zu, was vorher kam, um eine bessere Erhaltung Kontext.
„Wenn ein Wort hat mehrere Bedeutungen, entnehmen Sie die Bedeutung des Wortes für diesen bestimmten Satz je nach dem, was bereits gesagt wurde“, sagte Jain, Doktorand in der Huth ‚ s Labor an der UT Austin. „Unsere Hypothese ist, dass dies führen würde, um bessere Vorhersagen der Aktivität des Gehirns, weil das Gehirn kümmert sich um den Kontext.“
Es klingt offensichtlich, aber für Jahrzehnte neurowissenschaftliche Experimente betrachtet, die Reaktion des Gehirns auf einzelne Wörter ohne Sinn Ihrer Verbindung zu Ketten von Wörtern oder Sätzen. (Huth beschreibt die Bedeutung des Tuns „real-world neuroscience“ im März 2019 Papier im Journal of Cognitive Neuroscience.)
In Ihren arbeiten konnten die Forscher führten Experimente, um zu testen, und letztlich Vorhersagen, wie die verschiedenen Bereiche im Gehirn reagieren würde, beim hören von Geschichten (speziell, the Moth Radio Hour). Sie verwendet Daten aus fMRI (functional magnetic resonance imaging) Maschinen, erfassen Veränderungen in der Blut-Oxygenierung Ebene im Gehirn auf, wie aktiv die Gruppen von Nervenzellen sind. Dieser dient als Korrespondent für die, wo die Sprache, die Begriffe sind „vertreten“ im Gehirn.
Mit Hilfe leistungsfähiger Supercomputer in dem Texas Advanced Computing Center (TACC), Sie trainiert eine-Sprache-Modell mit der LSTM-Methode, so könnte es effektiv vorherzusagen, welches Wort kommen würde — eine Aufgabe, die ähnlich wie Google-auto-complete-Suche, die der menschliche Geist ist besonders geschickt darin.
„Bei dem Versuch, vorherzusagen, das nächste Wort, dieses Modell hat implizit lernen alle diese anderen Sachen, wie Sprache funktioniert“, sagte Huth, „wie die Worte neigen dazu, Folgen anderen Worten, ohne jemals tatsächlich den Zugriff auf das Gehirn oder irgendwelche Daten, die über das Gehirn.“
Basierend auf der Sprache, Modell und fMRI-Daten, Sie bildeten ein system, das voraussagen könnte, wie das Gehirn reagieren würde, wenn er hört, jedes Wort in eine neue Geschichte für die erste Zeit.
Bisherige versuche hätten gezeigt, dass es möglich ist, zu lokalisieren Sprache Antworten, die im Gehirn wirksam. Aber die neue Forschung zeigte, dass das hinzufügen der Kontext-element-in diesem Fall bis zu 20 Wörter, die vor kam — verbesserte Hirnaktivität Vorhersagen deutlich. Sie fand, dass Ihre Prognosen zu verbessern, auch wenn die wenigsten von Kontext verwendet wurde. Je mehr Kontext zur Verfügung gestellt wird, desto besser ist die Genauigkeit Ihrer Prognosen.
„Unsere Analyse zeigte, dass, wenn die LSTM enthält mehr Wörter, dann wird es besser bei der Vorhersage des nächsten Wortes“, sagte Jain, „was bedeutet, dass es sein muss, einschließlich Informationen von den Worten in die Vergangenheit.“
Die Forschung ging weiter. Es erforscht, welche Teile des Gehirns wurden mehr empfindlich auf die Menge der Kontext enthalten. Sie fanden, zum Beispiel, dass Konzepte, die offenbar lokalisiert werden, um die auditorischen cortex wurden weniger abhängig von Kontext.
„Wenn Sie hören, das Wort Hund, dieser Bereich kümmert sich nicht, was die 10 Wörter vor, die es nur zu reagieren, um den Klang des Wortes „Hund“ Huth erklärte.
Auf der anderen Seite, Gehirn Bereiche, die sich mit der höheren Ebene denken waren leichter zu lokalisieren, wenn mehr Kontext enthalten war. Dies unterstützt die Theorien des Geistes und der Sprache.
„Es war ein wirklich netter Korrespondenz zwischen der Hierarchie der künstlichen Netz und die Hierarchie des Gehirns, die wir interessant finden,“ Huth sagte.
Verarbeitung natürlicher Sprache-oder NLP — getroffen hat, große Fortschritte in den letzten Jahren. Aber wenn es um die Beantwortung von Fragen, die eine „Natürliche“ Gespräche, oder der Analyse der Gefühle in geschriebenen Texten, NLP hat noch einen langen Weg zu gehen. Die Forscher glauben, dass Ihre LSTM entwickelte Sprache ein Modell kann in diesen Bereichen helfen.
Der LSTM (und neuronale Netzwerke im Allgemeinen) arbeiten durch zuweisen von Werten in hoch-dimensionalen Raum auf einzelne Komponenten (hier Wörter), so dass jede Komponente kann definiert werden durch Ihre Tausende von disparaten Beziehungen zu vielen anderen Sachen.
Die Forscher trainierten die Sprache Modell durch die Einspeisung von Millionen von Wörtern aus Reddit-posts. Ihr system dann machte Vorhersagen, wie die Tausende von voxels (dreidimensionales Pixel) in die Gehirne von sechs Versuchspersonen reagieren würde, um einen zweiten Satz von Geschichten, die weder das Modell noch die Personen schon vorher gehört hatte. Denn Sie waren daran interessiert, die Effekte von Kontext, die Länge und die Wirkung der einzelnen Schichten im neuronalen Netzwerk, die Sie im wesentlichen getestet 60 verschiedene Faktoren (20 Längen von context retention und drei verschiedenen Schichten, Dimensionen) für jedes Thema.
All dies führt auf rechnerische Probleme, der enorme Ausmaße, erfordern riesige Mengen an Rechenleistung, Arbeitsspeicher -, Speicher-und Daten-Abruf. TACC Ressourcen waren gut geeignet, um das problem. Die Forscher verwendeten die Maverick supercomputer, die enthält beide GPUs und CPUs für den EDV-Aufgaben, und Corral, storage und Daten-management-Ressourcen, der Erhaltung und Weitergabe der Daten. Durch die Parallelität der Probleme über viele Prozessoren, werden Sie in der Lage waren, die rechnerische experiment in Wochen statt Jahren.
„Um diese zu entwickeln, Modelle effektiv, müssen Sie eine Menge von Trainingsdaten, die“ Huth sagte. „Das bedeutet, dass Sie zu Durchlaufen haben, Ihre gesamte dataset jedes mal, wenn Sie wollen, aktualisieren der GEWICHTE. Und das ist von Natur aus sehr langsam, wenn Sie nicht parallel Ressourcen wie die in der TACC.“
Wenn es klingt Komplex, gut — es ist.
Dies führt Huth und Jain zu prüfen, eine optimierte version des Systems, wo anstelle der Entwicklung einer Sprache, die Vorhersage-Modell und dann die Anwendung auf das Gehirn, Sie entwickeln ein Modell, das direkt prognostiziert die Reaktion des Gehirns. Sie nennen dies eine end-to-end-system und es ist, wo Huth und Jain hoffen, zu gehen, sich in Ihrer zukünftigen Forschung. Ein solches Modell würde die Leistung verbessern, die direkt auf das Gehirn Antworten. Eine falsche Vorhersage der Aktivität des Gehirns wäre feedback in das Modell und Ansporn für Verbesserungen.
„Wenn das funktioniert, dann ist es möglich, dass dieses Netzwerk könnte lernen, den text zu Lesen oder Einnahme-Sprache ähnlich wie unsere Gehirne tun“, Huth sagte. „Stell dir vor, Google zu Übersetzen, aber Sie versteht, was Sie sagen, statt nur zu lernen, eine Reihe von Regeln.“
Mit einem solchen system in Ort, Huth glaubt, es ist nur eine Frage der Zeit, bis ein mind-reading system, dass die übersetzen können die Aktivität des Gehirns in der Sprache möglich ist. In der Zwischenzeit gewinnen Sie Einblicke sowohl in den Neurowissenschaften und der künstlichen Intelligenz, die aus Ihren Experimenten.
„Das Gehirn ist eine sehr effektive Berechnung der Maschine und das Ziel der künstlichen Intelligenz ist es, Maschinen zu bauen, die wirklich gut sind, bei allen Aufgaben, die ein Gehirn tun können“, sagte Jain. „Aber wir verstehen nicht viel über das Gehirn. Also, wir versuchen, künstliche Intelligenz zu ersten Frage, wie das Gehirn funktioniert, und dann, basierend auf den Erkenntnissen, die wir gewinnen durch diese Methode des verhörens, und durch theoretische Neurowissenschaft, wir verwenden diese Ergebnisse, um die Entwicklung besserer künstlicher Intelligenz.
„Die Idee ist, zu verstehen, kognitive Systeme, die beide biologischen und künstlichen, und für die Verwendung im tandem zu verstehen und bessere Maschinen bauen.“