Understanding memory representations through deep neural networks

Bisher wurden tiefe neuronale Netzwerkmodelle (DNN) in der Objekterkennung eingesetzt, jedoch könnten DNNs ein nützliches Instrument für neuronale Gedächtnisrepräsentationen sein. Mithilfe multivariater Methoden kombinierten wir Modellmerkmale und Gehirnaktivitätsmuster. Encoding Modelle auf ultra-hochauflösendem-fMRT zeigten einen analogen Komplexitätsgradienten in DNN und Gehirn. DNNs zeigten eine Transformation von perzeptuellen zu konzeptuellen Formaten während des visuellen Kurzzeitgedächtnisses, der Konsolidierung und des Abrufs im intrakraniellen EEG und Verhalten. Die Untersuchung komplexer visueller Inputs in Form von Emotionen mittels trauma-analogen Videos zeigte eine höhere Generalisierung von perzeptuellen und konzeptuellen Formaten. Insgesamt zeigt diese Arbeit, dass visuelle DNNs in Kombination mit semantischen DNNs Repräsentationsformate des Gedächtnisses wiedergeben und als Instrument zur Untersuchung von Gedächtnisrepräsentationen eingesetzt werden können.Previous research employed deep neural network models (DNN) to study object recognition, though DNNs might offer a powerful framework to study neural representations in beyond vision. Using multivariate methods, we combined model feature representations and brain activity patterns across multiple stages of memory. Encoding models on ultra-high field fMRI revealed an analogue gradient in complexity in DNN and the brain. DNNs revealed a shift from perceptual to conceptual processing formats during visual-short-term memory, consolidation, and retrieval in intracranial EEG and behavior. Investigating complex visual inputs in form of emotions using to trauma-analogue videos, DNN models demonstrated higher generalization of perceptual and conceptual features. Overall, this work demonstrates that vision DNN models accurately reflect memory representational formats, when combined with semantic language models, and can be used as a powerful tool to study memory