Studies of working memory in interrupted human-computer interaction

Distraction in the workplace is increasingly more common in the information age. Several tasks and sources of information compete for a worker's limited cognitive capacities in human-computer interaction (HCI). In some situations even very brief interruptions can have detrimental effects on memory. Nevertheless, in other situations where persons are continuously interrupted, virtually no interruption costs emerge. This dissertation attempts to reveal the mental conditions and causalities differentiating the two outcomes. The explanation, building on the theory of long-term working memory (LTWM; Ericsson and Kintsch, 1995), focuses on the active, skillful aspects of human cognition that enable the storage of task information beyond the temporary and unstable storage provided by short-term working memory (STWM). Its key postulate is called a retrieval structure an abstract, hierarchical knowledge representation built into long-term memory that can be utilized to encode, update, and retrieve products of cognitive processes carried out during skilled task performance. If certain criteria of practice and task processing are met, LTWM allows for the storage of large representations for long time periods, yet these representations can be accessed with the accuracy, reliability, and speed typical of STWM. The main thesis of the dissertation is that the ability to endure interruptions depends on the efficiency in which LTWM can be recruited for maintaing information. An observational study and a field experiment provide ecological evidence for this thesis. Mobile users were found to be able to carry out heavy interleaving and sequencing of tasks while interacting, and they exhibited several intricate time-sharing strategies to orchestrate interruptions in a way sensitive to both external and internal demands. Interruptions are inevitable, because they arise as natural consequences of the top-down and bottom-up control of multitasking. In this process the function of LTWM is to keep some representations ready for reactivation and others in a more passive state to prevent interference. The psychological reality of the main thesis received confirmatory evidence in a series of laboratory experiments. They indicate that after encoding into LTWM, task representations are safeguarded from interruptions, regardless of their intensity, complexity, or pacing. However, when LTWM cannot be deployed, the problems posed by interference in long-term memory and the limited capacity of the STWM surface. A major contribution of the dissertation is the analysis of when users must resort to poorer maintenance strategies, like temporal cues and STWM-based rehearsal. First, one experiment showed that task orientations can be associated with radically different patterns of retrieval cue encodings. Thus the nature of the processing of the interface determines which features will be available as retrieval cues and which must be maintained by other means. In another study it was demonstrated that if the speed of encoding into LTWM, a skill-dependent parameter, is slower than the processing speed allowed for by the task, interruption costs emerge. Contrary to the predictions of competing theories, these costs turned out to involve intrusions in addition to omissions. Finally, it was learned that in rapid visually oriented interaction, perceptual-procedural expectations guide task resumption, and neither STWM nor LTWM are utilized due to the fact that access is too slow. These findings imply a change in thinking about the design of interfaces. Several novel principles of design are presented, basing on the idea of supporting the deployment of LTWM in the main task.Keskeytykset ja häiriöt ovat yleistyvä ja ihmisiä huolestuttava ilmiö tietoyhteiskunnassa. Tietokoneen käyttäjän huomiosta kilpailevat useat ärsykkeet, joihin orientoituminen johtaa päätehtävän väliaikaiseen keskeytymiseen. Mutta miksi keskeytyksillä ei yleensä ole huomattavia vaikutuksia suoritukseen, kun taas joissakin tapauksissa on vaikea palata keskeytyneeseen tehtävään tai jotakin unohtuu? Tässä väitöskirjassa tutkittiin, millä ehdoilla käyttäjät pystyvät muistamaan keskeytetyn tehtävän ja palaamaan siihen luontevasti. Osoittautui, että ero haitallisten ja ei-haitallisten keskeytysten välillä perustuu sellaisten muistitaitojen soveltamiseen, jotka mahdollistavat pitkäkestoisen muistin tehokkaan käyttämisen. Tällöin tehtävärepresentaation aktivoimiseen tarvittavat palautusvihjeet tallennetaan muistiin ennakoivasti ja valikoivasti osana tehtävän normaalia kognitiivista prosessointia. Sen sijaan yksiulotteisten palautusstrategioiden käyttäminen sekä yritykset pitää asia mielessä keskeytyksen ajan sitä mielessä toistamalla johtivat asian unohtamiseen. Väitöskirjassa eksplikoidaan reunaehtoja näiden muistitaitojen hyödyntämiselle. Eräs keskeisimmistä havainnoista on se, että nopeissa visuaalisesti orientoituneissa tehtävissä ei muististrategioita pystytä hyödyntämään, ja nämä ovat siksi alttiimpia keskeytyksille. Lisäksi tutkittiin taitosidonnaista mieleenpainamisen nopeutta yhtenä keskeisenä keskeytysten kustannuksia ennustavana parametrina. Kun tehtävä pakotti liian nopeaan prosessointiin, pitkäkestoisen muistin palautusrakenteet olivat alttiimpia interferenssille eli kilpailevista muistisisällöistä johtuvalle vaikeudelle erottaa sisältöjä toisistaan. Tällaisissa tilanteissa keskeytykset aiheuttivat unohtamisen lisäksi altiutta sekaannuksille. Keskeytetty käyttäjä voi harhaisesti uskoa, että jokin aikaisemmin opittu muistisisältö oli osa keskeytynyttä tehtävää. Aikaisemman tutkimuksen pääasiallisena kohteena on ollut lyhytkestoisen muistin tekniikoiden merkitys keskeytetyn tehtävän ylläpidossa. Väitöskirja laajentaa tätä tarkastelemalla eri muististrategioiden suhdetta tehtävän niiden hyödyntämiselle asettamiin ehtoihin. Aiemmin keskeytyksiä onkin yritetty ehkäistä pääasiassa estämällä niiden aiheutuminen tai keskittämällä niiden ajoitus mahdollisimman vähän kuormittuneisiin ajanhetkiin. Väitöskirjan keskeinen sanoma soveltajille on, että työn, työympäristön ja käyttöliittymien organisoinnilla voidaan tukea keskeytystoleranssiin johtavien muistitaitojen kehittymistä työtehtävissä ja näin ehkäistä keskeytysten haitallisia vaikutuksia