Getting back on the trail : combating information overload with Topic Maps

Information overload is not a recent problem that was born with the birth of the World Wide Web. It has been recognized for a long time, and most notably by Vannevar Bush more than 60 years ago, and presented in his famous 1945 article ``As we may think''. He thought that humanity would not be able to develop any further if we did not do something to structure our dispersed and ever growing mass of information in a way that would help us use it to our common good. Bush saw the indexing methods of his time as insufficient for the task at hand, and proposed the structuring of information associatively, closer to how the human mind actually works, by arbitrary association. In light of all the new technology being created as a result of the war effort he envisioned the possibilities to use these technologies in the aid of man to possibly implement a machine that would help us in selecting our information associatively rather than by indexing. Since then it has become increasingly apparent that HTML, the standard markup language for the web is, by implementing pure associative structuring and linking alone, not an adequate tool for increasing selectability or decreasing information overload. We are in some ways in the same situation as Bush was in when he saw the problems that had to be solved, and at the same time seeing possible solutions being within our grasp by the use of new emerging technologies. Our task is now to figure out how to put these new technologies of our time at work to do what they are best at, and what roles they should play in the future framework for structuring of information on the web. There is also a need for a methodological approach to information structuring in order to consciously design holistic information that will work to the benefit of humanity. This thesis is an attempt to look back at what we have learned about hypertext since Bush's time, and a discussion of possible solutions that could be attempted by using new technologies to implement what has been seen to work well. As a practical exercise, an implementation of Bush's thought Memex and especially the notion of his trail is attempted by the use of Topic Map technology. This is done to illustrate how the need for a high level structuring of existing information was recognized already by Bush in envisioning the trail. And how Topic Maps could play an important role in implementing the high level information layer for a future web of information. Norsk: Informasjonsoverflod er ikke et nytt problem som oppsto sammen med verdensveven. Det har lenge vært gjenkjent som et problem, gjort først kjent av Vannevar Bush for over 60 år siden. og presentert i hans nå berømte artikkel ``As we may think'' fra 1945. Han mente at menneskeheten ikke ville være i stand til å utvikle seg med mindre vi gjorde noe for å strukturere vår spredte og voksende informasjonsmengde slik at vi kunne nyttiggjøre oss den til felles beste. Bush så at indekseringsmetodene på hans tid ikke var gode nok og foreslo at informasjon burde struktureres assosiativt, etter hvordan de menneskelige tankeprosesser fungerer - ved tilfeldige assosiasjoner. I lys av all den nye teknologien som kom som et resultat av andre verdenskrig, så han muligheten til å bruke disse nye teknologiene til å lage en maskin som kunne hjelpe mennesket i å finne frem til informasjon assosiativt istedenfor å gå gjennom indeksert informasjon. Siden da har det blitt gradvis klarere at HTML, det standardiserte oppmerkingsspråket for verdensveven, ikke er et tilstrekkelig verktøy for å øke gjenfinning av informasjon eller for å minske informasjonsoverflod. På mange måter er vi i dag i samme situasjon som Bush var i når han så problemene som måtte løses, og samtidig så mulige løsninger innenfor rekkevidde ved hjelp av nye teknologier som hadde dukket opp. Vår oppgave er å finne ut hvordan vi skal bruke vår tids teknologier til å gjøre den jobben de er best til, og hvilke roller de skal spille i et fremtidig rammeverk for strukturering av informasjon på verdensveven. Det er på samme tid behov for en metodologisk fremgangsmåte for å bevisst designe holistisk informasjon som vil fungere til beste for menneskeheten. Denne hovedoppgaven er et forsøk på å gjøre et tilbakeblikk på hva vi har lært om hypertekst siden Bush sin tid, og en diskusjon rundt mulige løsninger muliggjort av nye teknologier til å implementere det som vi har sett fungere bra. Som en praktisk øvelse, gjøres det et forsøk på å implementere Bush sin Memex, spesielt konseptet om ``trails'', implementert ved hjelp av emnekartteknologi (Topic Maps). Dette er gjort for å illustrere hvordan vårt behov får høynivå-strukturering av informasjon var identifisert allerede av Bush da han så for seg konseptet om ``trails''. Samt å vise hvordan emnekart kan spille en viktig rolle i implementasjonen av et høynivå informasjonslag for fremtidig informasjon på verdensveven