Modeling of research methodology through the creation of workflows in the evaluation of Digital Libraries

Digital Libraries’ (DLs) rapid emerge attracted the research interest of people from heterogenous scientific fields who realized the importance of their role within their field of activity. The heterogeneity of the community that relies aside DLs resulted the form of an analogous heterogeneity if the sphere of perspectives that DLs are evaluated. Evaluation within DLs’ context is considered as the process of determining whether the initial objectives or scope for which the system or a service has been setup is achieved or not. The specific procedure is crucial for their development and improvement and require the investment of significant resources such as people, money and technology. In any case, it is obvious that any attempt to improve the decision-making process is considered necessary.Current study intends to give an answer to a series of research questions exploiting a corpus consisted by articles focusing on the DLs’ evaluation. These articles are part from the proceedings generated by the most prominent conference of the field of DLs. More specifically, present thesis aims at the clarification of important topics relating to the field of evaluation and the fulfillment of the information needs both in terms of research production and consumption. In the next pages, the existing research topics will be analyzed, so in terms of their interconnection as also in terms of the impact they have on the readership. We ask this because each research initiative featured in a scientific paper should not be considered static and one-dimensional. A scientific publication may constitute an amalgam of more than one topics. In parallel, DLs’ evaluation research results readership will be formed regarding geographical and professional perspective and will be juxtaposed with the origin of production of such results. The topics derived from the analysis of the domain specific literature will be also examined in order to specify the impact that have to the readers’ community.Moreover, an attempt will be made in order to specify the researchers’ community methodological behavior in order to understand not only trends regarding tools and methods but also the relationship between the methodologies applied and the dimensions of evaluations that are served. Additionally, an author-topic analysis will highlight the most significant contributors of the DL evaluation field as those who present multidimensional behavior by connecting different components of the network. We ask this based on the assumption that each paper is not one dimensional and that we expect an analogous multidimensional research profile from the researchers that perform such activities. In the context of the thesis as dimensions are considered the topics of the papers that each researcher has been involved. The number of the topics in which each researcher has focused in the past constitute the different dimensions of his skills and profile. Obviously, the research questions that will be answered are many and multilevel (regarding time, place, people etc.) and that was the main reason for applying many different methodological approaches. The methods that were implemented are semantical annotation, machine learning, altmetrics and social network analysis.The results will be useful for those who actively participate on the field of DLS evaluation either as researchers or as readers. More specifically they will be able to (a) recognize the main topics of interest within the field, (b) specify topics that are highly dynamic and are considered as successful regarding the citations or altmetrics that they have received (c) find opportunities for collaboration in order to accomplish specific topic requirements (d) find the publications of the most prominent researchers of the field and to (e) specify the methodological requirements for the experiment that intend to conduct.The results confirm the fact that the DL evaluation field is interdisciplinary and that within each research activity (publication) exist at least two thematic dimensions. In order to satisfy these thematic dimensions, a high degree of cooperation is needed to continuously expand the scientific and technical capital of the people in the field. At the same time, it should be emphasized the fact that the DL evaluation is not a stable scientific area, since the topics of interest are constantly changing both in time and in space (conferences). The methodological changes/ alterations applied by the research community is also a derivative of the topic fluctuation.Η ανάπτυξη των Ψηφιακών Βιβλιοθηκών (ΨΒ) υπήρξε ραγδαία τα τελευταία χρόνια προσελκύοντας το ερευνητικό ενδιαφέρον ερευνητών από ετερογενή πεδία, οι οποίοι αντιλήφθηκαν τη σημαντικότητα του ρόλου τους στο χώρο στον οποίο δραστηριοποιούνται. Η ετερογένεια αυτή της κοινότητας η οποία περιβάλει τις ΨΒ είχε ως ακόλουθο αποτέλεσμα την ετερογένεια των οπτικών από την οποία αντιμετωπίζονται σε επίπεδο αξιολόγησης. Η έννοια της αξιολόγησης στο πλαίσιο των ΨΒ θεωρείται ως η διαδικασία προσδιορισμού του βαθμού πλήρωσης των αρχικών στόχων ή της ικανοποίησης του σκοπού για την οποία δημιουργήθηκαν και αποτελεί σημαντικό κομμάτι για την ανάπτυξη και βελτίωσή τους. Οι δύο τελευταίες διαδικασίες (η ανάπτυξη και η βελτίωση) απαιτούν την επένδυση σημαντικών πόρων, όπως ανθρώπων, χρημάτων και τεχνολογίας και επομένως κάθε προσπάθεια βελτίωσης της διαδικασίας λήψης αποφάσεων θεωρείται απαραίτητη. Έχοντας ως βάση ένα σώμα κειμένων που αφορούσαν την αξιολόγηση των ΨΒ προερχόμενο από τα τρία σημαντικότερα συνέδρια του χώρου των ΨΒ επιδιώχτηκε να δοθεί απάντηση σε μία σειρά ερωτημάτων. Συγκεκριμένα στόχος της παρούσας διατριβής είναι η αποσαφήνιση σημαντικών ζητημάτων που αφορούν στον χώρο της αξιολόγησης και η ικανοποίηση των πληροφοριακών αναγκών τόσο σε επίπεδο ερευνητικής παραγωγής, όσο και κατανάλωσης. Συγκεκριμένα θα αναλυθεί η υφιστάμενη ερευνητική θεματολογία, αλλά και η διασύνδεση των θεμάτων που έχουν τεθεί υπό διαπραγμάτευση με σκοπό τον προσδιορισμό τω ερευνητικών πεδίων που έρχονται σε αλληλεπίδραση. Παράλληλα θα αναλυθεί η δυναμική των θεμάτων αυτών, όσον αφορά στην απήχηση που είχαν στο αναγνωστικό κοινό. Το αναγνωστικό κοινό των αποτελεσμάτων της ερευνητικής διαδικασίας της αξιολόγησης ΨΒ θα προσδιοριστεί σε επίπεδο γεωγραφικής προέλευσης και επαγγελματικής δραστηριότητας και θα τεθεί σε αντιπαραβολή με τους παραγωγούς των αποτελεσμάτων. Στην ουσία προσδιορίζεται η σχέση ερευνητικής παραγωγής και κατανάλωσης.Επιπλέον, θα γίνει διερεύνηση της μεθοδολογικής συμπεριφοράς των ερευνητών του χώρου προκειμένου να προσδιοριστούν οι τάσεις σε επίπεδο εργαλείων και μεθόδων, αλλά και η συσχέτιση διάστασης της αξιολόγησης που διενεργείται με την εφαρμοζόμενη μεθοδολογία. Τέλος σημαντικό κομμάτι της διατριβής αποτελεί και η διαμόρφωση του ερευνητικού ανθρωποδικτύου του χώρου της αξιολόγησης με σκοπό τον εξέταση του βαθμού συνεργατικότητας που απαιτείται για την συγγραφή των θεματικών πεδίων που προέκυψαν από την έρευνα. Μέσα στις ερευνητικές μικροκοινότητες που αναπτύσσονται εντός του χώρου αναπτύσσεται το επιστημονικό και τεχνικό κεφάλαιο φορέας του οποίου είναι το κάθε μέλος αυτών των κοινοτήτων. Η ανάδειξη των σημαντικότερων κόμβων του συγγραφικού ανθρωποδικτύου της αξιολόγησης ΨΒ θα γίνει όχι με βάση τον βαθμό της συγγραφικής παραγωγής, αλλά με βάση τον βαθμό πολυδιάστασης της συγγραφικής του δραστηριότητας. Με τον όρο διάσταση ορίζεται η θεματολογία με την οποία έχει ασχοληθεί ένας συγγραφέας και ως εκ τούτου ο αριθμός των θεμάτων ενασχόλησης προσδιορίζει και τον βαθμό των διαστάσεων στις οποίες μπορεί να ανταποκριθεί ερευνητικά. Για την απάντηση τόσων, αλλά και τόσο σύνθετων ερωτημάτων εφαρμόστηκαν ποικίλες μέθοδοι όπως η σημασιολογική επισημείωση, τεχνικές μηχανικής μάθησης, altmetrics και ανάλυση κοινωνικών δικτύων. Οι ενδιαφερόμενοι του χώρου θα μπορέσουν (α) να προσδιορίσουν κενά στη θεματολογία του χώρου (β) να προσδιορίσουν θεματικές περιοχές που ενδιαφέρουν το κοινό (γ) να εντοπίσουν συναδέλφους με τους οποίους μπορούν να συνεργαστούν για την υλοποίηση συγκεκριμένων ερευνητικών θεμάτων (δ) να εντοπίσουν τη βιβλιογραφία των σημαινόντων ερευνητών και (ε) να προσδιορίσουν τις μεθοδολογικές απαιτήσεις του πειράματος αξιολόγησης που σκοπεύουν να ολοκληρώσουν. Τα αποτελέσματα επιβεβαιώνουν το γεγονός ότι ο χώρος της αξιολόγησης ΨΒ είναι διεπιστημονικός και ότι σε κάθε συγγραφική δραστηριότητα συνυπάρχουν τουλάχιστον δύο θεματικές διαστάσεις. Για την ικανοποίηση αυτών των θεματικών διαστάσεων απαιτείται υψηλός βαθμός συνεργασίας διευρύνοντας διαρκώς το επιστημονικό και τεχνικό κεφάλαιο των ανθρώπων του χώρου. Ταυτόχρονα θα πρέπει να υπογραμμιστεί ότι η αξιολόγηση των ΨΒ δεν αποτελεί ένα παγιωμένο επιστημονικό χώρο, αφού η θεματολογία διαρκώς μεταβάλλεται τόσο στο χρόνο όσο και στο χώρο (συνέδριο). Παράγωγο της μεταβολής αυτής της θεματολογίας είναι και η ανάλογη μεταβολή των μεθοδολογιών που εφαρμόζονται από την ερευνητική κοινότητα