SERIOUS GAMING AS CRIME PREVENTION? The Effectiveness of a Serious Game and the Role of Personality Traits in reducing the proneness towards Social Engineering fraud

Social Engineering is a threat for the security of information to individuals and companies alike. Deceptive criminals with malicious intentions manipulate people all around the world for their financial gain or for the sake of the information itself. Social engineering threats show themselves for example in phishing attacks, phone call scams or even interpersonal physical attacks. Effective universal preventive strategies against those criminal acts are still desirable. What all the different types of attack have in common is its manipulation of human psychology to trick people into trusting a trickster with confidence. The aim of this thesis was to investigate the role of personality traits and the effectiveness of an interactive serious game as security training concerning the proneness of people in falling prey to a social engineering attack. A discussion and derivation of psychological influencing factors was presented for the further application in the research. In a qualitative study with a sample size of 97 professionals, a serious game was researched for improvements concerning its content and proceeding. The derived serious game was then used as an intervention in a controlled quasi-randomized field experiment with 180 reserve soldiers of the Swiss Armed Forces. Phishing emails were used as test instruments, testing whether participants click a link in the email that would direct them to a designated landing page and secondly whether those who clicked also inputted the requested information on the landing page. Time pressure and Cialdini’s authority and unity principles were applied. The result was that the Honesty-Humility dimension of the HEXACO personality inventory seems to be slightly predictive for falling prey to the pre-test and inputting information on the designated landing page. Moreover, Honesty-Humility is positively associated with less risky cybersecurity behaviour, whereas higher scores in Openness and Conscientiousness indicate more favourable attitudes towards cybersecurity and cybercrime. Emotionality shows a slight negative impact on a desired attitude towards cybersecurity. In the pre-test setting, 57.2% of study participants complied to the request of clicking the link in the email, whereas of those who clicked, 88.3% also disclosed information. In the post-test settings, results were significantly lower. For the first post-test the shares were 16.7% who fell for the scam and of those who fell for it 26.7% inputted information, whereas for the second post-test the numbers were 25.6% and 43.5%, respectively. However, the results showed that no effect for the intervention was observable in the data. Both study groups statistically significantly improved from pre- to post-tests. Experimental group participants did however not improve substantially more than the control group. Advanced statistical analysis showed that the sample size was too small to measure significant effects for the serious game. A sample two to three times as large would have been necessary. The largest statistically significant effect was, however, measured for other variables. Past victimization and individual victimization expectation were found to be good predictors for the vulnerability to the phishing scams in this research. This is an essential finding of this dissertation. A routine activity approach for social engineering was derived in the course of the thesis, which is, to the best of my knowledge, the first of its kind. It is concluded that certain personality traits help to better evaluate cybersecurity behaviour in an organization. Studies with larger sample sizes are needed to look on the effects of the serious game. An observed U-shaped relationship among one’s own capability of spotting and resisting phishing scams and an eventual victimization is a key finding that is worth looking at in future studies. Approaches that put the spotlight on personality characteristics like self- confidence could be helpful in tackling human proneness to social engineering fraud. The findings of this dissertation help practitioners in the Swiss Armed Forces to better evaluate cybersecurity behaviour based on personality traits and self-reported victimization variables. -- L'ingénierie sociale constitue une menace pour la sécurité des informations, tant pour les particuliers que pour les entreprises. Des criminels motivés par des intentions malveillante manipulent des personnes dans le monde entier pour en tirer un avantage financier ou pour dérober des informations. Les menaces d'ingénierie sociale se manifestent par exemple par des attaques de phishing, des escroqueries par téléphone ou même des attaques physiques. Des stratégies préventives universelles efficaces contre ces actes criminels sont toujours souhaitables. Le point commun de tous ces différents types d'attaques est la manipulation de la psychologie humaine pour inciter les gens à faire confiance à un agent malveillant. L'objectif de cette thèse était d'étudier le rôle des traits de personnalité sur la prédisposition des sujets à devenir victimes d'une attaque d'ingénierie sociale, et l'efficacité d'un jeu sérieux interactif en tant que formation à la sécurité. Une discussion et une dérivation des facteurs d'influence psychologiques ont été présentées pour une application ultérieure dans la recherche. Dans une étude qualitative portant sur un échantillon de 97 professionnels, un jeu sérieux a fait l'objet d'une recherche visant à améliorer son contenu et son déroulement. Ce jeu a ensuite été utilisé comme intervention dans une expérience de terrain contrôlée quasi- randomisée avec 180 soldats de réserve des forces armées suisses. Des courriels d'hameçonnage ont été utilisés comme instruments de test pour vérifier si les participants cliquaient sur un lien dans le courriel qui les dirigeait vers une page de destination désignée, et dans un deuxième temps si ceux qui suivaient ce lien saisissaient également les informations demandées sur la page de destination. La pression du temps et les principes d'autorité et d'unité de Cialdini ont été appliqués. Les résultats obtenus indiquent que la dimension Honnêteté-Humilité de l'inventaire de personnalité HEXACO semble être légèrement prédictive de la possibilité de cliquer sur le pré-test et de saisir les informations sur la page de destination désignée. De plus, la dimension Honnêteté-Humilité est positivement associée à un comportement moins risqué en matière de cybersécurité, tandis que des scores plus élevés en Ouverture et Conscience indiquent des attitudes plus favorables à la cybersécurité et à la cybercriminalité. L'émotivité a un léger impact négatif sur l'attitude souhaitée à l'égard de la cybersécurité. Dans le cadre du pré-test, 57,2 % des participants à l'étude se sont conformés à la demande de cliquer sur le lien dans le courriel, tandis que parmi ceux qui ont cliqué, 88,3 % ont également divulgué des informations. Dans le cadre du post-test, les résultats étaient nettement inférieurs. Pour le premier post-test, 16,7 % des participants sont tombés dans le piège et 26,7 % d'entre eux ont fourni des informations, tandis que pour le second post-test, les chiffres étaient respectivement de 25,6 % et 43,5 %. Cependant, les résultats ont montré qu'aucun effet de la formation au moyen du jeu sérieux n'était observable dans les données. Les deux groupes d'étude se sont améliorés de manière statistiquement significative entre les pré et post-tests. Les participants du groupe expérimental ne se sont toutefois pas améliorés de manière substantielle par rapport au groupe de contrôle. Une analyse statistique avancée a montré que la taille de l'échantillon était trop petite pour mesurer des effets significatifs pour le jeu sérieux. Un échantillon deux à trois fois plus grand aurait été nécessaire. Un effet statistique plus important a toutefois été mesuré pour d'autres variables. La victimisation antérieure et les attentes individuelles en matière de victimisation se sont avérées être de bons prédicteurs de la vulnérabilité aux escroqueries par hameçonnage dans cette recherche. Il s'agit là d'une conclusion essentielle de cette thèse. Une approche d'activité de routine pour l'ingénierie sociale a été dérivée au cours de la thèse, qui est, à ma connaissance, la première de ce genre. Il est observé que certains traits de personnalité aident à mieux évaluer le comportement en matière de cybersécurité dans une organisation. Des études avec des échantillons de plus grande taille sont nécessaires pour examiner les effets du jeu sérieux. L'observation d'une relation en forme de U entre la capacité d'une personne à repérer et à résister aux escroqueries par hameçonnage et une éventuelle victimisation est un résultat clé qui mérite d'être examiné dans de futures études. Les approches qui mettent l'accent sur les caractéristiques de la personnalité, comme la confiance en soi, pourraient être utiles pour lutter contre la tendance humaine à la fraude par ingénierie sociale. Les résultats de cette thèse aident les praticiens des Forces armées suisses à mieux évaluer le comportement en matière de cybersécurité en fonction des traits de personnalité et des variables de victimisation autodéclarées