Kan stora språkmodeller förbättra upptäckten av falska nyheter? : Förbättrad detektering av falska nyheter med dataaugmentering

In recent years, the proliferation of fake news has become a significant concern due to its potential to cause harm and sow discord in societies worldwide. To address this issue, machine learning techniques have been employed in a task referred to as fake news detection (FND) to assess the veracity of textual news content. However, the scarcity of annotated fake news data poses a challenge in developing effective supervised models. This study seeks to address this limitation by examining the impact of various data augmentation techniques on the performance of a state-of-the-art deep learning FND classifier. We investigate the efficacy of different data augmentation techniques, including novel ones based on generating augmentations from pre-trained large language models (Vicuna and ChatGPT) and a method referred to as “greyscaling”, which involves replacing words with less intense synonyms. We evaluate the effectiveness of these data augmentation techniques in combination with BERT-base, a widely-used classifier for FND, using small random subsets of two popular datasets: WELFake and LIAR. The results reveal modest but non-significant improvements in classification performance when employing data augmentation techniques. Our findings suggest that textual data augmentation might not always lead to substantial improvements in FND performance and that alternative strategies, such as knowledge-based, propagation-based, and source-based methods, could prove more fruitful. For future research, we recommend investigating data augmentation techniques based on GPT-4, the relationship between fake news generation and detection, as well as exploring fake news detection using Swedish news data to contribute to the existing body of research conducted on non-English datasets.Under de senaste åren har spridningen av falska nyheter blivit ett större problem på grund av dess potential att orsaka skada och oenighet i samhällen världen över. Diverse maskininlärningstekniker har använts för att analysera textbaserat nyhetsinnehåll för att detektera falska nyheter, men bristen på annoterad data utgör en utmaning i utvecklandet av effektiva modeller. Denna studie syftar till att hantera denna utmaning genom att undersöka vilken effekt olika dataaugmenteringstekniker har på klassificeringsprestandan hos en given djupinlärningsmodell. Vi undersöker effekten av olika tekniker för dataaugmentering, inklusive nya tekniker baserade på att generera augmenteringar med avancerade språkmodeller (Vicuna och ChatGPT) samt en metod som kallas “grayscaling”, som innebär att ord ersätts med mindre intensiva synonymer. Vi utvärderar effektiviteten hos dessa dataaugmenteringsmetoder i kombination med BERT-base, en allmänt använd modell för att detektera falska nyheter, tillsammans med två populära dataset: WELFake och LIAR. Resultaten visar små men icke-signifikanta förbättringar i klassificeringsprestanda när man använder tekniker för dataaugmentering. Resultaten tyder på att textuell dataaugmentering inte alltid leder till betydande förbättringar och att alternativa strategier, såsom kunskapsbaserade, spridningsbaserade och källbaserade metoder kan visa sig vara mer effektiva. För framtida forskning rekommenderar vi att man undersöker tekniker för dataaugmentering baserade på GPT-4, förhållandet mellan generering och detektion av falska nyheter samt att man utforskar detektion av falska nyheter med hjälp av svensk nyhetsdata för att bidra till befintlig forskning som gjorts på icke-engelska dataset