Examining indicative tweet generation as an extractive summarization problem

Social media such as Twitter have become an important method of communication, with potential opportunities for Natural Language Generation (NLG) to facilitate the generation of social media content. The presence of the URL in the short tweet is a strong signal that the tweet is functioning to help Twitter users decide whether to read the full article. We focus on the generation of these indicative tweets, which we define as tweets containing links to external web pages. Extractive summarization is the process of generating a summary of the text by choosing a subset of words from the text. Previous work in automatic tweet generation has viewed the linked web page as the source text from which the tweet is generated in an extractive summarization setting. However, this setting may not be appropriate, because it is unclear to what extent indicative tweets actually behave like extractive summaries.We collect a corpus of indicative tweets with their associated articles and investigate the extent to which they can be derived from the articles using extractive methods. We also consider the impact of the formality and genre of the article. We conduct further studies to detect the function of the tweet, i.e., the reason the user shared the tweet. In particular, with the aim of finding possible factors that influence the composition of the tweet, we considered whether the tweet is an advertisement or summary of the article. We find a significant positive correlation between the degree of extraction and the degree to which a tweet behaves like a summary. Our results demonstrate the limits of viewing indicative tweet generation as extractive summarization, and point to the need for the development of methods for tweet generation that are not based on simple extractive techniques. We also show the need for genre-sensitive methods for generating tweets.This thesis contributes a novel dataset of indicative tweets labelled by their function as defined above. The tweets are categorized by their subjects, and span broad areas of public interest. In terms of theoretical contributions, this thesis clarifies the relationship between an indicative tweet and the article to which it relates and lays the groundwork for developing a system that would be able to generate indicative tweets from referenced documents, possibly based on parameters such as whether the tweet is intended to be an advertisement or a public service announcement.Les réseaux sociaux tels que Twitter sont devenus un moyen de communication important, soulignant de plus en plus de possibilités de génération automatique de texte (NLG) pour faciliter la génération des textes qu'on rencontre dans les réseaux sociaux. Nous nous concentrons sur la génération de tweets indicatifs qu'on définit comme étant des tweets contenant un lien pointant vers de pages web externes. Le résumé automatique par extraction consiste à générer un résumé du texte en sélectionnant certains mots de ce texte. Les approches antérieures à la génération automatique de tweets ont considéré que la page web liée est la source à partir de laquelle le tweet est généré dans un cadre de résumé automatique par extraction. Toutefois, ce cadre-là pourrait ne pas être le plus convenable puisqu'il n'est pas assez évident dans quelle mesure les tweets indicatifs se comportent comme étant des résumés par extraction. Nous collectons un corpus de tweets indicatifs avec leurs articles associés et étudions dans quelle mesure ils peuvent être obtenus à partir des articles en utilisant des méthodes de résumé automatique par extraction. Nous considérons également l'effet de la formalité et le genre de l'article. Nous menons des études pour spécifier et mieux comprendre la fonction du tweet, c'est-à-dire, la raison pour laquelle l'utilisateur a partagé le tweet. Particulièrement, dans le but de trouver les facteurs qui agissent sur la composition du tweet, nous considérons si le tweet est une annonce publique ou un résumé de l'article. Nous trouvons une corrélation positive considérable entre le degré d'extraction et le degré selon lequel le tweet se comporte comme étant un résumé. Nos résultats démontrent les limites de considérer la génération des tweets indicatifs comme étant une méthode de résumé automatique par extraction. Ils soulignent également le besoin de développer de méthodes de génération de tweets qui ne sont pas basées sur de simples techniques d'extraction. Nous démontrons de même le besoin de méthodes de génération de tweets qui sont sensitives au genre.Cette thèse présente un nouvel ensemble de données de tweets indicatifs que nous avons classé par leurs fonctions comme définies ci-dessus. Les tweets sont classés par leurs sujets et couvrent de grands domaines d'intérêt public. En tant que contribution théorique, cette thèse clarifie la relation entre un tweet indicatif et l'article correspondant et présente un plan pour le développement d'un système qui pourrait générer des tweets indicatifs à partir de documents référencés, en se basant sur de paramètres qui peuvent, par exemple, considérer si le tweet fonctionne comme une publicité ou un message d'intérêt public