Extraction of Keyphrases from Text: Evaluation of Four Algorithms

This report presents an empirical evaluation of four algorithms for automatically extracting keywords and keyphrases from documents. The four algorithms are compared using five different collections of documents. For each document, we have a target set of keyphrases, which were generated by hand. The target keyphrases were generated for human readers; they were not tailored for any of the four keyphrase extraction algorithms. Each of the algorithms was evaluated by the degree to which the algorithm's keyphrases matched the manually generated keyphrases. The four algorithms were (1) the AutoSummarize feature in Microsoft's Word 97, (2) an algorithm based on Eric Brill's part-of-speech tagger, (3) the Summarize feature in Verity's Search 97, and (4) NRC's Extractor algorithm. For all five document collections, NRC's Extractor yields the best match with the manually generated keyphrases.Ce rapport pr\ue9sente une \ue9valuation empirique de quatre algorithmes d'extraction automatique de mots et d'expressions cl\ue9s dans des documents. Ces quatre algorithmes sont compar\ue9s en utilisant cinq ensembles de documents diff\ue9rents. Pour chaque document, on \ue9tablit un ensemble cible d'expressions cl\ue9s, g\ue9n\ue9r\ue9es manuellement. Ces expressions cl\ue9s ont \ue9t\ue9 g\ue9n\ue9r\ue9es \ue0 l'intention de lecteurs humains; elles n'ont \ue9t\ue9 con\ue7ues pour aucun des quatre algorithmes d'extraction. Les divers algorithmes ont \ue9t\ue9 \ue9valu\ue9s en fonction du degr\ue9 d'ad\ue9quation des expressions cl\ue9s extraites et des expressions cl\ue9s g\ue9n\ue9r\ue9es manuellement. Les quatre algorithmes sont les suivants : (1) la fonction AutoSummarize de Microsoft Word 97; (2) un algorithme bas\ue9 sur le descripteur de nature grammaticale de Eric Brillis; (3) la fonction Summarize de Verityis Search 97; (4) l'algorithme Extractor du CNR. Pour les cinq ensembles de documents, c'est l'algorithme Extractor du CNRC qui a fourni la meilleure ad\ue9quation avec les expressions cl\ue9s g\ue9n\ue9r\ue9es manuellement.NRC publication: Ye