Prompt Engineering-Based Text Anomaly Detection
Détection d'anomalies textuelles à base de l'ingénierie d'invite
Résumé
Text anomaly detection is an important text mining task. Many outlier identification methods have been applied in this field. However, these approaches have hardly benefited from recent Natural Language Processing (NLP) advances. The advent of pre-trained language models like BERT and GPT-2 has given rise to a new machine learning paradigm called prompt engineering, which has shown good performance on many NLP tasks. This article presents an exploratory work aimed at examining the possibility of detecting text anomaly using prompt engineering. In our experiments, we have examined the performance of different prompt templates. The results showed that prompt engineering is a promising method for text anomaly detection.
La détection d'anomalies textuelles est une tâche importante de la fouille de textes. Plusieurs approches générales, visant l'identification de points de données aberrants, ont été appliqués dans ce domaine. Néanmoins, ces approches exploitent peu les nouvelles avancées du traitement automatique des langues naturelles (TALN). L'avènement des modèles de langage pré-entraînés comme BERT et GPT-2 a donné naissance à un nouveau paradigme de l'apprentissage automatique appelé ingénierie d'invite (prompt engineering) qui a montré de bonnes performances sur plusieurs tâches du TALN. Cet article présente un travail exploratoire visant à examiner la possibilité de détecter des anomalies textuelles à l'aide de l'ingénierie d'invite. Dans nos expérimentations, nous avons examiné la performance de différents modèles d'invite. Les résultats ont montré que l'ingénierie d'invite est une méthode prometteuse pour la détection d'anomalies textuelles.
Origine : Fichiers produits par l'(les) auteur(s)