Rechercher un article de blog

Le DEFT, qu’est-ce que c’est ? C’est le Défi Fouille de Textes (*), une campagne d’évaluation francophone qui propose chaque année de confronter les méthodes de plusieurs équipes de recherche sur une thématique régulièrement renouvelée dans le domaine de la fouille de textes.

Comment fouiller un texte ?

L’édition de cette année porte sur la recherche d’information et l’analyse de sentiments dans des tweets rédigés en français, et sur la thématique des transports en Île-de-France. Le corpus utilisé contient environ 70 000 tweets, annotés manuellement.

Les méthodes employées par notre équipe sémantique, constituée d’ingénieurs linguistes et d’experts de l’intelligence artificielle, ont été évaluées sur 2 tâches distinctes, qui concernent l’analyse des thématiques et des opinions exprimées dans un corpus de 68 916 tweets.

La tâche 1 consiste à déterminer automatiquement si un tweet concerne ou non les transports en commun. Il s’agit donc de classification binaire.
La tâche 2 est également une tâche de classification et consiste à déterminer, pour les tweets qui concernent les transports en commun (51% du total), leur polarité globale parmi quatre catégories : positif, négatif, neutre et mixposneg (à la fois positif et négatif).

JPEG - 171.2 ko
Exemples de tweets à classifier et à polariser

Les outils d’analyse sémantique d’Eloquant ont été développés dans le but de traiter des verbatim issus du domaine de la Relation Client (SMS ou formulaires web). Il n’était donc a priori pas trivial pour nous de réaliser les deux tâches (1 et 2) avec nos méthodes existantes, car elles sont très spécifiques au style de notre secteur.
Nous avons exploré différentes méthodes pour aborder les tâches demandées, notamment en combinant des méthodes symboliques (écriture des règles linguistiques) avec des méthodes de Machine Learning.

Une performance "tweet à faite" intéressante !

Au final, nous avons effectué deux runs pour chacune des tâches.
Nos meilleures F-mesures** (0.897 pour la tâche 1 et 0.800 pour la tâche 2) sont au-dessus de la moyenne globale pour chaque tâche, et nous placent dans le quart supérieur de tous les runs pour la tâche 2.

Il est également notable que pour cette tâche, seul le système avec la meilleure performance a une différence statistiquement significative avec celle de notre système. Cela implique que notre système est en réalité comparable aux systèmes classés en deuxième position, ce que nous considérons un très bon résultat compte tenu du corpus et de la thématique à analyser.

Ainsi, être comparable aux systèmes qui obtiennent les deux ou trois meilleurs résultats nous parait une indication de la maturité de nos systèmes d’analyse sémantique, qui ont pu être adaptés à ce nouveau domaine avec une intervention assez minimale.

(*) : plus d’informations ici : https://deft.limsi.fr/2018/
(**) : rappel sur la F-mesure : https://fr.wikipedia.org/wiki/Pr%C3%A9cision_et_rappel


Pour en savoir plus sur le potentiel de l’analyse sémantique et sur ses applications dans le domaine de la Relation Client, n’hésitez pas à télécharger le dernier livre blanc Eloquant

>> NOUVEAU : Les commentaires de vos Clients : une richesse à exploiter !
Envie de vous plonger dans les enseignements dispensés dans ce livret ou juste de vous remettre à niveau pour passer votre diplôme en Relation Client augmentée ?
Téléchargez

© Eloquant 2013. All Rights Reserved