Mesure de similarité textuelle pour l’évaluation automatique de copies d’étudiants (Textual similarity measurement for automatic evaluation of students’ answers)

Cet article decrit la participation de l’equipe Nantalco a la tâche 2 du Defi Fouille de Textes 2021 (DEFT) : evaluation automatique de copies d’apres une reference existante. Nous avons utilise principalement des traits bases sur la similarite cosinus des deux vecteurs representant la similarite textuelle entre des reponses d’etudiant et la reference. Plusieurs types de vecteurs ont ete utilises (vecteur d’occurrences de mots, vecteur tf-idf, embeddings non contextualises de fastText, embeddings contextualises de CamemBERT et enfin Sentence Embeddings Multilingues ajustes sur des corpus multilingues). La meilleure performance du concours sur cette tâche a ete de 0.682 (precision) et celle de notre equipe 0.639. Cette performance a ete obtenue avec les Sentence Embeddings Multilingues alors que celle des embeddings non ajustes ne s’est elevee qu’a 0.55, suggerant que de recents modeles de langues pre-entraines doivent etre fine-tunes afin d’avoir des embeddings adequats au niveau phrastique.